FAQ #3

Ao enviar dados do AWS Lambda para o AWS Kinesis Data Streams, qual o formato dos dados posso usar? Pode ser JSON?

Sim, você pode preparar os dados no formato JSON para inserção no Kinesis Data Streams. O Kinesis Data Streams apenas carrega dados sem transformá-los, por isso aceita dados em diferentes formatos. O mais importante é que você use um formato que seja tratável pelo aplicativo que receberá os dados na outra ponta do Kinesis Data Streams. Usar o formato JSON é boa uma alternativa.

O link a seguir mostra um exemplo simples da integração do Kinesis com o Spark enviando os dados no formato JSON: https://towardsdatascience.com/how-to-run-a-real-time-pipeline-in-aws-kinesis-using-pyspark-structured-streaming-1b6bc5e6edc9