Consolidamos nesta página algumas dicas práticas no uso da plataforma AWS e AWS Educate que consolidamos ao longo do tempo. Esperamos que possa ser interessante para mais pessoas.
- Tento acessar os serviços da AWS via CLI, mas não consigo. Já tentei criar uma chave de acesso no IAM, mas não tenho permissões. O que devo fazer?
- Não consigo adicionar um evento no Cloudwatch para disparar minha função no AWS Lambda. Quando tento criar a regra, aparece um erro informando que não tenho autorização para o events::PutRule. O que devo fazer?
- Ao enviar dados do AWS Lambda para o AWS Kinesis Data Streams, qual o formato dos dados posso usar? Pode ser JSON?
- Estou tentando executar uma função no AWS Lambda, mas recebo uma mensagem informando estouro de tempo. O que fazer?
- Estou tentando executar uma função no AWS Lambda que escreve no Kinesis Data Streams usando a API AWS boto3 em Python, mas recebo mensagem informando que o uso de PutRecords não está autorizado. O que fazer?
- Quando tento criar um cluster no EMR, a criação falha com a seguinte mensagem de erro: Service role EMR_DefaultRole has insufficient EC2 permissions.
- Minha função AWS alimenta um stream no Kinesis Data Streams com registros que serão consumidos pelo AWS EMR. Gostaria de saber se preciso dividir os dados em registros diferentes ou se devo enviar tudo como um único registro?
- Não consigo executar o comando para recriar os papéis do EMR. Aparece o seguinte erro: “An error occurred (InvalidClientTokenId) when calling the GetRole operation: The security token included in the request is invalid.” O que fazer?
- A maior parte da documentação sobre o Amazon EMR mostra como consumir dados do S3. Se meus dados estão em um stream do Kinesis eu preciso enviar os dados do Data Stream para o S3, para daí consumir no EMR?
- Tentei conectar via SSH a uma máquina em um cluster do EMR, mas recebo a resposta: connect to host ec2-34-238-82-196.compute-1.amazonaws.com port 22: Connection timed out. O que fazer?
- Gostaria de usar o Spark Structured Stream rodando em um cluster EMR para consumir dados do Kinesis Data Stream. Contudo, vi que o Kinesis não aparece como um input-source válido na biblioteca do Spark. Existe alguma outra opção?
- Estou tentando enviar um job para o Spark em meu cluster EMR que acessa o Kinesis Data Streams via biblioteca da Qubole. Contudo, observo um problema de permissão nos logs do job. Como solucionar isso?
- Qual a melhor forma de enviar os dados das estações meteorológicas para o ThingsBoard?
- Como ter acesso aos logs contendo as saídas da execução do meu job no cluster Spark rodando no EMR?
Juá Labs 