Arquitetura web scraping na aws

[Fellipetavaresft]

Fala, pessoal. Qual a sugestão de vcs para o seguinte contexto.

Preciso construir uma arquitetura de um web scraping em diversos portais. A ideia principal é utilizar aws lambda function para executar os scrappings. Mas, como seguiriam: uma lambda contemplando os N portais, ou 1 lambda para cada portal. São +10 atualmente e tende a crescer. Aceito outras ideias tb.

[gustavofreze]

Lambda por portal

• Prós:
  • Escalabilidade: Cada portal pode ter um Lambda específico, permitindo escalar individualmente conforme a
    carga de cada um.
  • Manutenção e flexibilidade: Atualizações específicas para um portal não impactam os demais.
  • Isolamento de erros: Problemas em um scraper não afetam os demais.
• Contras:
  • Aumenta o número de Lambdas gerenciadas, mas, com boas práticas de organização e versionamento, essa complexidade
    pode ser gerenciada.

Lambda para todos os portais

• Prós:
  • Simplicidade: Apenas uma Lambda para gerenciar, ideal para poucos portais.
• Contras:
  • Escalabilidade: A função pode demorar mais ou consumir mais memória ao lidar com múltiplos
    portais.
  • Manutenção e flexibilidade: Mudanças para um portal podem exigir ajustes em todos os outros, aumentando a
    complexidade de atualizações e testes.

Para um cenário com +10 portais que pode crescer, o ideal é adotar uma arquitetura modular e escalável. Cada portal em
um Lambda específico é a opção mais adequada para o crescimento escalável e manutenção de longo prazo.