[DUVIDA] O que estão utilizando para BIG Data

[kivervinicius]

E ai galera, tenho uma dúvida por onde começar com Big Data, hoje tenho uma base em couchbase de coleta analítica de 1 milhão semanal, e gostaria de "lapidar" estes dados. Já vi algo sobre spark, handoop, kafka, mas estou bem perdido por onde começar :)

[waldemirflj]

@kivervinicius, eu estou iniciando nesta área também, e no começo eu tive as mesmas dúvidas. Vou falar a minha experiência, talvez não seja a melhor maneira, mas resolveu o meu problema e com isso tive um posicionamento melhor sobre qual caminho seguir.

Em poucas palavras, eu estou processando e transformando dados em uma base MySQL de 10GB, e quando me deparei com a necessidade de filtrar/transformar pensei: Hadoop e Apache Spark. Só que com isso tive um outro problema, EU NÃO TINHA ESSES SKILL...

Comprei um livro e consegui entender o conceito e como aplicar, porém, a minha necessidade era mais simples e todo esse acervo se tornaria um canhão futuramente.

Conversando com um colega sobre o meu problema e limitações ele me apresentou o Pentaho (um software ETL ) e com esse software eu consegui resolver o meu problema de maneira fácil e produtiva.

Resumidamente: eu coleto dados, faço uma transformação e gero outros dados. Essa foi minha experiência, e me vejo utilizando esse software por muito tempo, ele é bem completo.

[kivervinicius]

Obrigado @waldemirflj muito boa experiencia, irei pesquisar sobre o pentaho.