Engenharia de Dados [Cast]

Trazemos nesse episódio o especialista Pedro Toledo para falar um pouco da sua experiência com a tecnologia de Big Data mais utilizada do mundo. Discutimos sobre os seguintes temas: Importância do Apache Spark e Casos de Uso Curva de Aprendizagem Linguagens de Programação Problemas Comuns DBT vs. Apache Spark e Stack Moderna de Dados Delta Lake e Data Lakehouse Dicas para Iniciantes A intenção pri...

Trazemos nesse episódio o especialista Lucas Magalhães para falar um pouco de projetos de Big Data e Analytics dentro do Google GCP Discutimos sobre os projetos que podem ser facilmente implementados assim como melhores formas e tecnologias utilizadas para lidar com processamento massivo de dados. No YouTube possuímos um canal de Engenharia de Dados com os tópicos mais importantes dessa área e com...

Trazemos nesse episódio o especialista Carlos Barbosa para falar um pouco de projetos de Big Data e Analytics dentro da Amazon AWS.  Suas importantes considerações e recomendações para a criação de pipelines em batch e streaming e como otimizar recursos e aumentar valor utilizando os produtos de forma mais eficaz. Falamos também sobre as melhores práticas de implementação assim como casos de uso e...

Nesse episódio falamos sobre Big Data no Microsoft Azure com o convidado especial Vitor Henrique Mendes. Tocamos em alguns pontos muito interessantes para a construção de uma solução de Big Data e Analytics no ecossistema de nuvem da Microsoft. Alguns pontos abordados: Experiências Marcantes  Serviços mais Utilizados Synapse Analytics Recomendação de Arquitetura Dicas de Estudo para Engenheiro de...

Trazemos nesse episódio o especialista João Bosco Seixas, Community Catalyst para falar sobre Apache Kafka, nesse bate-papo falamos das vertentes de Desenvolvimento e Engenharia de Dados e como cada área pode utilizar o Apache Kafka de forma mais efetiva. * Apache Kafka para Desenvolvimento de Software * Engenharia de Dados com Apache Kafka e Analytics em Tempo-Real * Curva de Aprendizagem da Tecn...

O Apache Kafka é uma plataforma de streaming de dados, capaz de ingerir e processar milhões de eventos por segundo entretanto, alguns pontos são importantes e normalmente não temos muitas explicações sobre os mesmos, como: O Apache Kafka é um Banco de Dados Transações no Apache Kafka Armazenamento e Processamento Desacoplado Comparação de Banco de Dados vs. Apache Kafka Esse episódio irá de uma ve...

Os produtos de Big Data open-source são os mais utilizados pelas médias e grandes empresas para operacionalizar processos de análise de dados em grande escala para todas as áreas e departamentos de uma empresa. Porém, depender de um provedor de nuvem para essa tarefa pode te trazer alguns problemas a longo prazo, principalmente pelo "lock-in" e custos elevados dos produtos de modalidade...

O Delta Lake é uma engine de armazenamento otimizado para construção de projetos de Big Data e Analytics especialmente desenhado para o Apache Spark. A engine foi criada para armazenar grandes quantidades de dados (Data Lake) e também organizar dados em formas de tabelas (Data Warehouse), dessa forma a consulta dentro desse formato de arquivo pode ser indexada de forma eficiente. Além disso, diver...

Você gostaria de compreender a diferença entre Data Warehouse e Data Lakehouse e ir além para entender de fato o que acontece na realidade das empresas que adotam essas soluções?  O Orlando Marley é um dos grandes especialistas nessa área e com ele, iremos dar dicas de como entender melhor esses dois paradigmas e como você pode unir essas duas soluções para entregar um Analytics marcante para sua...

Bancos de dados relacionais estão presentes em todas as empresas, o motivo principal é porque esse sistema pode garantir propriedades como: atomicidade, consistência, isolamento e durabilidade. Não somente isso, armazenar dados de forma segura é um dos fatores chaves para qualquer empresa, porém nessa nova era de Big Data, diferentemente do que muitos pensam, bases de dados open-sources como: MySQ...

Sempre nos deparamos com situações difíceis em nossas vidas, tanto no âmbito pessoal quanto no profissional porém achar uma saída é o que nos torna humanos adaptáveis. O Covid-19 é algo que será lembrado pela eternidade em livros de história, muitas coisas negativas aconteceram porém, tivemos também coisas positivas em relação ao mundo profissional. Hoje a barreira que separa um profissional brasi...

Nesse episódio especial, entrevistamos um dos criadores do projeto Strimzi (Apache Kafka no Kubernetes) Jakub Scholz para nos contar um pouco da história do operador Strimzi. Alguns dos pontos que foram discutidos nessa entrevista: * Apache Kafka no Kubernetes * Operador Strimzi e suas Características * Cenários e Utilização * Apache Kafka e Microsserviços * Tipos de Deployment do Apache Kafka * B...

Para marcarmos história no podcast, trouxemos um convidado mais que especial para falar sobre Apache Airflow. Marc Lamberti é o head de treinamentos da Astronomer, empresa que acelera a mais famosa ferramenta de orquestração open-source do mundo. Nesse bate papo falamos sobre os seguintes tópicos: * Empresas Utilizando Workflow-as-Code para ETL e ELT  * Use-Cases e Melhores Práticas do Apache Airf...

Para a maioria dos amantes de Engenharia de Dados que trabalham nessa área desejam ingressar no mercado de trabalho internacional, nessa conversa descontraída iremos falar um pouco dos pontos que podem te ajudar a ter seu primeiro emprego fora do País. Os convidados desse episódio são: * Mateus Oliveira - Data Engineer na One Way Solution * Luan Moreno - Data Engineer na Pythian * Murilo Miranda -...

Processamento de dados em Big Data sempre foi algo um pouco místico devido a quantidade de linguagens de programação disponíveis no mercado, porém nesse podcast você irá de fato entender que para ser um bom engenheiro de dados você não precisa obrigatoriamente de saber uma linguagem específica de programação. Vivemos em um mundo orientado a valor, não digo valor em quantia mas sim em retorno para...

Apache Spark é a engine de processamento de dados mais famosa e utilizada do mundo. Nesse episódio você irá entender seus conceitos, modos de operação, tipos de deployment e empresas que utilizam essa plataforma para processamento massivo de dados. E para que você possa estar ainda mais preparado, compilamos alguns pontos avançados como: problemas comuns e suas soluções, melhores práticas para não...

Nesse episódio falamos sobre umas das maiores dificuldades de administradores de dados ou mesmo empresas de conectar e integrar fontes de dados em tempo real dentro do apache kafka. O Kafka Connect possui atualmente mais de 180 conectores sendo a maioria deles open-source para que você possa com um arquivo de configuração trazer seus dados para o Apache Kafka que hoje é conhecido como a espinha do...

Uma das dúvidas mais comuns em ambientes de big data e construção de data pipelines é de fato entender as diferenças entre os diversos tipos de storages que podemos nos conectar para processar os dados. Nesse episódio, atacamos todos os tipos que o mercado oferece mostrando seus lados positivos e negativos para que você que está construindo entenda da melhor forma como cada um desses storages se c...

Nesse episódio trazemos especialistas de Azure para falar um pouco sobre o mais novo produto da Microsoft para construção de pipelines de dados. O Synapse Analytics é novo e mais completo produto para desenvolvimento de Modern Data Warehouse [MDW], essa é a grande aposta da Microsoft para os próximos anos. Trazendo diversos produtos dentro de uma solução completa, o Synapse Studio possibilita a in...

Nesse episódio você irá descobrir um novo banco de dados que realiza transações distribuídas e que é totalmente pronto para o kubernetes. Iremos navegar nas diversas características e recursos do banco de dados open-source que foi inicialmente desenvolvido dentro do Facebook.  O YugaByteDB oferece suporte as apis de Postgres e Cassandra ou seja, você pode de forma transparente mover seus workloads...

Nesse episódio você irá entender sobre as diferentes formas de se planejar projetos de big data.  Para que qualquer projeto de big data se torne factível, é necessário que se tenha uma arquitetura por detrás do mesmo. essas arquiteturas irão possibilitar que você possa de forma correta planejar as diferentes camadas e produtos para seus clientes respeitando as melhoras formas e características de...

Nesse episódio iremos falar em como utilizar o Apache Kafka no Kubernetes. O Strimzi é um operador que faz com o que o deployment seja muito mais fácil e totalmente integrado com o Kubernetes. Explicamos quais são os recursos mais importantes e suas melhores práticas use-cases e por final entramos em detalhe de cada componente. Apache Kafka Strimzi Operator = https://strimzi.io  Luan Moreno - Link...