Engenharia de Dados [Cast]

No episódio de hoje, Luan Moreno & Mateus Oliveira entrevistaram Tobias Mao , atualmente como Co-Founder e CTO na Tobiko Data. SQLMesh é um framework desenvolvido em Python para automatizar tudo que se faça necessário para uma plataforma de dados escalável utilizando o conceito de DataOps. Com SQLMesh , você possui os seguintes benefícios: Foco nos dados do negócio, usando DataOps como premiss...

No episódio de hoje, Luan Moreno e Mateus Oliveira entrevistaram  Lucas Galindo Data Engineer/Software Engineer  & Gabs Ferreira Community Builder, ambos trabalhando na Alvin . A solução Alvin cria e mantém automaticamente um conjunto de dados de gráfico  conectando em fontes de dados, como Snowflake, Redshift, dentre outros entregando uma solução da Data Lineage robusta. O Alvin oferece os se...

No episódio de hoje, Mateus Oliveira entrevistou Jakub Scholz , atualmente como Senior Principal Software Engineer na Red Hat. Strimzi é um Kubernetes Operator para deployment de Apache Kafka, modular e versátil para ambientes de todos os portes, open-source. Com Strimzi, você tem os seguintes benefícios: Apache Kafka no Kubernetes Elasticidade do seu deployment Extensibilidade do seu produto com...

No episódio de hoje, Luan Moreno e Mateus Oliveira entrevistaram Xiran Waibel, atualmente engenheira de dados Sênior na Netflix. A Engenharia de Dados é um das profissões que estão em alta no mercado de trabalho, mas entender como funciona é algo que até hoje as empresas tem dificuldades. Engenharia de Dados engloba: Entendimento de novas tecnologias orientadas a Big Data Trabalhar com soluções de...

No episódio de hoje, Luan Moreno e Mateus Oliveira entrevistaram Marc Lamberti, atualmente como Head of Customer na Astronomer. Vamos entender o Apache Airflow em um nível mais avançado para aplicar soluções para problemas de dados no dia-a-dia, visando melhores práticas. Abaixo alguns pontos sobre técnicas avançadas de Apache Airflow : Executar pipelines do Airflow com acesso imediato aos recurso...

No episódio de hoje, Luan Moreno e Mateus Oliveira entrevistaram Tatiana Al-Chueyr Martins, atualmente como Engenheira de Software na Astronomer. O Astro Python SDK é um SDK desenvolvido em Python Open-Source criado pela Astronomer , empresa que acelera o Apache Airflow, para tornar simples o processo de ETL. Astro Python SDK oferece os seguintes benefícios: Operações de ETL com Operadores para Ab...

Nesse episódio Luan Moreno & Mateus Oliveira entrevistam Rodrigo Oliveira , atualmente como Arquiteto de Solução na Databricks. Databricks é uma plataforma de linguagem unificada que tem como motor de processamento o Apache Spark, possibilitando o processamento de dados em batch e streaming em um serviço gerenciado presente nas principais nuvens (AWS, Azure e GCP). Além disto, o Databricks pro...

Nesse episódio Luan Moreno & Mateus Oliveira entrevistam João Bosco , atualmente como Software & Solution Strategist no Nubank e Marcelo Costa , atualmente como Head of IT na Cia. Hering. Ambos os convidados e apresentadores são Confluent Community Catalysts. Confluent Community Catalysts são profissionais que investem seu tempo em divulgar, contribuir seja no código, ou respondendo ativam...

Nesse episódio Luan Moreno & Mateus Oliveira entrevistam Timo Walther , atualmente como Principal Software Engineer na Confluent após a recente aquisição da Immerok pela Confluent Cloud. O Apache Flink é uma engine de processamento de dados unificada que aplica tanto batch quanto tempo-real. Tem ganhado grande adoção entre as grandes empresas por oferecer um modelo de computação extremamente e...

Neste episódio falamos com Maayan Salom sobre dbt e Elementary e como essas duas ferramentas tem ajudado times de dados a implementar de forma eficiente e segura pipelines de dados. O dbt se tornou uma das ferramentas mais utilizadas para transformar dados dentro do Data Warehouse por trazer a facilidade de se usar a linguagem SQL para processamento dos dados. Com dbt é possível ter uma visão ampl...

Neste episódio entrevistamos o Kishore Gopalakrishna, Co-Fundador e CEO da empresa StarTree, Luan Moreno e Mateus Oliveira batem um papo com o co-criador dessa poderosa ferramenta chamada Apache Pinot. O Pinot é um OLAP DataStore desenvolvido para responder consultas analíticas com tempo de resposta na casa dos milissegundos, podendo ser considerado um banco de dados para consultas em tempo-real....

Neste episódio vamos conhecer o Director of Apache Airflow Engineering da empresa Astronomer, Kaxil Naik. Kaxil Naik vai nos dar uma visão mais apurada sobre o Apache Airflow e os produtos da Astronomer, como desenvolvedor e PMC Committer, apaixonado por produtos Open-Source. O Astro produto da Astronomer oferece os seguintes benefícios: Executar pipelines do Airflow com acesso imediato aos recurs...

O Microsoft Ignite é o evento mais esperado por profissionais da Microsoft que desejam se atualizar nas diversas tecnologias entregue pela empresa. Durante 3 dias, a Microsoft traz 800 sessões técnicas gratuitas divididas da seguinte forma: AI Azure Business Applications Edge Industry Cloud Microsoft 365 Power Platform Security Windows Luan Moreno e Matheus Oliveira batem um papo sobre as novidade...

Neste podcast conversamos com Igor Lukanin um dos desenvolvedores do Cube, uma ferramenta incrível para camada semântica de dados.  Conversamos sobre coisas bem legais do universo de dados relacionadas a Big Data & Analytics, como:  Os desafios dos profissionais de dados atualmente Business Intelligence para resolver problemas modernos Quais são os conceitos do Headless BI O que é o Cube Arqui...

Neste episódio falaremos sobre o Dremio, o projeto open-source que se descreve como The Data Lake Engine, sendo uma ferramenta que permite realizar a integração de dados provenientes das mais variadas fontes de dados. O projeto, The Data Lake Engine, tem benefícios e arquitetura integrada com bancos relacionais, bases colunares, indexadores dentre outros tipos.  Hoje recebemos Alex Merced , Desenv...

Spoiler Alert = Mind-Blowing Content Have you ever asked yourself if someone has thought about how to unwrap and simplify stream processing? Or, would stream processing be available in Python using the best-of-breed libraries and Pythonic code and yet scale horizontally? If you're about to listen to this episode, this one may not only change your mind but also would drastically change the way...

This episode sets a new momentum on the Podcast. We've interviewed one of the most active and well-known professionals in the Streaming quadrant. Kai Waehner currently holds the title of Field of CTO at Confluent with the main goal of working closely with customers and partners across the world (US, EMEA, APAC), internal teams (sales, engineering, product, marketing, evangelism), public relat...

No episódio de hoje estamos com Andre Pretto, profissional com uma bagagem de 15 anos em Engenharia de Dados, trabalhando ativamente no mercado europeu. Suas stacks têm foco em soluções open source, improvement cloud no ks8 e streaming de dados. Veremos que o Click House é um banco de dados colunar de código aberto para processamento analítico online, usado em cenários que necessitam de análise de...

Nesse episódio, Luan Moreno e Mateus Oliveira trazem as novidades da conferência data Summit 2022, sobre o Snowflake a plataforma nativa da nuvem que elimina a necessidade de data warehouses, data lakes e data marts separados, permitindo o compartilhamento seguro de dados em toda a organização e as novidades são As melhorias no snowflake: Unistore; Snowflake e iceberg Tables; Replicação, Failover...

Anúncios e Novidades da Conferência da Databricks, Data+AI Summit 2022, segue informações: https://databricks.com/dataaisummit/   Delta Lake 2.0 https://databricks.com/blog/2022/06/30/open-sourcing-all-of-delta-lake.html   MLFlow 2.0 https://databricks.com/blog/2022/06/29/introducing-mlflow-pipelines-with-mlflow-2-0.html Project Lightspeed https://databricks.com/blog/2022/06/28/project-lightspeed-...

Os grandes desafios da área de dados fazem com que necessitemos buscar pessoas de calibre para nos ajudar a entender todos os segmentos dessa grande vertente de Engenharia de Dados que tem tomado cada vez mais espaço no mercado brasileiro. Trazemos o ilustre Filipe Comparini da LuizaLabs para explicar e falar um pouco dos desafios da Engenharia de Dados e como ele e seu time desenvolve seus produt...

Trazemos novamente o especialista Samuel Matioli para falar do banco de dados colunar mais querido da Fortuna 500, O Apache Cassandra é o banco de dados utilizado por grandes empresas como: Uber, Facebook, Netflix, Instagram, Spotify e Instacart. Nesse bato papo sobre banco de dados NoSQL falamos sobre os seguintes tópicos: Crescimento na Utilização de NoSQL no Mercado Diferença entre HBase e Apac...

Neste Podcast, conversamos com um dos Tech Leads de Data Engineering do NuBank Wellington C. Faria. Falamos sobre o mercado de Engenharia de Dados, Carreiras de Dados e as tecnologias mais utilizadas em um papo descontraído e muito instrutivo. NuBank = https://nubank.com.br/ Wellington C. Faria = https://www.linkedin.com/in/wellicfaria/   No YouTube possuímos um canal de Engenharia de Dados com os...

O Apache Pulsar é a nova plataforma de streaming mais querida da Fortune 500 e o Samuel Matioli, Arquiteto de Dados da DataStax traz toda sua experiência de campo para falar sobre esse tópico no nosso podcast. Nesse episódio falamos sobre: Mercado de Dados Hoje em Dia Soluções em Batch vs. Streaming The Killing Features do Apache Pulsar Astra Streaming - Serviço Auto-Gerenciável de Streaming Apach...

Nesse episódio com os dois maiores especialistas do Brasil sobre esse assunto, Thiago Santiago e Gustavo Gattass, falamos sobre a nova plataforma de dados da Cloudera, como sempre trazendo inovação no mercado de Big Data e Analytics.  Doug Cutting, criador do famoso sistema Apache Hadoop fez com que tudo fosse possível em 2006 para processamento de dados massivo e agora, a nova plataforma da Cloud...