Engenharia de Dados [Cast]

Prepare-se para uma conversa direta sobre a disciplina que está silenciosamente substituindo a engenharia de dados como a gente conhece, e que ainda não tem nome no mercado brasileiro. Neste episódio, Lucas Tancredi e Luan Moreno discutem, sem rodeios, por que Engenharia Agêntica não é prompt engineering glorificado, o que mudou de verdade no workflow de quem já está construindo sistemas autônomos...

Prepare-se para uma conversa direta sobre o que está mudando na Engenharia de Dados e o que nenhum relatório de mercado vai te contar.  Neste episódio, Lucas Tancredi recebe Luan Moreno e Rafael Rodrigues para discutir, sem filtro, por que o Data Engineer pode estar se tornando obsoleto e o que os profissionais precisam fazer agora para não ficar para trás. O que você vai aprender neste episódio:...

Um pipeline monolítico de 5.000 linhas. Sete notebooks acoplados. Dez chamadas de API dentro de definições DLT. O que acontece quando você coloca quarenta agentes de IA especializados nesse problema e dá um prazo de três dias? Neste episódio da série Era dos Agentes , exploramos a refatoração completa do pipeline de dados do InfraView: de um monolito no Databricks para uma arquitetura limpa de trê...

Neste episódio, Luan Moreno compartilha sua trajetória na área de dados, desde suas origens como DBA até sua ascensão como Lead Data Engineer.  Ele discute a importância da formação, certificações e a transição para a engenharia de dados, além de compartilhar experiências interessantes em sua carreira, como o trabalho no lançamento do GTA V.  Luan também enfatiza a relevância da comunidade e do ne...

Neste episódio do Engenharia de Dados Cast, Vitor Ramos e Victor Grudtner discutem com o convidado Matheus Nogueira sobre a experiência prática com Kubernetes, abordando desde a introdução à ferramenta até desafios enfrentados em produção.  O convidado compartilha dicas sobre como começar a estudar Kubernetes, a importância da observabilidade e a cultura de trabalho em equipes que utilizam essa te...

Prepare-se para uma imersão nos bastidores do mais recente encontro de engenharia de dados em Brasília e descubra as tendências que estão moldando o futuro da área. Neste episódio, Vitor Ramos conversa com Wesley Outeiro e outros participantes para compartilhar os principais insights e aprendizados do evento presencial, organizado pela Engenharia de Dados Academy e como palestrante Luan Moreno . U...

O Impacto da IA Generativa no Presente e Futuro dos Dados Prepare-se para uma conversa de altíssimo nível sobre como a Inteligência Artificial Generativa está transformando o mundo dos dados, das empresas e das carreiras. Neste episódio, Luan Moreno recebe Eduardo Ordax , Líder de IA Generativa na AWS , e Mateus Oliveira para discutir, sem rodeios, os impactos reais da IA no mercado. O que você va...

No episódio de hoje Mateus Oliveira entrevistou  Ananda Ellen (Engenharia de Dados),  Leonardo Côco e Victor Grutner, integrantes do time de dados da One Way Solution. Spark e Engenharia de Dados para Iniciantes, são tópicos extremamente relevantes nos dias de hoje, afinal, todos nós fomos iniciantes um dia. Nesse bate-papo conversamos sobre quais desafios e conquistas temos durante o aprendizado...

No episódio de hoje Mateus Oliveira entrevistou Alessandro Gums (Analytics Engineer) , Bruno Bento ( Analytics Engineer) e Franklin Ferreira (Arquiteto de Dados), integrantes do time de dados da Clicksign. Analytics Engineer se tornou uma grande thread do mercado e também uma necessidade nas empresas de hoje. fazer o split das responsabilidades de uma determinada área é comum e isso tinha que acon...

No episódio de hoje, Mateus Oliveira entrevistam Franklin Ferreira (Arquiteto de Dados) e Vinicius Gasparaini (Engenheiro de Dados), ambos integrantes do time de dados da Clicksign. Arquitetura de Dados & Engenharia de Dados, são áreas que estão ganhando muita tração nos últimos anos, entender como elas funcionam dentro de uma empresas data-driven é, não só um dos melhores metódos de estudo de...

No episódio de hoje, Leonardo Souza & Mateus Oliveira entrevistam Filipe Mubarac  (Analista de dados), Acácio Komesu  (Analista de BI), Levi de Carvalho  (Analista de Dados) e Franklin Ferreira  (Arquiteto de Dados),  integrantes do time de dados e analytics da Clicksign. Data Analytics  sempre foi um das principais áreas dentro de uma empresa. Nos últimos anos, com certeza, passou de uma área...

No episódio de hoje, Luan Moreno & Mateus Oliveira entrevistam o time do Orion da One Way Solution . Plataforma de Dados no Kubernetes é um dos tópicos mais pedidos para falarmos aqui no Podcast, principalmente para quem tem a necessidade de uma plataforma agnóstica a cloud e de baixo custo. Neste bate papo iremos falar sobre: Nas trincheiras da consultoria; Aprendendo Kubernetes; Plataforma d...

No episódio de hoje, Luan Moreno & Mateus Oliveira entrevistaram Thiago Rocha (Scrum Master), Marco Coimbra ( Data Product Manager ), José Ivamotto (Head de Dados) e Franklin Ferreira (Arquiteto de Dados) , integrantes do time de dados da Clicksign. Gestão & Dados com Produto são tópicos extremamente relevantes nos dias de hoje. Falar sobre dados sem se preocupar com a gestão, pode trazer...

No episódio de hoje, Luan Moreno e Mateus Oliveira entrevistaram Aron Willians , atualmente como Community Manager/ Developer Advocate na Ampare. Aaron é apaixonado por trazer novas tecnologias para desenvolvedores atuais e para a próxima geração, por meio de hacking e treinamento prático. Neste podcast, você vai aprender sobre:  Desafios na construção da comunidade de código aberto;  Visão gerenc...

No episódio de hoje, Luan Moreno e Mateus Oliveira entrevistam Ivan Lima , atualmente Director of Machine Learning & Data Engineering no Ifood. Ifood é uma das maiores empresas do Brasil e, claro, leva o assunto sobre dados muito a serio. Imagine receber diversos dados do aplicativo, além de possuir várias sessões analíticas e dados em alto volume. Neste podcast, conversamos sobre: Desafios na...

No episódio de hoje, Luan Moreno , Mateus Oliveira e Orlando Marley entrevistam Bill Inmon , criador do conceito de Data Warehouse e escritor de diversos livros com temáticas voltadas para dados. Data Warehouse é o conceito de centralização de dados analíticos das organizações, de forma estruturar um visão 360° do business. Neste episódio, você irá aprender:  Diferenças entre OLTP e OLAP; Históric...

No episódio de hoje, Luan Moreno e Mateus Oliveira entrevistam Brian Olsen , atualmente Head of Developer Relations na Tabular. Trino é um produto open-source, para virtualizar os dados através de queries. Imagine uma engine de SQL capaz de consultar dados do Apache Kafka, Cloud Storage, Databases e diversas outras fontes de forma simples e extremamente eficaz. Com Trino , você tem os seguintes be...

No episódio de hoje, Luan Moreno e Mateus Oliveira entrevistam Neha Pawar , atualmente Founder Engineer na StarTree. Apache Pino t é um banco de dados OLAP de baixa latência, que foi desenvolvido para queries analíticas dentro do Linkedin. O objetivo é resolver um dos problemas que tecnologias como o Apache Kafka não resolvem, consultar bilhões de eventos com performance e baixa latêcia .   Com  A...

No episódio de hoje, Luan Moreno e Mateus Oliveira conversam com Matheus Willian , atualmente Head de Engenharia de Dados na One Way Solution . dbt é uma das tecnologias mais faladas e utilizadas fora do país, possibilitando aos times de todos os portes trabalhar com o conceito de Modern Data Stack , tornando o desenvolvimento de transformações dos dados de forma simples e com SQL. Com dbt, você t...

No episódio de hoje, Luan Moreno e Mateus Oliveira conversam sobre a participação no Kafka Summit London 2023. Kafka Summit é uma das maiores conferências de tecnologia do mundo, onde empresas de tecnologias de streaming anunciam novidades e podemos entender mais sobre como as elas estão usando estas tecnologias no dia a dia. Na conferência tivemos 3 momentos: Keynote - (Anúncios); Vendor Hall - (...

No episódio de hoje, Luan Moreno & Mateus Oliveira entrevistaram André Araújo , atualmente como Field Engineer, Data in Motion na Cloudera. CDP é uma Plataforma de Dados Enterprise Cloudera, com foco na versatilidade em casos de uso como Streaming Platform, possuindo tecnologias como Apache Kafka e Apache Flink . Com CSP, você tem os seguintes benefícios:  Apache Kafka - Plataforma de armazena...

No episódio de hoje, Mateus Oliveira e Matheus Willian entrevistaram Aurimas Griciūnas , atualmente Fundador e CEO da Swirl AI & Arquiteto Sênior de Soluções da  neptune ai. Engenharia de Dados e Ciência de Dados são, hoje, as áreas de maior demanda no mercado internacional e nacional. O primeiro, cria soluções para disponibilização de dados da melhor forma e o segundo, cria algoritmos de pred...

No episódio de hoje, Luan Moreno ,  Mateus Oliveira e Antony Lucas entrevistaram Dipankar Mazumdar , atualmente como  Data Advocate na Dremio. Dremio é uma das mais conhecidas tecnologias de Self-Service SQL Analytics de mercado, unificando a visão dos dados e utilizando a lingua franca de dados: o SQL. Alinhado com o Apache Iceberg, o Dremio traz a proposta de ser um Open Data Lakehouse.  Com Apa...

No episódio de hoje, Luan Moreno e Mateus Oliveira entrevistaram Denny Lee & Mathew Powers , atualmente Developer Advocates na Databricks. Delta Lake é um produto open-source, que nos permite aplicar o famoso Data Lakehouse {Data Lake + Data Warehouse} , desenvolvido pela empresa dos criadores do Apache Spark . Delta Lake resolve o problema do Apache Spark, armazenamento, processamento de dado...

No episódio de hoje, Luan Moreno , Mateus Oliveira & Tiago Xavier entrevistaram Hudson Buzby , atualmente como Arquiteto de Soluções na Spot by NetApp. SPOK ou Spark Operator on Kubernetes , é o deployment para Apache Spark que utiliza um Operator de Kubernetes para melhor gerenciar os drivers e executors usando Kubernetes como infraestrutra escalável.  Com SPOK , você possui os seguintes bene...