DataWatch

Automatiser la lecture de JSON avec Cortex + dbt sur Snowflake Dans cet épisode de DataWatch, on plonge dans un use case ultra concret de Data Engineering moderne : comment automatiser le flatten de JSON complexes dans Snowflake grâce à Cortex Code et dbt. Avec Ferhat Aouaghzene, consultant spécialisé Snowflake & dbt, on décortique une problématique que beaucoup d’équipes data rencontrent aujo...

Dans cet épisode, on revient à chaud sur Google Cloud Next’26, avec un filtre très clair : qu’est-ce qui compte vraiment pour les équipes data. Plutôt que d’énumérer les centaines d’annonces, on prend le temps de décortiquer les signaux forts. BigQuery continue de s’étendre, le Lakehouse se structure autour d’Iceberg, la gouvernance des données prend une nouvelle dimension… mais surtout, un change...

Et si les Data Contracts devenaient insuffisant pour garantir la qualité et la compréhension des données ? Dans l’épisode, nous, Axel et Bertrand, parlons de la différence entre la forme des données et leur signification métier. Pour matérialiser cela, le concept d’Open Semantic Interchange (OSI) est abordé. On explique pourquoi les Data Contracts ne suffisent plus à eux seuls, et comment la couch...

☝️ Dans cet épisode Bertrand et Axel passent en revue les dernières nouveautés Data de Google Cloud, en mettant l’accent sur l’arrivée massive de l’IA dans les outils comme BigQuery. Ils parlent du Conversational Analytics, qui permet de générer des requêtes SQL en langage naturel, ainsi que les limites liées aux hallucinations et à la validation métier. La discussion aborde également l’émergence...

☝️ Dans cet épisode Bertrand et Axel discutent des tendances actuelles en matière de Data, en se concentrant sur une vidéo YouTube d’interview de Daniel Beach. Ils explorent le retour au vertical scaling, l'état du marché des outils de data, et l'évolution du rôle de Data Engineer à l'ère de l'IA. La conversation aborde également les défis liés au choix des outils dans un environnement saturé et l...

☝️ Dans cet épisode, Axel Mauroy et Bertrand Fabre accueillent Victor Vaneecloo, Data Engineer expérimenté, pour échanger sur ses retours d’expérience autour de dbt (data build tool) et de ses usages en Data Engineering. Les ressources 👉 Victor sur LinkedIn : https://www.linkedin.com/in/baptiste-wlodarczyk/ ➕ rateIndex : https://rateindex.streamlit.app/ ➕ Newsletter : https://vaneec.tech/ ➕ Si...

☝️ Dans cet épisode, Axel Mauroy et Bertrand Fabre explorent les dernières avancées en ingénierie des données et en intelligence artificielle. Ils discutent des nouvelles fonctionnalités d'AWS S3 pour le stockage de vecteurs, de l'IDE Antigravity de Google, et de l'intégration d'Excel avec Databricks. Les hôtes partagent leurs réflexions sur l'impact de ces technologies sur le secteur et les défis...

☝️ Dans cet épisode, Bertrand et Axel discutent de l'utilisation de Polars chez Decathlon, de la comparaison entre Polars et Spark, de Lance comme nouveau format de données, et de l'impact de l'IA sur l'observabilité des données avec Monte Carlo. Ils explorent comment ces outils et technologies peuvent optimiser le traitement des données et améliorer l'efficacité des équipes data. 👉 Axel sur Link...

☝️ Dans cet épisode, Bertrand et Axel explorent les nouveautés de Python 3.14, notamment le T-String, les améliorations de débogage, et les implications du GIL sur les performances. Ils discutent également des concepts de Data Redaction et Data Masking, ainsi que des meilleures pratiques pour la gestion des données sensibles. 🎙️ DataWatch est un podcast de veille en data. Axel Mauroy et Bertrand F...

☝️ Dans cet épisode, Bertrand Fabre, Axel Mauroy et leur invité Baptiste Vlodarczyk (AI Engineer chez SFEIR, en mission chez L’Oréal) discutent de plusieurs sujets liés à l’intelligence artificielle et à l’ingénierie des données. Baptiste présente un article de Google sur la sécurisation des serveurs MCP (Model Context Protocol), standard proposé par Anthropic pour connecter les modèles de langage...

Dans cet épisode, Bertrand Fabre explore les différences entre SQLMesh et dbt, deux outils de transformation de données. Il met en avant les fonctionnalités de SQLMesh, notamment son intégration de Python, son versioning et son orchestration intégrée. La discussion aborde également les tests et CI/CD, ainsi que les environnements de développement. Bertrand conclut en soulignant l'importance de SQL...

☝️ Dans cet épisode, Axel Mauroy et Bertrand Fabre explorent les nuances de l'architecture médaillon, un concept popularisé par Databricks. Ils discutent des couches de données bronze, silver et gold, et remettent en question la nécessité de certaines de ces couches. L'épisode aborde également l'impact du marketing sur les nouvelles technologies et l'importance de rester pragmatique dans l'adoptio...

Dans cet épisode, Bertrand Fabre explore le concept de data virtualisation, un mécanisme qui permet aux organisations de partager et d'exploiter des données sans les déplacer. Il discute des avantages, des défis et des implications environnementales de cette approche, tout en mettant en lumière des exemples concrets d'application et les perspectives d'avenir dans le domaine de la gestion des donné...

Dans cet épisode, Bertrand Fabre explore un article sur le protocole MCP de Snowflake, qui permet d'exécuter des requêtes SQL en langage naturel. Il discute des avantages de l'automatisation des analyses de données, de l'optimisation des coûts et des performances, ainsi que des défis liés à l'utilisation de l'IA dans la Data Engineering. L'épisode aborde également des cas d'utilisation concrets et...

Dans cet épisode de "Lecture à chaud", Bertrand Fabre explore les nouveautés des CTEs récursives sur Databricks, en les comparant avec d'autres plateformes comme BigQuery. Il partage ses réflexions en direct sur l'article, en expliquant comment ce type de CTE permet de naviguer dans des hiérarchies de données. Bertrand illustre le concept avec des exemples pratiques, notamment la construction d'un...

Dans cet épisode de "Lecture à chaud", Bertrand Fabre explore un article de Clarisse Véron sur la modélisation avancée avec dbt, un outil incontournable dans la transformation des données modernes. Bertrand partage ses réflexions à chaud sur les pratiques de modélisation, l'importance de la documentation et les défis liés à l'utilisation de dbt dans les entreprises. Découvrez comment structurer ef...

Dans cet épisode de DataWatch, Bertrand Fabre explore un article sur Monte Carlo, un outil de data quality et d'observabilité. Il partage ses réflexions sur les défis de la qualité des données, notamment la recherche des causes racines des anomalies, et discute des solutions possibles pour améliorer l'efficacité des équipes Data et IA. 👉 ⁠⁠⁠⁠Bertrand sur LinkedIn⁠⁠⁠⁠ ➕ ⁠⁠⁠⁠Newsletter de Bertrand...

Dans cet épisode de DataWatch, Bertrand Fabre inaugure un nouveau format plus spontané et interactif. Il explore un article récent de Decideo sur l'importance des bases de données sécurisées pour les banques françaises, partageant ses réflexions en temps réel. Découvrez pourquoi ces bases de données sont essentielles pour la conformité, la fiabilité des opérations bancaires, et la satisfaction cli...

☝️ Dans cet épisode, Axel Mauroy et Bertrand Fabre explorent divers sujets liés au Data Engineering, notamment les nouvelles fonctionnalités d'Airbyte, l'impact de l'IA sur l'intégration des données, et les outils comme le standard MCP et Starburst qui facilitent l'accès et la gestion des données. Ils discutent également de l'importance de la qualité des données et de la préparation des modèles d'...

☝️ Dans cet épisode, Axel Mauroy et Bertrand Fabre explorent les dernières tendances en Data Engineering et en intelligence artificielle, en mettant l'accent sur la nouvelle plateforme de données d'OVH, les innovations de BigQuery, et l'analyse des dépenses cloud qui continuent d'augmenter, notamment en raison de la demande croissante pour des solutions d'IA. 🎙️ DataWatch est un podcast de veille...

☝️ Dans cet épisode, Axel Mauroy et Bertrand Fabre abordent des sujets clés de la Data Engineering, notamment Cloud Run, l'essor de Rust dans la Data Engineering, et les améliorations de BigQuery. Cloud Run se distingue par sa capacité à s'adapter rapidement aux besoins, tandis que Rust offre des performances supérieures et des économies de coûts significatives. BigQuery, quant à lui, évolue avec...

☝️ Dans cet épisode, nous parlons du rachat de la société Informatica par Salesforce, de Google Cloud’s s'ouvrant au Lakehouse, des nouveautés 2025 de dbt et de DuckLake, présentant SQL au format Lakehouse. 🎙️ DataWatch est un podcast de veille en data. Axel Mauroy et Bertrand Fabre échangent autour d’articles publiés récemment en data. 👉 Axel sur LinkedIn 👉 Bertrand sur LinkedIn ➕ Newsletter d...

☝️ Dans cet épisode, nous parlons de la présentation du serveur MCP pour DBT, de la version 3 d'Apache Airflow, des pistes pour devenir un « meilleur » Data Engineer, et la différence entre le clustering et les partitions. 🎙️ DataWatch est un podcast de veille en data. Axel Mauroy et Bertrand Fabre échangent autour d’articles publiés récemment en data. 👉 ⁠⁠⁠⁠⁠Axel sur LinkedIn⁠⁠⁠⁠⁠ 👉 ⁠⁠⁠⁠⁠Bertra...

☝️ Dans cet épisode, nous parlons de l'annonce de la prise en charge de Git dans BigQuery, du lancement de dbt copilot pour améliorer l’efficacité des développeurs, du Shift Left, du Sommet Databricks Data + AI 2025, et de l'investissement de Snowflake Ventures dans DataOps.live.🎙️ DataWatch est un podcast de veille en data. Axel Mauroy et Bertrand Fabre échangent autour d’articles publiés récemme...

☝️ Dans cet épisode, nous parlons des nouveautés de Databricks SQL de février 2025, du rachat de DataStax par IBM pour renforcer watsonx et l'IA générative, de la sortie d'Apache Beam 2.63.0, des graphiques d'utilisation des ressources BigQuery, du réexamen du GROUP BY ROLLUP avec un exemple plus réaliste, des difficultés du métier de Data Engineer et de l'état actuel de l'architecture Lakehouse....