Modern Data Stack Radio

データパイプラインの品質というテーマで、レビュアーの体制不足・属人化にどう立ち向かえばいいかといった、レビュープロセスに焦点を当てて話しました。

デジタル庁のデータ基盤 sukuna、dbt mertricflow といった時事ネタに触れつつ、セルフサービスBIを実現するのに必要な要素について話しました。データを利用する人がデータ基盤に求めている機能や、メタ情報を整備する人をどう評価するかについて深掘りしています。

株式会社CARTA HOLDINGS の pei さんをお招きして、データモデリングする時にどんなことから考え始めているのか、データエンジニア・アナリティクスエンジニアをどう育成していくか等について話しました。

dbt meetup #5 を振り返りつつ、Count や Evidence といった Headless BI ツールについて話しました。 話題のAIに触れつつ、AIを活用するためのメタ情報をどうやって拡充していくか議論しました。

getdbt から発表された State of Analytics Engineering 2023 のデータを見つつ、dbt の利用状況、アナリティクスエンジニアのポジションについて話しました。  dbt core と cloud  どちらを入れているか、チームサイズはどれくらいか、アナリティクスエンジニアリング組織の一番のハードルは何か、年収などについて触れています。 State of Analytics Engineering 2023 はこちら↓ https://www.getdbt.com/state-of-anal...

SQLを書く・レビューする・書き換える際の難しさについて話しました。レビューのしやすいSQLを書く方法、クエリがシンプルになるようなモデリング方法、ドメインとコンテキストを踏まえたレイヤリング等を議論しています。

Treasure Data の   Hirose さんをお招きして、 Data Activation や Data Mesh といったトレンドを振り返り、 modern さとは何か、dbt はなぜ modern だと言えるのか等について話しました。

Analytics Engineer の専門性ついて話しました。 ソフトウェアエンジニアやプロダクトマネージャー等との比較や、専門性が発揮されるシーン等を挙げています。

dbt Labs 謹製のプロジェクト評価パッケージツールについて話しました。 本番で動作している project に入れた場合、どのあたりが難しそうか、逆にどんな使い方が良さそうかについて話しました。 dbt project evaluator の記事はこちらです。 https://zenn.dev/mjunya1030/articles/20221030-project-evaluator

duckDB が parquet 形式でデータをエクスポートしたり、AWS glue と連携できたり、 Rill の動作がとても早いことなどを話しました。 takimo さんのアドベントカレンダーはこちら https://zenn.dev/takimo/articles/bb11eab78232f4

dbt coalesce の振り返りをしました(その2) - python モデル - SQLに対するテスト

dbt coalesce の振り返りをしました。 - 全体どうだったか - 個人的に印象に残ってるセッション - セマンティックレイヤー

どこから情報を見つけてくるか、英語の PodCast、データアプリケーション、アナリティクスエンジニアのスキルセットについて話しました アンテナの貼り方 海外PodCast データアプリケーション, データプロダクトとは

dbt tokyo より 瀧本 と 森田 が Analytics Engineer や Data Activation、 sqlfluff について話しました。 AnalyticsEngineer とは ReverseETL 改め、DataActivation sqlfluff 使ってますか