Databricks Genie Codeだけを使ったAI駆動開発でLakeflow SDPパイプラインを構築する
Genie Codeでデータ調査からSQL生成・実行・検証まで進めるLakeflow SDPの開発を整理します。DMC Bankのデモを参考に、日本語訳したプロンプト、実践時の修正点、SDPとAIの相性についてまとめます。
ALL ARTICLES
記事を探す
タイトル、概要、タグから記事を絞り込めます。
8 件の記事
Databricks公式のハンズオンが新しくなっていたので、ETLパイプラインを実践してみた
Databricksの公開ハンズオンでETLパイプラインを実践。サンプルデータの生成、Auto LoaderによるBronzeへの増分取り込み、Silver・Goldの加工と集計を振り返ります。
DABsってDatabricks Asset Bundlesだと思っていたら、いつの間にかDatabricks Declarative Automation Bundlesになっていたので実践してみた
DABsの現在の名称と役割を整理し、Databricksの画面からGitフォルダー内にバンドルを作成する手順を紹介します。Lakeflowパイプラインのテンプレート、databricks.yml、dev・prodの設定を確認します。
DatabricksのLakeflow SDPを実践した感想
Lakeflow SDPのLevel 1〜5を実装して感じた、MVとSTの使いやすさ、データ品質チェック、AUTO CDCによる履歴管理、dbtとの比較をまとめます。
GPT-6 Astraに渡す指示を見直す。スキルとAGENTS.mdを整理するときに考えたいこと
OpenAIの記事からスキル・AGENTS.md・完了条件の要点を整理。ブログ制作とテニスの空き確認を例に、残す指示と見直す指示を考えます。
ChatGPT Workで会員サイトにログインし、テニスの空き状況を調べてもらう
PCでテニスの空き確認をスキル化し、スマホのChatGPT Workから実行しました。専用フォームでのログイン、Workへのスキル登録、実際に取得できた結果を紹介します。
dbt CoreとDatabricksを接続する
uvでdbt Coreの実行環境を用意し、Databricks Free Editionの接続情報を設定して、dbt debugで接続を確認するまでの手順を紹介します。
Query and Dailyをはじめます
設計や運用で得た知見を、再利用できる技術メモとして公開していくための最初の記事です。