BigQueryのメタデータ管理を、スクラッチで やったはなし

ハードスキルは合理化できるが、ソフトスキルは一朝一夕では身につかない。そんな課題をメタデータ管理を切り口に仕組みかすることでNon AIで最小工数で民主化を進める事例をご紹介します。
本イベントは9月5日に開催された明日から仕事で使える！インフラなんでもLT会にて発表したものになります。
https://soft-commit.connpass.com/event/363710/

PR
2025年9月14日(オンライン)
【9/14】DATA Saber - Bridge 4thが始まります！
https://connpass.com/event/368143/

2025年9月18日(オフライン)
集まれ、悩めるDATA Saber - Bridgeの森
https://connpass.com/event/367893/

Transcript

1. 〜Non AIで最小工数で民主化〜
 BigQueryのメタデータ管理を、スクラッチで 
 やったはなし 
 株式会社キュービック テクノロジーエキスパートセンター Tech Lead/データエンジニア 尾﨑勇太 2025.09.05 開示範囲:公開ドキュメント 
 1
2. 自己紹介 2 株式会社キュービック 役割：Tech Lead/データエンジニア 名前： 尾﨑 勇太（おざき ゆうた） 覚え方：尾崎豊(おざきゆたか)と一字違い 　　　 業務領域 「データに関わる全て」 X：@waichang111 DATA Saber 2025年6月〜
3. 宣伝です 3 もう少し分析ができるようになりたい・・・ でも教えてくれる人が居ない・・・ データに強い人材を育てたい！ でもリソースがない・・・ そんなお悩みを「 認定資格」という裏技により軽 減できるプログラムをご存じですか？ 解釈の幅を広げて踏み込んだ施策を 打ちたい！でも時間がない 頼りだった〇〇さんが居なくなっ た 育てたあの子が別チームに移動に・・・ いきなり生成AIで効率化しろと言われた
4. DATA Saber Bridge 4th 4 18人の師匠陣による一斉認定イベント !! DATA Saber Bridge 4thがエントリー受付中です 時期：師弟間で相談の上決定 DATA Saber 師匠：自分で見つける必要あり 期間： 90日間 DATA Saber Bridge 時期： 2025年11月一斉スタート 師匠：マッチングにより決定 期間： 90日間+準備期間 (30日間) 最適化されたプログラムを受けるだけで分析のスペシャリティと推進力が備わる！！ 横の繋がりが一気にできる。複数の師匠からサポートを受けられる
5. 説明会やってます 5 9月14日オンライン説明会 時間：21:00-22:00 参加枠：先着50名 9月18日オフラインイベント https://connpass.com/event/367893/ 時間：19:00-21:00 参加枠：先着10名 https://connpass.com/event/368143/
6. 本題です！！よくあるモニタリングの課題 6 可視化はゴールではなくスタート・・・・ ・発散ベースの要件で収束しない ・玄人しか使えない ・誰が言ったか>利便性 ・浸透/定着に時間がかかる ・可視化と解釈できる人材育成は別問題 ・貢献利益が見えずらい
7. 仕組み化で解決/軽減できないか？ 7 共通項は「データの解釈」ができるかどうかという点 ・発散ベースの要件で収束しない ・玄人しか使えない ・誰が言ったか>利便性 ・浸透/定着に時間がかかる ・可視化と解釈できる人材育成は別問題 ・貢献利益が見えずらい
8. データの解釈をどう底上げするか？ 8 分析のボトムを底上げ 分析人材を育成 30% 判断 70% 70% 分析担当者 判断 判断 学習 生成AIによる精度向上 分析人材 AI ハードスキルは一定合理化できるが、ソフトスキルは一朝一夕では身につかない
9. やりがちなソリューション 9 生成AIに解釈もSQL生成も全部任せる ・間違ったクエリを投げる 使う人員がデータの文脈を理解して いないと・・・・ ・出てきた数字を解釈できない エンドレスチューニング👹
10. SQLよりも手前に課題があるのではないか？ 10 データの持ち主問題 データはあるが「意味がわからない」「どこを見ればいいかわからない」状態で放置される。 ・データの参照元がわからない ・PF上で見ているデータとカラム名が一致しない ・SQLが書ける人に依存
11. 11 (1) データセットディスクリプション REST APIで差分更新 データセットに「どのサイトのデータか」を明示 (2) テーブルディスクリプション customer_name/account_name を自動抽出して説明に 反映 (3) カラムディスクリプション 論理名マッピングを用意して一括更新 → スキーマ自体がドキュメント化 アプローチ (4) 仕組み化 ユーザーは「データセット・テーブル・カラム」を選ぶだけでBigQueryからシートに出力 → SQLが書けない人員でもデータ取得可能な構成に
12. 12 (1)データセットディスクリプション 設定 反映 参照
13. 13 (2)テーブルディスクリプション 設定 反映 参照
14. 14 (3)カラムディスクリプション 設定 反映 参照
15. データの活用 データの選択 データの所在の理解 15 (4)仕組み化 1.対象データセットを把握する 2.対象テーブルを把握する 3.対象テーブルのスキーマを把握する 4.取得したいカラムを選択する 5.SQLなしで任意情報が取得可能に
16. 16 起きていたかもしれない未来 課題 欲しいデータはあるが、所在がわからない 問題 「解」が受け身に レポートファクトリー
17. 17 メタデータ管理からの仕組み化で達成されること 実施前 欲しいデータはあるが、所在がわからない 今後 情報の取捨選択と、セルフ対応が可能に
18. 18 自己完結型で情報収集と可視化がされることによる機会創出 期待できること1/2 表層課題 目的が不明瞭 目的が明瞭 技術相談 Before After
19. 19 30% 判断 70% 70% 分析担当者 判断 判断 学習 前提情報を理解した上で生成AIを活用することでシナジー 期待できること2/2
20. 20 ご清聴、ありがとうございました