20260325_DataEngineeringStudy#34_スポンサーLT_BIの手前を整える

Transcript

1. BIの⼿前を整える AI時代に求められるデータ品質の話 Data Engineering Study #34 スポンサーLT ⼭本 健太 / primeNumber
2. AIによるデータアクセスの⺠主化 Text-to-SQLの普及 ⾃然⾔語での問いかけが直接SQLに変換され、⾮ 専⾨家でもデータへアクセスが可能に。 AI主導のBI構築 Claude CodeやStreamlit、Evidence等の活⽤に より、分析画⾯の構築コストが劇的に低下。 利⽤者の裾野が拡⼤ データエンジニアやアナリストを介さない「デー タの直接利⽤」が当たり前の時代へ。 ▪ ▪ ▪
3. AI時代に加速する「設計と品質」の危機 “Garbage in, Garbage Out” は、AI時代にこそ増幅する データ設計‧メタデータ AIがデータを正しく理解するための 「論理的構造」と「意味定義」の整 備が、アウトプットの精度を決定づ ける。 「気づき」の消失リスク 利⽤者が拡⼤することで、これまで はエンジニアが現場で防いでいた 「隠れた品質不備」が⾒過ごされた まま拡散される。 AI時代のGIGO AIは低品質なデータを「それらしい ⾔葉」で加⼯してしまう。ゴミの投 ⼊は、これまで以上に深刻な意思決 定ミスを招く。
4. 4 本番DBが「汚い」4つの理由 命名規則の不統⼀ AIのスキーマ解釈精度を直接低下させる原因に。 NULL値‧⽋損データの散在 AIが暗黙的に誤った集計クエリを⽣成するリスク。 スキーマ変更の放置 AIが参照するメタデータが古くなり、クエリが壊れる。 データ型の不整合 数値カラムへの⽂字列混⼊による集計エンジンの破壊。
5. 5 パイプラインに「品質ゲート」を組み込む チェック不合格の場合： 後続処理を⾃動ブロック ＋ Slack通知で即時検知 1. データ転送 ソースからDWHへ 2. データチェック 品質ゲートで検証 3. マート作成 安全なデータのみ反映
6. 6 TROCCO® の品質機能マップ データチェック SQLベースの検証 + しきい値による⾃動エラー判定。 スキーマ追従 変更を⾃動検知‧修正。削除時は安全に停⽌。 通知‧アラート Slack / メールでリアルタイムに異常を検知。 品質ゲート制御 ワークフローと連携し、異常データの拡散を防⽌。
7. 7 データ転送モードで作成したテーブルに対して⾃動でクエリを実⾏することで、ソースシステムの不 備や作業ミスによるデータの重複や⽋損を即座に検知し、信頼できるデータの品質を担保できる機能 2⽉新規リリース : データマートのデータ品質チェック
8. 8 データ品質チェックを利用するベネフィット データ品質チェックはお客様のこうした課題を解決する機能です 困りごと・課題 データ品質チェック機能による解決策 パイプラインの複雑化などに伴い、「ダッシュボードに表示されて いるデータがおかしくなった」などの問い合わせが増える。さら に、原因特定 → 復旧までの時間がかかっている ジョブの成否だけでなく、毎回の品質チェック結果を記録。「どの テーブルが、いつからおかしくなったのか」を即座に特定でき、復 旧までのリードタイムを短縮 できる 社外関係者向けダッシュボード・全社経営KPIダッシュボードな ど、「間違ってはいけない」データを扱っている が管理が難しい 「ジョブは成功したがデータは不正」というケースを、品質チェック で自動検知。条件を満たさないデータは後続処理をブロックし、 誤ったデータが展開される前に止められる データマート作成時の知見が失われたり属人化しており、抽出依 頼のリードタイムが長い 「データが満たすべき条件」を品質チェックとして定義すれば、それ がそのまま仕様書になる。他のメンバーも作成者の意図を理解で き、対応がスムーズになる
9. 9 BIの⼿前を整えよう AI-BIの精度は「上流のデータ品質」で決まる BIツールやLLMの性能よりも、データの綺麗さがボトルネックになる。 パイプライン層に「品質ゲート」を組み込む 異常をBIで⾒つけるのではなく、BIに届く前に⾃動で⽌める。 データエンジニアの役割：運ぶから「守る」へ AI-BIが広がるほど、上流の品質を守る仕事の価値が⾼まる。
10. 10 お気軽にお問い合わせください • 製品紹介セミナー配信中 • 無料トライアルや製品説明、 データ基盤の無料相談会など 随時受付中