20251024_TROCCO／COMETAアップデート紹介といくつかデモもやります！_#p_UG 東京：データ活用が進む組織の作り方

Transcript

1. TROCCO／COMETAアップデート紹介と いくつかデモもやります！ 2025.10.24 #p_UG 東京：データ活用が進む組織の作り方 primeNumber Inc. 鈴木 大介（D）
2. 2 鈴木 大介（D） 株式会社primeNumber マーケティング本部 PMMチーム プロダクトマーケティングマネージャー Self-Hosted Runnerの検証のため、 Azure／AWS／Google Cloud／Oracle Cloud Infrastructureでコンテナをデプロイできるようにな りました（笑）
3. 3 TROCCO：データ活用の基盤を支えるサービス データの転送、加工、実行管理の自動化を担うことで、 BIでの可視化／AI活用／データ連携を効率的に実現する Web行動ログSDK　 データ転送 （ETL） データ変換（ELT／データマート定義・dbt連携） BI ML / LLM 顧客/会員データ 購買データ 広告/MAデータ CRM/SFAデータ SaaSデータ 広告配信 コンテンツ レコメンド SFA MA CRM ファイル ストレージ ワークフロー データカタログ DWH Lake Warehouse Mart データ転送 （リバースETL）
4. 4 COMETA：データの活用を促進するサービス テーブル・カラムの相関関係を一目で把握 独自のメタデータを追加 カタログを見ながらクエリ記述 データ選定 データ理解 集計作業 データチェック 分析要件整理 必要なデータを容易に検索 集計作業を効率化 自動でカタログ作成 テーブル・カラムの相関関係を一目で把握 独自のメタデータを追加 カタログを見ながらクエリ記述 検索 データカタログ JOIN分析 ER図 カラムリネージ ユーザー定義メタデータ クエリエディタ 全体を対話型AIで支援 データ活用の課題に適した機能を、使いやすいUIで揃えているとともに、 対話型AI機能でデータの探索や分析を支援する
5. 5 前回のp_UGからのリリース紹介
6. primeNumber TROCCO 6
7. 7 環境管理（デモします！） 環境を設定するとともに、環境に紐づいたリソースの移行を円滑にすることで、 本番環境を保護しながら開発／検証を安全に進められる
8. 8 CDCデータ転送 転送元PostgreSQL／転送先BigQueryに対応 データベースの変更ログをもとに大量データの効率的な差分転送ができるCDCデータ転送で、 転送元MySQL、転送先S3（Iceberg）に加えて、転送元PostgreSQL、転送先BigQueryが追加
9. 9 データマート Databricks対応 この機能拡充で、Databricksへの転送（ETL）、Databricksでの変換（Transform）、 Databricksからの転送（Reverse ETL）に対応
10. 10 新規コネクタ追加／拡充 • 転送元Gainsight PX • 転送元HENNGE Access Control • 転送元WordPress • 転送元Zoho People • 転送元チャネルトーク • 転送元yamory • 転送元SendGrid • 転送元BIZTEL • 転送元Bill One • 転送元ClickUp • 転送元Db2 for LUW • 転送元Qiita • 転送元PayPal • 転送元Vercel • 転送元SAP S/4HANA OData 差分転送 8月～で以下のコネクタが追加／拡充
11. primeNumber COMETA 11
12. 12 対話型AIアシスト機能 Agent化をすることで、自律的に動作し対話の品質が向上
13. 13 Redshift連携 Google BigQuery、Snowflakeに加えて、Amazon Redshiftにネイティブ連携* *上記以外もカスタムデータベース連携で連携可能
14. 14 メタデータアクセスコントロール（昨日リリース！／デモします！） データベース／スキーマ／テーブル単位で許可／拒否の細やかなアクセス制御が可能に
15. 15 デモします！！！
16. 16 地味便利機能を2つ（私が泣いて喜んだもの） • 接続情報の利用状況確認機能 ◦ 接続情報の棚卸しには不可欠 • ワークフロー画面でのコメント機能 ◦ チーム開発にはとっても便利 超絶ヘビーユーザーの私がずっと欲しかったものです・・・使ってください
17. 17 環境管理 環境を設定するとともに、環境に紐づいたリソースの移行を円滑にすることで、 本番環境を保護しながら開発／検証を安全に進められる
18. 18 環境管理でできること 環境管理の運用イメージ • 環境のまとまりである環境グループに環境 （dev／prodなど）を作成 • 作成したリソースにdevを紐づけ • devのリソースをもとに、接続情報／カスタ ム変数等を変更したprodの リソースを作成 （設定した差分以外は共通） • devを修正したら、検証後に修正内容を prodに反映 同一アカウント内で、接続情報／カスタム変数等を差分として、 リソースの作成／変更の反映を行うことで堅実な環境移行を実現
19. 19 詳細は公式ドキュメント／解説記事にて • 公式ドキュメント「環境管理機能」 • 解説記事「もう間違えて本番環境を壊さない！TROCCOの 環境管理で、堅牢なデータパイプライン開発を実現する」 ◦ 環境分離の考え方 ◦ 手を動かして理解する「環境管理」とは ◦ 設計パターンの整理（タスクレベル） ◦ 設計パターンの整理（ワークフローレベル） ◦ 利用上の注意 ユースケースや設定方法の詳細についてまとめています
20. 20 Self-Hosted Runner TROCCOのデータ転送を、ユーザー管理の処理環境で実行できる機能 外部SaaSはつなげないんです・・・を乗り越えるもの Secure｜実データ は閉域内で処理 インバウンド通信は不要、設定情報のみアウトバウンド通信で取得 01. Clear ｜TROCCOが使えれば 誰でも 非エンジニアでも使いやすい UI/UXはそのまま 02. Quick ｜Dockerなら何処でも直ぐに Docker（Linux環境）で速やかに構築可能 03.
21. 21 これが
22. 22 こうなる
23. 23 利用者向けの記事を書いたので、参考までに • 解説記事「TROCCO Self-Hosted Runnerの運用構成を整理する」 機能的な解説と運用構成の考え方について整理しています
24. 24 メタデータアクセスコントロール データベース／スキーマ／テーブル単位で許可／拒否の細やかなアクセス制御が可能に
25. 25 最後に
26. 26 11月5日（水） 18:50-19:10でQiita Conferenceに登壇します！
27. お申し込み・詳細は こちらから
28. Thank you!