Slide 1

Slide 1 text

TROCCO今昔 Data Engineering Study #30 primeNumber inc. Sponsor LT

Slide 2

Slide 2 text

本スライドは Claude CodeとMarpのみで 作成されました

Slide 3

Slide 3 text

AGENDA 1. 自己紹介 2. TROCCOとは 3. 年表 4. 黎明期(2018年) 5. 成長期(2019年〜2023年) 6. 転換期(2024年) 7. 現在地(2025年)

Slide 4

Slide 4 text

Naotaka Nakane @gtnao primeNumber プロダクト開発本部 CTO室 室長 Staff Software Engineer 2018年11月入社(TROCCOリリースと同じ月!) 色々つくってきました ワークフロー プログラミングETL dbt連携 データカタログ(旧 COMETA) Self-Hosted Runner etc...

Slide 5

Slide 5 text

TROCCOとは 点在するデータの「統合」を自動化。 「統合」を軸にデータ基盤の構築や運用を支援するSaaSプロダクト。 データをビジネスに活用するまでのステップ

Slide 6

Slide 6 text

TROCCOの機能 統合の他にも、データ加工を手間なく実現できるデータマート機能や、 データ処理のプロセスを管理するワークフロー機能等も搭載し、 データ基盤の構築・運用を総合的に支援します。

Slide 7

Slide 7 text

7年前までタイムスリップ 🕑

Slide 8

Slide 8 text

TROCCO年表 2018 Next 2018.11 TROCCOリリース Embulkベースの転送機能のみを 備えたSaaSとしてローンチ 2019 夏 データマート機能 転送後の変換処理を シンプルなSQL実行機能として サポート 2020 春 ワークフロー機能 複雑な依存関係をGUIで定義し データパイプラインの構築が可能に 2022 夏 データカタログ機能 メタデータ領域に進出 2024 春 ブランドイメージ刷新 COMETA誕生 Connect 100+プロジェクト 2025 現在 最新アップデート コネクタ爆増中 Self-Hosted Runner COMETA AI

Slide 9

Slide 9 text

黎明期:2018年

Slide 10

Slide 10 text

プレスリリース(2018年11月8日)

Slide 11

Slide 11 text

初期のトップページ

Slide 12

Slide 12 text

初期の転送設定画面

Slide 13

Slide 13 text

初期のプレビュー画面

Slide 14

Slide 14 text

初期の特徴 転送設定とスケジュール実行のみのシンプルな構成 コネクタ(10個前後) DWH:BigQuery、Redshift Database:MySQL、PostgreSQL ストレージ:S3、GCS、SFTP ※ SalesforceなどのSaaS系や広告系コネクタはまだ無し

Slide 15

Slide 15 text

成長期:2019年〜2023年

Slide 16

Slide 16 text

2019年:データマート機能 データ転送後の変換処理を、シンプルなスケジュールドSQL機能として提供 SQLが書ければすぐに使える dbtよりも手軽に始められる TROCCOの屋台骨を支える機能として、2025年現在も広く使われている

Slide 17

Slide 17 text

2020年:ワークフロー機能 ついに本格的なワークフロー機能が登場 各転送機能の依存関係を定義可能 GUIでドラッグ&ドロップ、DAGを直感的に構築 複雑なデータパイプラインの可視化と管理 💡 実は2020年(ローンチ2年後)までワークフロー機能は存在しませんでした...

Slide 18

Slide 18 text

初期のワークフロー画面

Slide 19

Slide 19 text

以前はどうしてた? ジョブ依存機能 各設定単位で、依存する設定を定 義できる機能があった 全体を俯瞰して、フローを組める 機能はなかった

Slide 20

Slide 20 text

その他機能の拡充 SaaS、広告系コネクタの拡充 プログラミングETL スキーマ追従機能 変更ロールバック機能 マネージドデータ転送機能 ワークフローのループ実行 データチェック機能 dbt連携 データカタログ機能 ラベル機能 チーム機能 SAML認証・2要素認証・IP制限 監査ログ etc..

Slide 21

Slide 21 text

転換期:2024年

Slide 22

Slide 22 text

COMETAリリース TROCCOのデータカタログ機能がCOMETAとして生まれ変わる

Slide 23

Slide 23 text

ブランドリニューアル 親しみやすさは残したまま、信頼性の感じられるデザインへ

Slide 24

Slide 24 text

(参考) ブランドアイデンティティの再構築 https://note.com/kotaki_kazumasa/n/nc9fe25adbb6a

Slide 25

Slide 25 text

Connect 100+ 構想スタート 会計、人事、決済、RevOpsといった領域で 1年で100以上の新しいコネクタを提供する 野心的なプロジェクト

Slide 26

Slide 26 text

現在地:2025年

Slide 27

Slide 27 text

コネクタの爆発的増加 Connect 100+ プロジェクトの成果 2024年11月:110程度 2025年7月現在:170程度 9ヶ月で約60個増加 SAPなどのエンタープライズ向け コネクタもサポート

Slide 28

Slide 28 text

(参考) Connect 100+ を支える技術 https://speakerdeck.com/kanyamaguc/connect-100-plus-wozhi-eruji-shu

Slide 29

Slide 29 text

Self-Hosted Runner Dockerがあれば、どこでも転送ジョブを実行 SaaS版TROCCOとハイブリッド構成 データ転送はコンテナ内で完結 通信はコンテナから開始(セキュアな設計) ネットワーク制約を柔軟に回避

Slide 30

Slide 30 text

データカタログからAIデータプラットフォームへ COMETA AIチャット メタデータ自動生成

Slide 31

Slide 31 text

Coming Soon... ワークフローの条件分岐機能 より柔軟なフロー制御が可能に

Slide 32

Slide 32 text

多様な条件分岐に対応 指定可能な条件 実行時刻 ジョブの完了ステータス HTTPタスクのレスポンスコード

Slide 33

Slide 33 text

あらゆるデータを、ビジネスの力に変えるべく これからも開発していきます🚀

Slide 34

Slide 34 text

Happy Data Engineering!