Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
TROCCO今昔
Search
gtnao
July 18, 2025
Technology
0
290
TROCCO今昔
Data Engineering Study #30
primeNumber inc. Sponsor LT
https://primenumber.com/
gtnao
July 18, 2025
Tweet
Share
More Decks by gtnao
See All by gtnao
ClaudeCodeにキレない技術
gtnao
1
1.3k
PaaSとSaaSの境目で信頼性と開発速度を両立する 〜TROCCO®︎のこれまでとこれから〜
gtnao
8
19k
0 -> 1でフロントエンドのテストを 書く文化を作っている話
gtnao
2
2.6k
ZetaSQLを使って、 カラムリネージ機能を作った話
gtnao
3
1.9k
Other Decks in Technology
See All in Technology
全てGoで作るP2P対戦ゲーム入門
ponyo877
3
980
Geospatialの世界最前線を探る [2025年版]
dayjournal
2
400
避けられないI/O待ちに対処する: Rails アプリにおけるSSEとasync gemの活用 / Tackling Inevitable I/O Latency in Rails Apps with SSE and the async gem
moznion
2
1.5k
最近話題のForward Deployed EngineerとPalantirについて調べてみた / Recently popular topics: Forward Deployed Engineer and Palantir
jumtech
0
130
20250924_LT2本やる.pdf
foursue
0
800
履歴 on Rails: Bitemporal Data Modelで実現する履歴管理/history-on-rails-with-bitemporal-data-model
hypermkt
0
1.3k
CTFのためのKubernetes入門
kyohmizu
2
760
RailsのPostgreSQL 18対応
yahonda
0
870
非エンジニアのあなたもできる&もうやってる!コンテキストエンジニアリング
findy_eventslides
3
670
サプライチェーン攻撃に学ぶModuleの仕組みと セキュリティ対策
kuro_kurorrr
3
590
フルカイテン株式会社 エンジニア向け採用資料
fullkaiten
0
8.9k
DataOpsNight#8_Terragruntを用いたスケーラブルなSnowflakeインフラ管理
roki18d
1
200
Featured
See All Featured
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
234
17k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
18
1.2k
How to train your dragon (web standard)
notwaldorf
96
6.2k
Gamification - CAS2011
davidbonilla
81
5.4k
The Pragmatic Product Professional
lauravandoore
36
6.9k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
140
34k
It's Worth the Effort
3n
187
28k
Learning to Love Humans: Emotional Interface Design
aarron
274
40k
How to Ace a Technical Interview
jacobian
280
23k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
What's in a price? How to price your products and services
michaelherold
246
12k
Automating Front-end Workflow
addyosmani
1371
200k
Transcript
TROCCO今昔 Data Engineering Study #30 primeNumber inc. Sponsor LT
本スライドは Claude CodeとMarpのみで 作成されました
AGENDA 1. 自己紹介 2. TROCCOとは 3. 年表 4. 黎明期(2018年) 5.
成長期(2019年〜2023年) 6. 転換期(2024年) 7. 現在地(2025年)
Naotaka Nakane @gtnao primeNumber プロダクト開発本部 CTO室 室長 Staff Software Engineer
2018年11月入社(TROCCOリリースと同じ月!) 色々つくってきました ワークフロー プログラミングETL dbt連携 データカタログ(旧 COMETA) Self-Hosted Runner etc...
TROCCOとは 点在するデータの「統合」を自動化。 「統合」を軸にデータ基盤の構築や運用を支援するSaaSプロダクト。 データをビジネスに活用するまでのステップ
TROCCOの機能 統合の他にも、データ加工を手間なく実現できるデータマート機能や、 データ処理のプロセスを管理するワークフロー機能等も搭載し、 データ基盤の構築・運用を総合的に支援します。
7年前までタイムスリップ 🕑
TROCCO年表 2018 Next 2018.11 TROCCOリリース Embulkベースの転送機能のみを 備えたSaaSとしてローンチ 2019 夏 データマート機能
転送後の変換処理を シンプルなSQL実行機能として サポート 2020 春 ワークフロー機能 複雑な依存関係をGUIで定義し データパイプラインの構築が可能に 2022 夏 データカタログ機能 メタデータ領域に進出 2024 春 ブランドイメージ刷新 COMETA誕生 Connect 100+プロジェクト 2025 現在 最新アップデート コネクタ爆増中 Self-Hosted Runner COMETA AI
黎明期:2018年
プレスリリース(2018年11月8日)
初期のトップページ
初期の転送設定画面
初期のプレビュー画面
初期の特徴 転送設定とスケジュール実行のみのシンプルな構成 コネクタ(10個前後) DWH:BigQuery、Redshift Database:MySQL、PostgreSQL ストレージ:S3、GCS、SFTP ※ SalesforceなどのSaaS系や広告系コネクタはまだ無し
成長期:2019年〜2023年
2019年:データマート機能 データ転送後の変換処理を、シンプルなスケジュールドSQL機能として提供 SQLが書ければすぐに使える dbtよりも手軽に始められる TROCCOの屋台骨を支える機能として、2025年現在も広く使われている
2020年:ワークフロー機能 ついに本格的なワークフロー機能が登場 各転送機能の依存関係を定義可能 GUIでドラッグ&ドロップ、DAGを直感的に構築 複雑なデータパイプラインの可視化と管理 💡 実は2020年(ローンチ2年後)までワークフロー機能は存在しませんでした...
初期のワークフロー画面
以前はどうしてた? ジョブ依存機能 各設定単位で、依存する設定を定 義できる機能があった 全体を俯瞰して、フローを組める 機能はなかった
その他機能の拡充 SaaS、広告系コネクタの拡充 プログラミングETL スキーマ追従機能 変更ロールバック機能 マネージドデータ転送機能 ワークフローのループ実行 データチェック機能 dbt連携 データカタログ機能
ラベル機能 チーム機能 SAML認証・2要素認証・IP制限 監査ログ etc..
転換期:2024年
COMETAリリース TROCCOのデータカタログ機能がCOMETAとして生まれ変わる
ブランドリニューアル 親しみやすさは残したまま、信頼性の感じられるデザインへ
(参考) ブランドアイデンティティの再構築 https://note.com/kotaki_kazumasa/n/nc9fe25adbb6a
Connect 100+ 構想スタート 会計、人事、決済、RevOpsといった領域で 1年で100以上の新しいコネクタを提供する 野心的なプロジェクト
現在地:2025年
コネクタの爆発的増加 Connect 100+ プロジェクトの成果 2024年11月:110程度 2025年7月現在:170程度 9ヶ月で約60個増加 SAPなどのエンタープライズ向け コネクタもサポート
(参考) Connect 100+ を支える技術 https://speakerdeck.com/kanyamaguc/connect-100-plus-wozhi-eruji-shu
Self-Hosted Runner Dockerがあれば、どこでも転送ジョブを実行 SaaS版TROCCOとハイブリッド構成 データ転送はコンテナ内で完結 通信はコンテナから開始(セキュアな設計) ネットワーク制約を柔軟に回避
データカタログからAIデータプラットフォームへ COMETA AIチャット メタデータ自動生成
Coming Soon... ワークフローの条件分岐機能 より柔軟なフロー制御が可能に
多様な条件分岐に対応 指定可能な条件 実行時刻 ジョブの完了ステータス HTTPタスクのレスポンスコード
あらゆるデータを、ビジネスの力に変えるべく これからも開発していきます🚀
Happy Data Engineering!