TT OSS Developer Program in Japan

Transcript

1. TT OSS Developer Program in Japan Kohei Yamaguchi / Tenstorrent Japan @sott0n 2026.02.26 TT Tech Talk #6
2. Japan TT OSS Program Tenstorrent のOSS開発への参加を促進するプログラムを開設します 2
3. Tenstorrent 最新AIアクセラレータを あなたの手元に!! 80% OFF 最新世代AIアクセラレータBlackholeの Discount codeを提供 TTによるサポート TenstorrentエンジニアがあなたのOSS 活動に伴走 OSS Developer Program
4. Japan TT OSS Program • 本プログラムの目的 • Tenstorrent Device上での研究・開発に取り組みたいDeveloperに Blackhole を提供する • TenstorrentのOSSコミュニティ形成 • 本プログラムの概要 • Tenstorrentに関連するOSS活動のテーマを設定 • 取り組み期間は2~6ヶ月 • プログラム参加者にはTenstorrentから以下をサポート • Tenstorrentデバイスの Discountコードを配布 （80% discount） • Tenstorrent社員がサポーターとして参加 4
5. 本プログラムにおけるOSS活動 • Tenstorrent OSS へのContribution • 既存のTT OSSへの開発参加（tt-metal, tt-llk, tt-forge/mlir, tt-inference-server, tt-umd/kmd, etc） • GitHub上でこれらのOSSに対して、PRを投稿してContribution • Tenstorrent に関係するOSS ソフトウェアの開発 • 例1) TT以外のOSSプロジェクトに対するTT Device/Softwareに関連する活動 • イメージ: llama.cpp/GGML へのTT Device対応 • https://github.com/marty1885/llama.cpp • 例2) TT Device/Softwareに関連する新しいOSSの開発 • 以下のTT-Boltzのように自身のアカウント上でOSS公開 • https://github.com/moritztng/tt-boltz 5 NOTE: OSSとしてのソースコード公開でなく、論文執筆も相談可能です。
6. Korea TT OSS Program • Model Bringup: • BitNet b1.58 inference model bringup • Keyword spotting model bringup • Chatterbox TTS model bringup • Open-Sora 1.2 model bringup • Compiler / Runtime Integration: • TT + TorchAO • TT + IREE compiler • TT + Tinygrad • Inference Server / Application: • TT + Whisper.cpp + CTranslate2 • On-prem LLM server for OSS service • Building on-prem AI pipeline or SW engineer interview prep, using RAG/LLM/STT 6 • Performance Optimization: • DiT + LLM kernel optimization • RVV optimization for llama.cpp, dav1d, ffmpeg, zstd • Domain-Specific Application: • Dual-ASIC based real-time LiDAR-camera detection for autonomous driving • 3D Gaussian Splatting on TT (for ISCA 2026 conference) 韓国ではすでにTT OSS Programがスタートしており、現在14 Projectsが現在進行中
7. Deviceについて
8. 本プログラムで想定する利用デバイス 8 Blackhole P100 Blackhole P150 Tensix cores 120 120 AI clock 1.35 GHz 1.35 GHz Big RISC-V CPU cores 16 cores 16 cores SRAM 180 MB 180 MB DRAM 28 GB GDDR6 32 GB GDDR6 Memory bandwidth 448 GB/sec 512 GB/sec TFLOPS (BFP8) 664 TFLOPS 664 TFLOPS TBP 300 W 300 W External Ports - 4x QSFP-DD Passive 800G Price $999 (80%OFF → $199.80) $1,399 (80%OFF → $279.80)
9. Tenstorrent Device の提供について • 本プログラムの参加者にはDevice購入のためのDiscount codeを発行します • Discount codeを発行するので、そのcodeをTenstorrent Siteの購入ページで入力して購入していただく形となります • 購入先: https://tenstorrent.com/hardware/blackhole • PCIe Card単位での購入になるため、Cardを差すためのPCが別途必要となることをご留意ください • 以下の方は、応募時の開発環境の項目に記述ください • Tenstorrent Deviceの購入が難しい方 • PCIeカードを差せるマシンがない方 • 複数Deviceが必要な方 • これらの方に対してはTT側で環境を用意できるかを検討いたします • TT側で必ず環境を用意することを保証するものではないため、ご注意ください • 検討の結果、見送りという形になる可能性もございます 9
10. TT OSSの紹介
11. Welcome to Tenstorrent Community!! • Tenstorrent OSS & Docs • https://github.com/tenstorrent • https://docs.tenstorrent.com • Discord • https://discord.gg/tenstorrent • Community Forum • https://community.tenstorrent.com
12. TT Bounty Program TenstorrentではOSSへのContributionに対して、Bounty Programを設けています • https://docs.tenstorrent.com/bounty_terms • Bounty labelのついたIssueに取り組むことを宣言し、PRがMergeされたら内容に応じて報奨金が支払われます • TT OSSへの参加の足掛かりとして、Bounty Programに取り組むことを推奨しています 12 Category (bounty difficulty) Examples Payment Range (US Dollars) warmup - Minor bug fixes. - Documentation improvements. - Adding or fixing a test case. - Basic logging updates. - Updating a README or sample script. 1 – 200 easy - Extending an existing feature. - Updating API calls. - Simple refactoring tasks. - Adding a new test suite. 201 – 500 medium - Implementing a new feature. - Adding support for a new model. - Debugging and fixing non-trivial performance issues. - Integration of a library or external tool. 501 – 1999 hard - Major feature implementation. - Core system redesign. - Implementing a new kernel or low-level ops. - Optimizing performance-critical code paths. 2000 – 3000 tenstorrnt/tt-metal
13. Tenstorrent OSS Stack Partners TT-Forge vLLM Python kernels TT-NN TT-Metalium TT-LLK (low-level-kernels) PyTorch models TT-Fabric (unified scale-up and scale-out) Manually optimized models TT-Train TT- Transformer LLM training LLM inference models LLM, t2s, s2t models Jax PyTorch TF ONNX Models AI Workloads Open Source Partners Tenstorrent Open Source Software
14. TT OSS: TT-LLK 14 TT-LLK is Tenstorrent's Low Level Kernel library for Tenstorrent AI chips, including Wormhole, and Blackhole. These kernels serve as foundational compute primitives, acting as building blocks for higher-level software stacks that implement machine learning (ML) operations. https://github.com/tenstorrent/tt-llk
15. TT OSS: TT-Metalium / TTNN 15 TT-Metalium is our low-level programming model, enabling kernel development for Tenstorrent hardware. TTNN is a library of neural network operations, built on top of the TT-Metalium programming model. https://github.com/tenstorrent/tt-metal
16. TT OSS: TT-Forge 16 TT-Forge is Tenstorrent's MLIR-based compiler. It integrates into various compiler technologies from AI/ML frameworks, to both enable running models and create custom kernel generation. • https://github.com/tenstorrent/tt-forge • https://github.com/tenstorrent/tt-xla • https://github.com/tenstorrent/tt-forge-onnx • https://github.com/tenstorrent/tt-mlir ANY AI MODEL OPEN SOURC E OPEN SOURC E AI/ML + HPC Developers Model Developers Direct to metal OPTIMIZED TTNN C++ BUILD ANYTHING LIBRARY OF OPS OPEN SOURC E TTNN C++ Code HPC workloads
17. TT OSS: TT-Inference-Server 17 tt-inference-server is the fastest way to deploy and test models for serving inference on Tenstorrent hardware. https://github.com/tenstorrent/tt-inference-server
18. tt-tutorial • Jupyter Notebook on ttnn and tt-metalium • +ResNet and CLIP model implementation • https://github.com/aczajkowskiTT/mlinpl-tutorials-public 18
19. プログラム詳細
20. プログラム詳細 • プログラム内容 : TT OSSに関するテーマを設定して参加 • 応募資格 : 特になし。TT OSSに参加したい人は誰でもWelcome! • 応募方法 : Application Formより応募 • 応募期間 : 02/25 ~ 03/13 (約2週間) • 取り組み期間 : 2 ~ 6ヶ月程度 • 採択予定数 : 最大10テーマを想定 • TT Device : Discountコード (80% OFF) を配布 • Communication : Discord上のDMを想定 • グループ参加の可否 : グループでの参加も可能です。その際、Discountコードの希望発行数を明記してください。 20
21. TTサポーターによるサポート • 採択された方にはTenstorrent社員がサポーターとしてフォローを行います • サポート内容 • サポーターによるQAおよびソフトウェア開発、PR投稿のサポート • 例) 課題に合わせた最初に取り組むべきチュートリアルの展開など • 日本語でのフォロー • Communication頻度はサポーターと相談 • Communication • TenstorrentのDiscord上に入っていただき、主にDM上でのやりとりを想定しています • 要望に応じて、ZoomによるMeetingも設定可能 21
22. TTサポーター紹介 22 Kohei Yamaguchi, Staff SE GitHub: sott0n, X: sott0n 自己紹介: • TT Discord上の住人 • LLVM Commiter • Forge, Metalなど幅広くカバー Yasuhiro Ito, Sr Staff Mgr SE 自己紹介: • Japan SE Team Manager • 組込み ~ クラスタ構成まで Naoki Yoshifuji, Staff SE Online ID: @LWisteria 自己紹介: • HPC・LLM/AI・計算土木の専門家 • 『実践的パフォーマンスエンジニアリング によるAI高速化』筆頭編著者 • モデル移植から低レベルカーネル 実装までお手伝いします！
23. Schedule • Open Application form : 2026/02/25 13:00 (JST) • Application Deadline : 2026/03/13 17:00 (JST) • Notification of acceptance : 2026/03/19 (JST) 23
24. Application Form https://forms.gle/drprAoyRb7xNZcka6 24
25. Q&A