⽣成AIチームの紹介 完全⾃動運転に向けた⼤規模モデル開発

Turing株式会社 AIとカメラのみでハンドルがないEVをつくる スタートアップ。 ● AIとソフトウェアから新しいクルマを ○ ソフトウェアエンジニアが中⼼に創業 ○ 2021年創業、正社員40+⼈ ○ ⾃動運転だけでなく、⾞両‧半導体の開発も⼿掛ける ■ 完全⾃動運転を⽬指す → ⽣成AIチームが先端的な研究を担当 ● ⽣成AIチームのミッション ○ LLMを発展させた⼤規模マルチモーダルモデル ○ 世界モデルによる⾼度な運転タスクの獲得 ⾃社⽣産のEV（JMS2023に出展） 2 Turingメンバーと⾞両⼯場

チームメンバー 塩野 ⼤輝 Intern（東北⼤） 3 ⼭⼝ 祐 Director of AI チームリーダー 荒居 秀尚 Senior Researcher Kaggle Competition GM 渡辺 晃平 Senior Infrastructure Engineer 佐々⽊ 謙⼈ Software/ML Engineer 藤井 ⼀喜 Guest Researcher （東⼯⼤/NII/AIST/...） 三輪 敬太 Software/ML Engineer

⽣成AIチームのミッション: 完全⾃動運転をどう実現するか？ 4

⾃動運転レベル ⽶⾃動⾞技術者協会（SAE）の⾃動運転レベル [www.sae.org/blog/sae-j3016-update] 5 Level 0 Level 1 Level 2 Level 3 Level 4 Level 5 ⾃動運転なし アクセル/ブレーキ or ハンドル 制御のいずれかを補助 アクセル/ブレーキとハンドル 制御を補助 (多くの運転⽀援機能) 特定条件‧地域でシステムが 運転を代替 (要ドライバー) ⼈間が主体 システムが主体 特定条件‧地域でシステムが 運転を代替 (無⼈運転) 常にシステムが全ての 運転タスクを実施 (完全⾃動運転)

運転シーンと⼈間の思考 6 この状況で左折したい どこを見ればよい？

運転シーンと⼈間の思考 7 ローカルの言語 と記号の理解 複雑な三者の 関係の理解 カラーコーン 配置の意味 人間の身体的 指示の理解 人間は無意識のうちに多くの「文 脈」を理解している。 高度な自動運転には 視覚情報と言語的理解 の融合 （=マルチモーダル的理解）が必要

運転環境は「ロングテール」 8 運転状況の難しさ 頻度 少 ← → 難 易 ← → 多 多い / 簡単 少ない / 難しい これまでの 運転支援 E2E自動運転 Transformerモデル 生成AIモデル

⽣成AIによる⾃動運転 11 視覚-⾔語マルチモーダルモデル  ただ物体を認識するだけではなく、意味的‧⽂脈的な解釈をする 何がある？ どうなる？ 世界モデル（動画⽣成モデル）  周囲の環境の状態や未来を内部的にシミュレートする

視覚-⾔語モデルの学習 12 白い洗面台の中に、 オレンジ色の毛並み をした猫 が横たわっています。猫は洗面台 の縁に寄りかかっていて、頭だけ外に突き 出し、こちらをぼんやりと見つめています。 + 画像 ⾔語 学 習

学習ライブラリ Heron Heronのconfig例 15 各モジュールや学習設定を簡単なconfig のみで⾃由に置換可能な学習ライブラリ をOSSとして公開 ● 様々なモデルを組み合わせて学習できる ○ 画像エンコーダ + アダプター + LLM ■ LLama-2, OPT, GPT-NeoX, StableLM, … ○ ⽇本語データセット/モデルも提供 ● 分散学習にも対応 ○ DeepSpeed ZeRO1/ZeRO2/ZeRO3 デモサイト github.com/turingmotors/heron

推論例（道路⼯事） 16 この状況ではどのような点に気 をつけるべきですか？ 画像では、道路⼯事中の作業員 が道路の⽚側に⽴ち、もう⽚側 に⻩⾊いコーンが置かれてい る。この状況を考えると、作業 員は交通の流れを妨げないよう に注意し、交通規則を遵守しな くてはならない。さらに、歩⾏ 者や他の⾞両が道路を横断する 際には、安全を確保し事故を避 けるために、コーンを迂回した り、⼀時停⽌したりする必要が ある。

推論例（特殊な状況） ※ 画像はGPT-4のテクニカルレポートのデモで使われたもの 17 この画像のユニークな点を説明 してください 画像では、⻩⾊いタクシーが路 上に停まっており、その上に⻩⾊ いシャツを着た男が座ってい る。タクシーの荷台には、アイ ロンがけや洗濯物をたたむな ど、さまざまな作業をしてい る。このシーンの⾯⽩い点は、 タクシーの上に置かれたアイロ ンの存在である。

⽣成AI x ⾃動運転 19 走行データ テキスト アノテーション 空間把握・ 身体性の獲得 2. 運転ドメイン への適合 自社EVに 搭載 日本の道路に 適合した 自動運転AI Webデータ 画像-言語 データセット 言語データセット LLM 自動運転 マルチモーダル モデル フィルタリング ペア抽出 学習 視覚モデルと 融合 1. マルチモーダル学習 学習 GPUサーバ 分散学習 ライブラリ 高速化 3. 分散環境による 大規模化

世界モデルの開発 （Terra） 身体性（=世界の状態の理解) を獲得したモデルの開発 「未来の映像を生成する 」という タスクが、この世界が どう変化するか を理解できる鍵になる 23

世界モデル（Terra） 24 直進を指⽰ 右折を指⽰

世界モデル（Terra） 24 直進を指⽰ 右折を指⽰

⼤規模計算資源との連携 ⼤規模マルチモーダルモデルの実現に向けた インフラ構築と学習を進めている ● GENIACプロジェクト (2024.2-8) ○ 国内の代表的なAI開発事業者を政府が⽀援 ○ GCP上の⼤量のH100ノードを利⽤可能 ● ⾃社GPUクラスタ（Gaggle-Cluster-1, 2024.9~） ○ H100 96基 ○ ノード間通信‧ストレージI/Oの最⼤化 ○ HPC的なジョブ管理システム 今後の⽣成AI開発ではGPU資源の確保と活⽤がカギに GENIACプロジェクト (https://www.meti.go.jp/policy/mono_info_service/geniac/index.html) 9⽉稼働予定のGaggle-Cluster-1 25

No content

エンジニア構成⽐率‧チーム⼈数 0 67 %
 24 %
 全体に占めるエンジニアの人数 
 生成AIチームの人数
 ※他チームは約38%ずつ
 全体職種別構成比率
 生成AIチーム構成比率


エンジニアバックグラウンド 0 AI Talent Software Engineer Kaggle Grandmaster
 Kaggle Master


採⽤求⼈⼀覧 ⽣成AIチームでは下記のポジションを求めています。5名体制のチームを3~4倍規模に拡張予定で、 多くのエンジニアを募集中です。 0 Machine Learning Researcher
 Machine Learning Engineer
 Software Engineer
 Infrastructure・GPU Cluster Engineer


Recruit Process｜正社員 0 柔軟な選考フロー 左に記載している選考フローはあくまでも基本的な形 式です。 皆さんのご状況に応じて、面談・オフィス見学・ Open Officeなどの調整が可能です。 もちろん他社選考状況に応じて当社の選考プロセス を早めたい等というご相談も可能です。 また、ポジションによっては技術試験やワークサンプ ルなどを追加で実施するケースがあります。 ※選考期間の目安は、およそ 2〜3週間です。

Recruit Process｜インターン 0 体験入社について 体験入社では、SlackやNotionなど社員と同じレベ ルで社内情報にアクセスできる情報を共有し、配属予 定チームの社員と最長 2日間一緒に働いていただくプ ロセスです。 チューリングのカルチャーを体感いただき、お互いに ミスマッチがないかを確認するための場になります。

よくある質問 0 Q.リモートでも働けますか？ 
 ご自身やご家族の体調や事情（荷受けが必要など）など事前承認があった場合はリモートでの就業が可能です。 出社をベースとしつつも状態に合わせてリモートをフレキシブルに活用できる状況になっています。 
 
 
 
 Q.フレックスタイム制度について教えてください 
 10:00~15:00がコアタイムのフレックス制度があるので柔軟な働き方ができます。 15時に退勤してプライベートを楽 しむ社員が多いです。 
 
 
 
 Q.社内で情報はどのようにオープンにされていますか？ 
 チューリングでは所属する各メンバーが自律して意思決定ができるよう、可能な限り情報を公開しています。具体 的には経営陣の意思決定や開発進捗は毎週の全体会議や Slackなどオープンな場で、センシティブな項目（特に 採用条件など人事的な決定）を除き全てを公開しています。 


We Are Hiring! https://tur.ing/