吉岡研究室紹介(2025年度）

Transcript

1. 吉岡研究室紹介 2025年度VER
2. ビジョン インテリジェントセンシングで 社会にインパクトを いままで： ◦ あるものを観測し、見たままに人間に報告する 目指す姿： ◦ センシング結果から機械自らが認識・判断 ◦ SFの世界を実現するのは僕ら！
3. ビジョン インテリジェントセンシング いままで：あるものを観測し、見たままに人間に報告する 目指す姿：センシング結果から情報を認識、そして機械自らが判断 自動運転 ヘルスケア 物流、産業 “目” “脳”
4. 研究テーマ “脳”としての次世代のエッジコンピューティング “目”としての3Dセンシング ハードとソフトを”繋ぐ”研究 電子デバイス・半導体 ハードウェア AI・通信 ソフトウェア 回路 3Dセンシング 吉岡研のフォーカス ハードとソフト、両方わかる人材になりませんか
5. 研究テーマ 集積回路チーム 3Dセンサチーム ディープラーニング、LLM用アクセラレータ研究 AI用データセンターの電力は地球上電力の10%に達する →それを劇的に減らす回路技術を生み出せないか？ 自動運転センサのセキュリティ研究 自動運転には3Dセンサ（LiDAR）が必須だが、センサを 騙す攻撃が研究されている。 →自動運転システムを守るにはどうしたらよいか？ [Image credit] Waymo, Robosense
6. 研究テーマ 集積回路チーム 3Dセンサチーム セキュアLiDAR研究 どのようなLiDARのハードウェア/信号処理をすれば自動運転を守れるか？ 回路＋信号処理＋ディープラーニングをあわせた新しいセンサ設計の研究 [Image credit] Waymo, Robosense
7. ◼エッジコンピューティングの時代へ ◆サーバ処理に対しプライバシー・遅延・電力効率に優れる ◼iPhone Neural Engine（機械学習の専用回路) ◆限られたバッテリー容量で最大限のAI処理 次世代のエッジコンピューティング Tier4社自動運転システム Apple A14チップ図 https://www.itmedia.co.jp/pcuser/articles/2009/17/news133_2.html より高効率なAI専用回路が必要
8. ◼AI演算ではデータ移動のコストが支配的！ ◆メモリ→プロセッサへのデータ移動 ◼メモリと演算を同じ回路で実行すれば・・？ ◆データ移動なしで超効率化が可能！ ◆Computing In-Memory (CIM) Computing-in-memory型プロセッサ
9. ◼吉岡研ではComputing-in-memory回路の新たな構造を探求 ◼ChatGPTでも活用されているTransformerも実行可能な新規構造を提案 →半導体のオリンピック、ISSCC’24に採択 ◼顕著性(saliency）を活用した新規構造 ◆国際学会、ASP-DAC’24に採択 Computing-in-memory型プロセッサ [Yoshioka, ISSCC’24]
10. ◼AI（ソフト）と回路（ハード）を高度に融合 ◆Hardware-Software Co-design(ハード・ソフト協調設計） ◆DLフレームワーク（Pytorch）で回路特性を加味し,ネットワークを構築・学習 →回路とAI両方の知識を身につける必要がある！ 回路チームはどんな研究？
11. ◼アメリカ（一部）では自動運転が一般的に利用可能に ◆しかしセキュリティ的な問題はつきまとう ◼サンフランシスコの “三角コーン”攻撃 ⚫車は人が乗ったと誤認識し、 動けなくなってしまう ⚫Cruise車が被害に 自動運転セキュリティ https://www.bbc.com/news/technology-66611513
12. 3Dセンシング：センサ幻惑 センサへの攻撃で自動運転システムを騙す新たなセキュリティ危機 ◦ 特に中核的センサであるLiDARの脆弱性を突き 任意座標に虚偽データを注入するセンサ幻惑攻撃は重大な脅威 ◦ University of California Irvineと共同研究 センサ幻惑攻撃 LiDAR 事件を未然に防ぐためセンサセキュリティ研究が必要 攻撃レーザ 実車点群 虚偽データ 任意座標 虚偽データ注入 急ブレーキ誘発 搭乗者負傷
13. ◼ LiDARは対象物に反射したレーザが帰還するまでの光の飛行時間より 距離を測定するToF(Time-of-Flight)方式で動作 ◆センサ幻惑はレーザパルスを特定タイミングで打ち込むことで虚偽データ注入 ⚫受光素子を使用しLiDARレーザタイミングと同期 LiDARとセンサ幻惑原理 レーザ ToF 計測 受光素子 レーザ 受光素子 ToF 攻撃レーザ レーザ ToF 計測 受光素子 同期用受光素子 センサ幻惑システム LiDAR LiDAR レーザ 受光素子 ToF 攻撃レーザ打ち込み
14. ◼ 従来よりも数10倍高い攻撃性能＋消失型攻撃を実験実証 ◆先行研究は注入点数が少ない前提；根本からセンサ幻惑対策を見直す必要性 ◆セキュリティトップ国際学会に採択(NDSS)！ ⚫これを守るにはどうしたらよいか？防御の研究中！ センサ幻惑実験システム立ち上げ センサ幻惑実例： ロゴマーク注入 被攻撃LiDAR 攻撃レーザ＋ドライバ Cao, CCS2019 Ours 注入 点数 120 6000 消失 点数 N.A. 3000 集光 素子 なし あり ドライ バ なし カスタム 実験系比較
15. ◼プロバスケチームの行動・位置解析にLiDARセンサを活用する研究 ◆実際のプロの練習などデータ取得、学会発表 ◆青木研と共同研究 3Dセンシング：スポーツ解析
16. 慶應から世界へ • 国際学会で発表しよう！ – 競合相手はMIT、スタンフォード、インテル、 Googleなど – 慶應の学生のポテンシャルと教員の熱意 で彼らに負けない研究をしましょう！ 集積回路の国際学会：ISSCC 聴衆：3000人
17. 吉岡研に向いている人 • 吉岡研の研究内容に興味・好奇心がある – 特にハードとソフトの両方に興味・好奇心がある • センシング・コンピューティングの土台はハードウェア • ハードの知識は就職後も必ず役立ちます – 国際学会とか面白そう – 若い先生とワイワイやりたい – いろいろな大学と関わる共同研究面白そう • 必要でないこと – 回路、機械学習、プログラミングの知識 – 配属後に研修で勉強します
18. 研究室活動について • コアタイムなし – 時間で管理はせず自主性に任せます – 一日平均7-8時間研究を行うことを期待します • 3月～7月は新人研修を予定 • 資料作成・発表・回路、機械学習の基礎を輪講ベースで勉強 • 8月～卒論研究をスタート
19. 研究室活動について • 週１のグループミーティング – みんなのスケジュールに合わせ日時決定 • Kaggle部 – Kaggleでプログラミング、機械学習スキルを鍛えよう – 今年の戦績は.. • NFLコンペ: 7位/940 金メダル（吉岡） • Google手話コンペ 15位/1100 銀メダル（吉岡） • インクコンペ 40位/1200 銀メダル（学生）
20. もう少し詳しく話しませんか？ https://sites.google.com/keio.jp/keio-csg/ 吉岡研HPの見学フォームを送ろう！ 研究室説明会： 10/23 15:00- 10/30 15:00- 11/6 15:00- 11/8 11:00- 途中退席OK。気軽にどうぞ Recruit..のページにあります。 TBD
21. 研究環境 • ノートパソコン、ディスプレイ等支給 • 3Dセンサ – LiDAR >15台、3Dカメラ10台 • 機械学習環境 – 現在GPUワークステーション*3台 • 回路設計環境 – 先端CMOSプロセスの試作（TSMC 28nm/65nm） – 設計サーバー導入済