生成AI活用のベストプラクティス集を作ってる件

"製造業でも生成AI活用したい！名古屋LLM MeetUp#8" の登壇資料です
https://kinto-technologies.connpass.com/event/363515/

Transcript

1. 生成AI活用のベストプラクティス集 を作ってる件 Asei Sugiyama
2. 自己紹介 杉山 阿聖 (@K_Ryuichirou) Software Engineer @ Citadel AI Google Developer Expert @ Cloud AI MLSE GenAIOps WG 機械学習図鑑 共著 事例でわかる MLOps 共著
3. TOC AIセーフティ強化に関する研究開発 <- プロジェクト開始以前の取り組み 現在の取組 最後に
4. AIセーフティ強化に関する研究開発 公募 採択 Citadel AI の役割
5. 公募 NEDO による公募 2025年2月14日（金）～ 2025年3月17日（月）正午(JST) 「AIセーフティ強化に関する研究開発」公募説明資料 https://www.nedo.go.jp/content/800021490.pdf
6. AI セーフティ強化に関する研究開発構想 p.3 AI セーフティ強化に関する研究開発構想 https://www.nedo.go.jp/content/800020808.pdf
7. 採択 「AIセーフティ強化に関する研究開発」に係る実施体制の決定について（別紙1）実施予定先一覧 https://www.nedo.go.jp/content/800024943.pdf
8. Citadel AI の役割 Citadel AI で「企業向け実装解 説」としてベストプラクティ ス集・事例集の作成を担当 「デモは簡単にできるものの サービス化や本番化は難しい」 というテーマでヒアリング 似たような課題・対策を行っ ていることが見えてきた
9. TOC AIセーフティ強化に関する研究開発 プロジェクト開始以前の取り組み <- 現在の取組 最後に
10. プロジェクト開始以前の取り組み 生成 AI の評価の取り組み 問題意識 個人的な市場調査 Eval-Centric AI
11. 生成 AI の評価の取り組み Citadel AI での生成 AI 評価 に関する取り組みについ て共有 2024年 6 - 9 月あたり 生成 AI の評価方法 - Speaker Deck https://speakerdeck.com/asei/sheng- cheng-ai-noping-jia-fang-fa LLM を現場で評価する - Speaker Deck https://speakerdeck.com/asei/llm- woxian-chang-deping-jia-suru
12. 当時共有していた主な成果
13. 問題意識 どの機関も現地現物して ない 問題意識をブログ記事に 研究者と開発者の断絶による問題、それを乗り越える価値について https://zenn.dev/asei/articles/researcher-developer-gap
14. 個人的な市場調査 現状の取り組みを急いで とりまとめ 2024 年 10 - 11 月 身の回りの人に声をかけ て市場調査 (< 10 人) 最近の Citadel AI の取り組みのご紹介 (Nov, 2024) - Speaker Deck https://speakerdeck.com/asei/zui-jin-no-citadel-ai-noqu-rizu-minogoshao- jie-nov-2024
15. Eval-Centric AI 3rd Grand Canvas by 産総 研 ヒアリングの結果をまと めてフレームワークとし て提案 AI セーフティの専門家に 現場の取り組みを届けた 3rd Grand Canvas : AI品質の未来を共に描く https://www.digiarc.aist.go.jp/event/3rd_grand_canvas/index.html
16. なんやかんやあって今に至る
17. TOC AIセーフティ強化に関する研究開発 プロジェクト開始以前の取り組み 現在の取組 <- 最後に
18. 現在の取組 6th Grand Canvas 研究者とのつながり 攻めと守りの統合
19. 6th Grand Canvas さまざまな組織へのヒア リングを終えた 内容を中間発表し現場の 取り組みを共有 公表できるよう活動中 6th Grand Canvas : AI品質の未来を共に描く https://www.digiarc.aist.go.jp/event/6th_grand_canvas/
20. 研究者とのつながり 互いのコミュニティに参加し続けている AIQMI(AIST), AISI, AIGA... パスが弱い！ インセンティブが弱いか
21. インセンティブの弱さ 開発コミュニティから最近の取り組みを研究者に伝える意義があま りない 組織として、開発コミュニティ内のプレゼンスが直接上がらな い (採用活動としての正当化ができない) 開発者として、開発コミュニティへの貢献には直接繋がらない 研究者の「最近の研究テーマ」を開発コミュニティが聞いてもあま り意味がない 研究者に意見を伝えるのはとても大変なことのように思われている か？ (実態とは無関係)
22. 攻めと守りの統合 価値を生む取り組みとセー フティの取り組みの融合 AIセーフティ≒プロジェクト マネジメント・プロダクト マネジメントということが 見えてきた アジャイルの考え方に基づ く継続的なカイゼンが前提 となってきた AI工学特論: MLOps・継続的評価 - Speaker Deck https://speakerdeck.com/asei/aigong-xue-te-lun-mlopsji-sok-de-ping-jia
23. TOC AIセーフティ強化に関する研究開発 プロジェクト開始以前の取り組み 現在の取組 最後に <-
24. DevFest Nagoya 2025 2025/10/05(日) 12:00 〜 15:00 名古屋能楽堂 会議室 このプロジェクトで得ら れた知見を速報版として 共有します