生成AI活用のベストプラクティス集を作ってる件

生成AI活用のベストプラクティス集を作ってる件 Asei Sugiyama

自己紹介杉山阿聖 (@K_Ryuichirou) Software Engineer @ Citadel AI Google
Developer Expert @ Cloud AI MLSE GenAIOps WG 機械学習図鑑共著事例でわかる MLOps 共著

TOC AIセーフティ強化に関する研究開発 <- プロジェクト開始以前の取り組み現在の取組最後に

AIセーフティ強化に関する研究開発公募採択 Citadel AI の役割

公募 NEDO による公募 2025年2月14日（金）～ 2025年3月17日（月）正午(JST) 「AIセーフティ強化に関する研究開発」公募説明資料 https://www.nedo.go.jp/content/800021490.pdf

AI セーフティ強化に関する研究開発構想 p.3 AI セーフティ強化に関する研究開発構想 https://www.nedo.go.jp/content/800020808.pdf

採択「AIセーフティ強化に関する研究開発」に係る実施体制の決定について（別紙1）実施予定先一覧 https://www.nedo.go.jp/content/800024943.pdf

Citadel AI の役割 Citadel AI で「企業向け実装解説」としてベストプラクティス集・事例集の作成を担当「デモは簡単にできるもののサービス化や本番化は難しい」
というテーマでヒアリング似たような課題・対策を行っていることが見えてきた

TOC AIセーフティ強化に関する研究開発プロジェクト開始以前の取り組み <- 現在の取組最後に

プロジェクト開始以前の取り組み生成 AI の評価の取り組み問題意識個人的な市場調査 Eval-Centric AI

生成 AI の評価の取り組み Citadel AI での生成 AI 評価に関する取り組みについて共有
2024年 6 - 9 月あたり生成 AI の評価方法 - Speaker Deck https://speakerdeck.com/asei/sheng- cheng-ai-noping-jia-fang-fa LLM を現場で評価する - Speaker Deck https://speakerdeck.com/asei/llm- woxian-chang-deping-jia-suru

当時共有していた主な成果

問題意識どの機関も現地現物してない問題意識をブログ記事に研究者と開発者の断絶による問題、それを乗り越える価値について https://zenn.dev/asei/articles/researcher-developer-gap

個人的な市場調査現状の取り組みを急いでとりまとめ 2024 年 10 - 11 月身の回りの人に声をかけ
て市場調査 (< 10 人) 最近の Citadel AI の取り組みのご紹介 (Nov, 2024) - Speaker Deck https://speakerdeck.com/asei/zui-jin-no-citadel-ai-noqu-rizu-minogoshao- jie-nov-2024

Eval-Centric AI 3rd Grand Canvas by 産総研ヒアリングの結果をまとめてフレームワークとし
て提案 AI セーフティの専門家に現場の取り組みを届けた 3rd Grand Canvas : AI品質の未来を共に描く https://www.digiarc.aist.go.jp/event/3rd_grand_canvas/index.html

なんやかんやあって今に至る

TOC AIセーフティ強化に関する研究開発プロジェクト開始以前の取り組み現在の取組 <- 最後に

現在の取組 6th Grand Canvas 研究者とのつながり攻めと守りの統合

6th Grand Canvas さまざまな組織へのヒアリングを終えた内容を中間発表し現場の取り組みを共有公表できるよう活動中 6th Grand
Canvas : AI品質の未来を共に描く https://www.digiarc.aist.go.jp/event/6th_grand_canvas/

研究者とのつながり互いのコミュニティに参加し続けている AIQMI(AIST), AISI, AIGA... パスが弱い！インセンティブが弱いか

インセンティブの弱さ開発コミュニティから最近の取り組みを研究者に伝える意義があまりない組織として、開発コミュニティ内のプレゼンスが直接上がらない (採用活動としての正当化ができない) 開発者として、開発コミュニティへの貢献には直接繋がらない研究者の「最近の研究テーマ」を開発コミュニティが聞いてもあまり意味がない研究者に意見を伝えるのはとても大変なことのように思われている
か？ (実態とは無関係)

攻めと守りの統合価値を生む取り組みとセーフティの取り組みの融合 AIセーフティ≒プロジェクトマネジメント・プロダクトマネジメントということが見えてきたアジャイルの考え方に基づく継続的なカイゼンが前提となってきた
AI工学特論: MLOps・継続的評価 - Speaker Deck https://speakerdeck.com/asei/aigong-xue-te-lun-mlopsji-sok-de-ping-jia

TOC AIセーフティ強化に関する研究開発プロジェクト開始以前の取り組み現在の取組最後に <-

DevFest Nagoya 2025 2025/10/05(日) 12:00 〜 15:00 名古屋能楽堂会議室このプロジェクトで得ら
れた知見を速報版として共有します

生成AI活用のベストプラクティス集を作ってる件

生成AI活用のベストプラクティス集を作ってる件

Asei Sugiyama

More Decks by Asei Sugiyama

Other Decks in Technology

Featured

Transcript