1
 ©QunaSys
 材料開発×LLMの課題について
 とある企業様から頂いたお声
 計算化学の現場で使えるLLMにするには、 社内データの整備だけでは不⼗分な気がしている。 教科書や⽂献などを整理する必要があるが個社で取り組むにはコストが⾼い。 特に⾮構造データの整備などもカバーするとなると⼤変。 各社で協⼒しあって必要な⽂献を出し合い、QunaSysにリクエストする。 QunaSysがリクエストあった⽂献をデータストア化し、LLMとして提供する。 そのLLMがどれだけ改善したか精度を各社で検討する。 今の段階では各社で協⼒したアプローチが有効な課題もあるのでは。

2
 ©QunaSys
 LLM研究会の趣旨と目的
 研究会の趣旨  ‧競争前段階（Pre-competitive）のLLM研究を⾏う  ‧参加企業にとって共有資産となる成果を構築する   （各社で協働して知⾒を出しあう事がメリットになるテーマで検討を⾏う） 成果物  ‧材料開発フレンドリーなRAGの構築  ‧材料開発フレンドリーなRAGを活⽤したユースケース整理   （成果物のイメージについては次ページをご覧ください）

3
 ©QunaSys
 成果物①：材料開発フレンドリーなRAG
 教科書 レビュー 論⽂ LLM ‧‧‧ 回答精度 よくなった！ こんな⽂献も 登録した⽅がよい 参加企業の皆さんから ⽂献リクエストを頂く QunaSysが⽂献を データストア化 （LLMのRAG構築） 参加企業の皆さんで LLMの改善精度を検証 ⽂献や機能の追加 1 2 3 １〜３のプロセスを通じて、材料開発の現場で使いやすいRAGを構築し コンソーシアム参加企業が活⽤できる共有資産としてご提供します ⽣成⽂章に元論⽂の リンクが欲しい RAG データストア

4
 ©QunaSys
 成果物②：材料開発視点のユースケース
 ● 論⽂や特許などを⾃然⾔語で検索しやすくできると社内業務の効率化（報告書の作 成など）に貢献するかもしれない（元の⽂献へのリンクもたどれると便利） ● 計算化学の専⾨家に相談するようなLLMができるとよいかもしれない（計算のイン プットファイルを⾃動で作成してくれたり、計算の打ち⼿を整理してくれる） ● 社内データをLLMに組み込む⽅法を学びたい QPARCの皆さまから頂いたお声 参加企業の皆さんで構築したRAGを便利に使いこなすための プロンプトや社内データとの連携方針を整理しご提供します

5
 ©QunaSys
 RAGについて
 RAG：Retrieval-Augmented Generation の略 ● LLMの回答の精度を⾼めるための⼿法の⼀つ ● 持ってるデータから検索(Retreive)して、検索結果を使って⽣成(Generate)する仕組み データ ストア 材料開発の研究開発者にとって相談役になるLLMを⽬指し、 データストアに材料開発の教科書やレビュー論⽂などを蓄積する どんな⽂献を蓄積すると回答精度が⾼まるか参加企業で検証 それを通じて、社内の⽂献をRAGで使うプロセスも把握頂くことが狙い

6
 ©QunaSys
 【ご参考】RAGの有効性について①
 Fine-Tuning RAG Fine-Tuning＋RAG ● マイクロソフトの実験結果 ● 複数タスクでの⽐較でFine-TuningよりRAGがパフォーマンスが良かった ● 参考： Fine-Tuning or Retrieval? Comparing Knowledge Injection in LLMs

7
 ©QunaSys
 【ご参考】RAGの有効性について②（量子アルゴリズムの例）
 RAG有り ADAPT-QSCIは、量子多体ハミルトニアンの基底状態とそのエネルギーを計算するための量子 -古典ハイ ブリッドアルゴリズムです。ADAPT-QSCIは、量子選択配置相互作用(QSCI)法に適応的な量子状態の構 築を提案する手法です。ADAPT-QSCIは、QSCIを繰り返し実行することで、QSCIの入力状態を繰り返し 成長させます。ADAPT-QSCIは、QSCIを繰り返し実行することで、QSCI用の入力状態を成長させます。 ADAPT-QSCIは、ノイズの多い状況を含む低分子の正確な基底状態エネルギーを得ることを目的とし、現 在のノイズの多い量子デバイスを利用します。 RAG無し ADAPT-QSCIはADAPT-Qualitative Systems Comparative Analysisの略。システム分析およびモ デリングの分野で、複雑システムのさまざまな質的モデルを比較・分析するために使用される手法である。 この手法では、さまざまな質的モデルを共通の形式論に変換し、さまざまな手法を用いてこれらのモデルを 比較・分析する。ADAPT-QSCIは、異なるモデル間の類似点と相違点を理解し、研究対象のシステムを表 現する上での各モデルの長所と短所を特定するのに役立ちます。 最初から変な創作を⽣成している‧‧

8
 ©QunaSys
 【ご参考】RAGの有効性について③（計算化学の課題整理例）


9
 ©QunaSys
 ユースケースを考える切り口①
 LLM×材料開発のテーマをnoteで公開しています！ 紹介した内容を、皆様にも⼿を動かして習得して頂ける準備を⾏っています リンク⇒https://note.com/qunasys

10
 ©QunaSys
 ユースケースを考える切り口②
 テーマ創出 リソース 確保 計算を実⾏ 実験へのFB 材料開発への 成果創出 • 社内課題の整理 • 計算の位置づけ • インパクト評価 • 社内広報 • 予算 • 計算機 • ソフト • ⼈的資源 • モデル化 • ⼿法選択 • 結果解釈 • データ表現 • 実験への提案 • 計算へのFB • 実験で課題解決 • 結果のアピール • 新テーマ創出へ 例えば、それぞれの材料開発における以下の各プロセスにおいて LLMがどのように使えるかを整理するワークを検討しています

11
 ©QunaSys
 プログラム内容
 第一期 第二期 期間 ６月～９月 １０月～１２月 （成果報告会１月） 内容 LLM×材料開発の基礎講義 材料開発RAG活⽤に向けた演習 LLM×材料開発のユースケース探索 テーマを決めた演習とアイデア共有 参加特典 材料開発RAGに登録する⽂献をリクエスト 頂けます 第⼀期で構築したRAGをご利⽤頂きながら ユースケースに取組んで頂けます 成果物 RAG構築ガイドライン（材料開発RAGの検 証結果や社内データへの展開課題を整理） 材料開発×LLMユースケース集 参加費 １００万円（税別） １００万円（税別） 参加費の中で何名様でもご参加頂けます

12
 ©QunaSys
 レクチャープログラム（６月～９月）
 費用：100万円 第⼀回 6/27(⽊) 15時〜17時 LLM×材料開発の基礎講義（予定） 講師（QunaSys） ● 材料開発 x LLMのオーバービューと事例紹介 ● LLMやロボティクスとの関係など？(自動実験に向けて) 講師（東⼯⼤：畠⼭先⽣） ● LLM×物性値予測の研究紹介 ● ⼤規模⾔語モデルPJにおけるオープンデータの整備状況 講師（ゲスト調整中） ● LLMを⽤いた逆問題への応⽤可能性 ● 材料設計現場での適⽤可能性？ 講師（東大：溝口先生） ● 機械学習 x ナノ構造解析・物質設計における研究紹介 ● 測定解釈・物質設計におけるLLMの活用可能性について RAG構築演習テーマ（予定） RAGなしとRAGありの比較をしてみよう！ 汎⽤的な質問に対応してくれる 複数のエージェントに相談できるようにしよう！ RAG×プロンプトチューニングに挑戦しよう！ 材料開発の相談役エージェントを作ってみよう！ RAG検索を改善する ナレッジグラフのチューニングに挑戦しよう！ 第⼆回 7/30(⽕) 15時〜17時 第三回 （８⽉） 第四回 （９⽉）

13
 ©QunaSys
 ユースケース探索プログラム（１０月～１２月）
 １０⽉ １１⽉ １２⽉ 成果報告会 （１⽉以降） RAGを使ったユースケース例 検討テーマ例 費用：100万円 材料科学諸問題の 実験・計算への分解(モデル化) をサポートするRAG開発 計算⼿法の選択⽀援RAG開発 （インプット作成‧エラー対処） Gaussian GAMESS 等 LLM研究を使ったユースケース例 （畠⼭先⽣や溝⼝先⽣の取組み） LLMを用いた 物性からの構造推定(逆問題) LLMを用いた 構造-理由-物性の推定 ６月～９月の検討をベースに 先行するユースケースや研究の再現に挑 戦 第一期で構築したRAGを活用しつつ、 取組を効率的に行うための環境を提供 ⼿を動かしてLLMの活⽤可能性を理解する、LLM×材料開発の⾯⽩い事例を⾒つける オープンイノベーション的に共有できる範囲で取組を通じて得られた アイデア共有やQunaSysへの今後の開発をリクエスト頂く