【株式会社ELYZA】｜GENIAC成果報告会自社開発モデルプレゼンテーション

by 株式会社ELYZA

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

7 ©2024 ELYZA,Inc 「Llama-3-ELYZA-JP」シリーズの公開今年6月、Meta社のLlama 3 (8B/70B) をベースに2つのモデルを開発 8Bは商用利用な形で一般公開、70Bはデモサイトを無料解放研究開発 Llama-3-ELYZA-JP-8B Llama-3-ELYZA-JP-70B デモサイト: https://elyza.ai/lp/elyza-llm-for-jp HF: https://huggingface.co/elyza/Llama-3-ELYZA-JP-8B

Slide 8

Slide 8 text

8 ©2024 ELYZA,Inc 「Llama-3-ELYZA-JP」シリーズの性能 70Bモデルは「GPT-4」などの主要グローバルモデルを上回るスコアを達成 8Bモデルは、「GPT-3.5 Turbo」に匹敵するスコアを達成した７０Bモデル 8Bモデル ※ ELYZA-Tasks-100は、「GPT-4o」による自動評価結果 ※ Japanese MT-Bench評価の際は、Japanese MT-Bench のリポジトリのコードベースを使用。

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

11 ©2024 ELYZA,Inc Geniacでの取り組み概要日本でインフラとして「使われる」基盤モデルの構築を目指すモデルの基礎能力向上日本特有の知識・表現の性能向上・日本での社会実装を見据え、法令・行政手続きに関する特化学習・日本のローカルルールのベンチマークでGPT-4超えを目指す・継続学習+モデルサイズ拡張により、性能のトップラインを引き上げ・一般的な指標でGPT-4を超えるスコアの獲得を目指す 1 2

Slide 12

Slide 12 text

12 ©2024 ELYZA,Inc Geniacでの取り組み概要日本でインフラとして「使われる」基盤モデルの構築を目指すモデルの基礎能力向上日本特有の知識・表現の性能向上・日本での社会実装を見据え、法令・行政手続きに関する特化学習・日本のローカルルールのベンチマークでGPT-4超えを目指す・継続学習+モデルサイズ拡張により、性能のトップラインを引き上げ・一般的な指標でGPT-4を超えるスコアの獲得を目指す 1 2

Slide 13

Slide 13 text

Slide 14

Slide 14 text

14 ©2024 ELYZA,Inc モデルのサイズ拡張継続学習アプローチにモデルのサイズ拡張を組み合わせることで、既存モデルから到達可能な性能のトップラインを引き上げるオープンモデル日本語化モデル Depth Up-Scaling モデルサイズ拡張 ELYZA独自のデータセット事後学習日本語データ追加事前学習オープンモデル日本語化モデル ELYZA独自のデータセット事後学習 Llama-3-70B 日本語データ追加事前学習 Llama-3-ELYZA-JP-70B Llama-3-70B Llama-3-ELYZA-JP-120B 通常今回

Slide 15

Slide 15 text

Depth Up-Scaling 研究開発 0-80 0-10 5-15 10-20 60-70 65-75 70-80 ・・・  Up-scaling 「Meta-Llama-3-70B-Instruct」をベースにスケールアップ • mergekitのpassthroughを使用し、層を部分的に重複させながら積む • 右図の設定で、Llama-3-120B (1,220億パラメータ) を作成 Llama-3-120Bに対し、約150Bトークンの追加事前学習と、事後学習を実施 [1] https://arxiv.org/abs/2312.15166 15 ©2024 ELYZA,Inc Llama-3-120B の継続事前学習 Depth Up-Scaling[1] 80層 140層「Meta-Llama-3-70B-Instruct」をベースに、層を部分的に重複させながら積むことで120Bモデルを作成

Slide 16

Slide 16 text

Llama-3-ELYZA-JP-120Bの結果 ※ 「nejumi-v3」は、wandb/llm-leaderboardを使用して算出し、「汎用的言語性能(GLP)_AVG」を参照 ※ 「Llama-3-ELYZA-JP-70B」「GPT-4」「GPT-4o」は「Llama-3-ELYZA-JP」のリリース時のスコアを引用研究開発 16 ©2024 ELYZA,Inc 70Bモデルや「GPT-４」を上回る性能を達成

Slide 17

Slide 17 text

モデルの出力例：プログラミング研究開発 17 条件を指定したコード生成などもできている

Slide 18

Slide 18 text

モデルの出力例：プログラミング研究開発 18 条件を指定したコード生成などもできている

Slide 19

Slide 19 text

モデルの出力例：情報の構造化研究開発 19 複雑な指示に従い、抽出や要約を行い、JSONで出力 https://www.meti.go.jp/policy/mono_info_service/geniac/geniac_magazine/interimreport_1.html

Slide 20

Slide 20 text

モデルの出力例：情報の構造化研究開発 20 複雑な指示に従い、抽出や要約を行い、JSONで出力

Slide 21

Slide 21 text

21 ©2024 ELYZA,Inc Geniacでの取り組み概要日本でインフラとして「使われる」基盤モデルの構築を目指すモデルの基礎能力向上日本特有の知識・表現の性能向上・日本での社会実装を見据え、法令・行政手続きに関する特化学習・日本のローカルルールのベンチマークでGPT-4超えを目指す・継続学習+モデルサイズ拡張により、性能のトップラインを引き上げ・一般的な指標でGPT-4を超えるスコアの獲得を目指す 1 2

Slide 22

Slide 22 text

22 ©2024 ELYZA,Inc 日本特有のタスクの例基礎性能の高いLLMでも難易度が高い、日本での社会実装で必要となり得るタスクの洗い出しを実施カテゴリ日本の法律日本の制度行政手続きサブカルチャーに関する知識敬語やビジネスマナーなどの繊細な表現漢字、平仮名、ローマ字、オノマトペ等文字数の制限に従う膨大な指示に漏れなく従うタスク極めて難しい読解問題検索が困難な質問 (RAGを想定) 項目 1. 日本のローカルルールに関する知識とその活用 2. 日本語・日本文化に関する理解 3. 言語に依らず困難なタスク • 「日本で鉄道事業を始めるにあたって注意点を教えて」 • 「裁判所法第1条を答えてください」具体例 • 「ちいかわのハチワレについて教えて」 • メールで疑問文に対して「？」を使ってしまう • 「AIについて18文字以上20文字以内で説明して」 • 以下の条件を満たす文章を書いてください。 - 全体で10行、13文 - 最初の行と最後の行は空行ではない...

Slide 23

Slide 23 text

23 ©2024 ELYZA,Inc 日本特有のタスクの例自社の社会実装での経験や課題感も踏まえ、日本のローカルルールに関する知識とその活用に焦点カテゴリ日本の法律日本の制度行政手続きサブカルチャーに関する知識敬語やビジネスマナーなどの繊細な表現漢字、平仮名、ローマ字、オノマトペ等文字数の制限に従う膨大な指示に漏れなく従うタスク極めて難しい読解問題検索が困難な質問 (RAGを想定) 項目 1. 日本のローカルルールに関する知識とその活用 2. 日本語・日本文化に関する理解 3. 言語に依らず困難なタスク • 「日本で鉄道事業を始めるにあたって注意点を教えて」 • 「裁判所法第1条を答えてください」具体例 • 「ちいかわのハチワレについて教えて」 • メールで疑問文に対して「？」を使ってしまう • 「AIについて18文字以上20文字以内で説明して」 • 以下の条件を満たす文章を書いてください。 - 全体で10行、13文 - 最初の行と最後の行は空行ではない...

Slide 24

Slide 24 text

24 ©2024 ELYZA,Inc 日本の知識に関する特化学習研究開発ベンチマークの評価評価方法 1. 政府省庁サイトからの法令・行政テキスト収集 2. 指示学習データの生成 3. 特化学習の実施日本のローカルルールに関する知識と、その活用に関する計30問のベンチマークを作成 [例] 事故で片足を失い義足を作ったのですが、義足は高額療養費の対象となりますか？ ※ 評価は、「GPT-4」による自動評価を実施 ※ 「contextあり」は、必要な情報が含まれるテキストを、回答時のpromptに挿入した場合 • 特化学習により、知識の焼き付けには一定成功している • 一方で、「contextあり」のスコアは低く、知識の活用に関してはまだ課題がある 24 ©2024 ELYZA,Inc 日本特有の知識（法令、行政手続き等）に関する特化学習を実施。応答性能を測るため、ベンチマークを新たに作成し評価に用いたアプローチ学習方法 [例] 副業などをしていなく、普通に企業勤めをしている場合は確定申告はしなくていいんでしたっけ？自分は50歳の男性で、家族構成は妻と子供が 2人います。所得は2,500万円です。

Slide 25

Slide 25 text

25 ©2024 ELYZA,Inc 出力事例義足は高額療養費の対象となります。高額療養費とは、医療機関や薬局の窓口で支払った額が、ひと月（月の初めから終わりまで）で上限額を超えた場合に、その超えた金額を支給する制度です。義足はその支給対象に含まれています。ただし、対象となるのは、医師の指示・処方に基づいて購入した義足に限られます。詳しくは、加入している健康保険組合等にご相談ください。日本の健康保険制度では、義足や義手などの補装具は高額療養費の対象には含まれません。これらは「看護・リハビリテーションを目的とする施設等における食事・宿泊・入浴などの費用」や「予防接種・人間ドック・健康診断の費用」などと同様に自己負担となります。補装具の費用については、一部が健康保険適用となりますが、全額が補償されるわけではありません。また、各自治体により、障害者支援のための補助金制度や免税措置が設けられていることがあるため、詳細は各自治体の窓口に問い合わせることをおすすめします。事故で片足を失い義足を作ったのですが、義足は高額療養費の対象となりますか ELYZAモデル GPT-4

Slide 26

Slide 26 text

26 ©2024 ELYZA,Inc 出力事例日本国憲法第81条は、最高裁判所について規定した条文です。「最高裁判所は、一切の法律、命令、規則又は処分が憲法に適合するかしないかを決定する権限を有する終審裁判所である。」日本国憲法第81条は、「すべての裁判について最終的な判断を下す権限を最高裁判所に与える。」と規定しています。全文は以下の通りです。「すべての裁判について、最終的な判断を下す権利は、最高裁判所に属する。」日本国憲法第81条を答えて ELYZAモデル GPT-4

Slide 27

Slide 27 text

27 ©2024 ELYZA,Inc Geniacでの成果まとめ日本でインフラとして「使われる」基盤モデルの構築を目指す • 継続学習アプローチにDepth Up-Scalingによるモデルサイズ拡張を組み合わせることで、既存モデルから到達可能な性能のトップラインを引き上げる試みを実施。 • Japanese MT-Bench, ELYZA-Tasks-100, Nejumi-v3それぞれに対して、GPT-4を上回るスコアを達成モデルの基礎能力向上日本特有の知識・表現の性能向上 • 基礎性能の高いLLMでも難易度が高い、日本での社会実装で必要となり得るタスクの洗い出しを実施 • 弊社のLLMの社会実装経験も踏まえ、インパクトの大きさから「日本のローカルルールに関する知識とその活用」に焦点をあて、ベンチマークを作成 • 法令や行政手続き等の特化学習を実施し、GPT-4を上回るスコアを達成 - 一方、Contextの知識の活用にはまだ課題が残る実施事項取り組み内容