Llama2をファインチューニングして日本語の問題に対応する

2024年3月13日に開催された大阪駆動開発様主催のオンライン勉強会イベント「AIミーティング 」にて発表を行いました。

イベントページ
connpass: https://osaka-driven-dev.connpass.com/event/310689/

動画
https://youtu.be/pRJ9Goiqp-Q

Transcript

1. Llama2をファインチューニングして 日本語の問題に対応する
2. Llama2について 1 バックパック型スキャナー iPhone12 LiDAR  Meta社により開発された大規模言語モデル  オープンソースであることが特徴 [動画] • 高い柔軟性をもって特定のドメインのモデル開発ができる • クラウド環境に頼らずにローカル環境で稼働させることもできる →データのプライバシーを守りながら利用することが可能となる • モデルの評価や検証がしやすくなる
3. やってみたいこと 2 バックパック型スキャナー  以下のような日本語のクイズに回答させたい  Llama2は英語ベースのモデルであるため、日本語の問題には強くないと考えられる • 主に食品を販売する所は以下のうちどれ？スーパー、洋品店、書店、キッチン、棚  ファインチューニングにより、追加の日本語のデータを学習させてみたい 図出典: Zero to One: ファインチューニング https://zero2one.jp/ai-word/finetuning/
4. データセット 3 バックパック型スキャナー iPhone12 LiDAR  Izumi-lab/llm-Japanese-datasetの一部を利用 [動画] データ出典: Hirano, M., Suzuki, M., & Sakaji, H. (2023). llm-japanese- dataset v0: Construction of Japanese Chat Dataset for Large Language Models and its Methodology. arXiv preprint arXiv:2305.12720.
5. ファインチューニングについて [a] ScanX2.0  ハイスペックなPCがなくても、Google Colabを利用することで、モデルの学習が可能  Google Colab を利用（Ｇｏｏｇｌｅ Colab Pro+）
6. ファインチューニングにおける工夫: LoRA [a] ScanX2.0  LoRA (Low-Rank Adaptation) の利用 • 大規模言語モデルのパラメータ数は膨大 (例: 70億) • ファインチューニングする際は、非常に大きなGPUのメモリが必要となる • 元のパラメータのサイズをより小さな行列の積で表し、訓練させる 小さなメモリ消費で、モデルのファインチューニングが可能 図出典: Hu, E. J., Shen, Y., Wallis, P., Allen-Zhu, Z., Li, Y., Wang, S., ... & Chen, W. (2021). Lora: Low-rank adaptation of large language models. arXiv preprint arXiv:2106.09685.
7. ファインチューニングについて [a] ScanX2.0  以下の設定にてファインチューニングを行った 項目 内容 備考 学習の方法 QLoRA 一般に、大規模言語モデルのファインチューニングに は、多くのGPUメモリが必要。QLoRAを用いることで GPUメモリが少なくても学習させることが可能。 言語 Python 計算プラットフォーム Google Colab 学習に利用したGPU Nvidia T4 シリーズ RAMは16GB エディター Jupyter Notebook Google Colab上でコーディング ステップ (iteration) 数 2000 約9時間学習を行った
8. ファインチューニングを行わない場合 [a] ScanX2.0 ステーキハウス 最上階はエレベーターで最上階に行くことができる。 ステーキハウスはエスカレーターで最上階に行くことができない。 回転ドアはエスカレーターで最上階に行くことができない。 エレベーターで最上階に行くことができる。 • レストランはどれ？エスカレーター、エレベーター、最上階、ステーキハウス、回転ドア  ファインチューニングを行わず、Llama2のモデルをそのまま利用した場合 • 回答 うまく回答してくれない
9. ファインチューニングの結果について [a] ScanX2.0  ステップ数が増えるごとにLossも減少傾向  ここで得た学習モデルを利用して、テストデータの問題を回答させる
10. Llama2による回答の一覧 番号 instruction input Llama2による回答 正否 1 主に食品を販売する所は？ スーパー、洋品店、書店、キッチン、棚 スーパー 〇 2 レストランはどれ？ エスカレーター、エレベーター、最上階、ステーキ ハウス、回転ドア ステーキハウス 〇 3 心身の健康を維持するためのメンテナンス時間が一 日平均8時間と言われているが、何を示す？ 名誉、興味深い情報、充分な睡眠は、食事、記録 充分な睡眠は 〇 4 文字だけでは伝わりにくい時に伝わりやすくしたもの は？ 写真入り、天体写真、人、写真嫌い、数 写真入り 〇 5 ニワトリが産むのは？ ピーマン、玉子、小麦粉、たまねぎ、きのこ 玉子 〇 6 神経活動の中枢をなす器官はどれですか？ 手、腸、脳、目、首 脳 〇 7 会社で人の管理を行う部署は？ 生産部、プレゼン、人事部、営業部、本社 人事部 〇 8 風に備える防災林の一種とは？ 案山子、防風林、パラソル、道路標識、鮫 防風林 〇 9 雷がピカッとなることは何と言う？ 竜巻、豪雨、リーダー、さざ波、稲光 稲光 〇 10 感染するのは？ カンピュータ、生命体、植物、コンビーフ、コン ピュータウイルス 生命体 × データセットの回答を利用して、回答の正否を判断しています
11. Llama2による回答の一覧 11 サッカー場の地面を埋めているものは？ 床、葉、芝、氷、植物 芝 〇 12 フランスにある有名な川は何？ ライン、ドナウ、リビエラ、セーヌ、リール セーヌ 〇 13 目に見えないものがそこのにあるかのように見え ることを何という？ 幻影化、妄想、幻影肢、想像、幻影視 幻影視 〇 14 つい最近リサイクルが叫ばれる様になったペット ボトル等の原材料は？ プラスチック、金属、木、ビニール、ガラス プラスチック 〇 15 子供向けのメニューは？ ピクルス、お子様ランチ、ビール、肉、キッ ザニア お子様ランチ 〇 16 外国映画のうち欧米で制作された映画は？ 邦画、洋画、洋装、ボリウッドフィルム、洋 学 洋画 〇 17 咳や鼻水がでる軽度の病気は？ インフルエンザ、捻挫、かぜ、胃痛、病院 かぜ 〇 18 化粧する時顔に書くところは？ 白髪、眉毛、うなじ、眉間、顔面筋 眉間 × 19 砂丘のある県の町は？ 出雲市、江津市、松江市、鳥取県、鳥取市 鳥取県 〇 20 ドーパミンやセロトニンの持つ効果はどれ？ 熱を抑える、酔う、気持ちを高揚させる、破 壊的な衝動を起こさせる、頭痛を抑える 破壊的な衝動を 起こさせる × データセットの回答を利用して、回答の正否を判断しています
12. Llama2による回答の一覧 21 犬が住むところは？ ショッピングセンター、小屋、湖、海岸、バンガロー 小屋 〇 22 この中で実験に使われることがある のは？ 足、肩、人体、筋肉、手 足 ×（人体） 23 格闘家ボブ・サップの出身国はどこで しょう？ アメリカ合衆 国 〇 24 ゴルフボールの表面につけられてい るくぼみのことを何というでしょう？ グリーン × 25 ポルトガル語で「ボート」という意味が ある、サバの押し寿司といえば何で しょう？ サバの押し 寿司 ×（バッテラ） 26 上水道を管轄しているのは厚生労働 省ですが、下水道を管轄しているの はどの省庁でしょう? 国土交通省 〇 27 上水道を管轄しているのはどの省庁 でしょう? 総務省 × データセットの回答を利用して、回答の正否を判断しています
13. t-SNEとBERTモデルを利用した単語の2D埋め込み 12 バックパック型スキャナー  restaurantとsteakhouseが他の候補よりも特別近いわけではなさそう 番号 instruction input Llama2による回答 2 レストランはどれ？ エスカレーター、エレベーター、最上階、ステーキハウス、回転ドア ステーキハウス  より文章の意味なども、自然に捉えられるよう学習できているのかもしれない
14. まとめ 13 バックパック型スキャナー iPhone12 LiDAR ファインチューニングを行うことで、日本語の問題にもLlama2がうまく答えられるように なりました Google Colab を利用することで、煩雑な環境構築なども必要なくスムーズに学習や推 論を行うことができました 日本語の問題に対しても、うまく答えらえる場合が多かったです。今後はより長文を生 成させる問題や、特定の領域の課題に対して取り組んでみたいです
15. 参考ページなど 14 バックパック型スキャナー iPhone12 LiDAR HuggingFace: izumi-lab/llm-japanese-dataset https://huggingface.co/datasets/izumi-lab/llm-japanese-dataset [動画]
16. 参考ページなど 15 バックパック型スキャナー iPhone12 LiDAR NeurIPS 2023 論文読み会: QLoRA: Efficient Finetuning of Quantized LLMs https://speakerdeck.com/sansan_randd/qlora-efficient-finetuning-of-quantized-llms [動画]