Upgrade to Pro — share decks privately, control downloads, hide ads and more …

東大・松尾研主催 LLM Summer 2023 コンペ解法 (11位 – 20位枠での優秀賞)

hayataka
November 28, 2023

東大・松尾研主催 LLM Summer 2023 コンペ解法 (11位 – 20位枠での優秀賞)

東大・松尾研主催のLLMサマースクール2023のコンペで、優秀賞(11位-20位枠)をいただきました。解法を資料にまとめたので公開します。

コンペの内容は、3種類のタスク(選択問題、文章要約、指示実行)をLLMに解かせてスコアを競うものです。1stコンペでは3位、2ndコンペでは11位-20位でした。

あまり特殊なことはしていないのですが、選択問題でBERTを使った点は特徴かと思います。ご興味がある方は、ご覧ください。

(参考)LLMサマースクール2023
https://deeplearning.jp/llm2023/

hayataka

November 28, 2023
Tweet

More Decks by hayataka

Other Decks in Science

Transcript

  1.  コンペ内容のおさらい 本コンペでは、下記の3種類のタスクをLLMに解かせてスコアを競う。 元⽂章:⽶宇宙開発企業スペースX(エックス)の宇 宙船「クルードラゴン」 ⾶⾏⼠のダグ・ハーリー⽒とボブ・ベ ンケン⽒を乗せたクルードラゴンは、フロリダ州ペンサコーラ の南に位置するメキシコ湾に、4つのメインパラシュートを開 いて着⽔した。 クルードラゴンがパラシュートでメキシコ湾上

    空に浮かぶ光景は、この宇宙船が⼤気圏突⼊で燃える ことなく耐え抜いたことを⽰した。・・・ ↓ 要約:⽶航空宇宙局(NASA)の宇宙⾶⾏⼠2⼈が 28⽇、⽶⺠間企業スペースXの宇宙船「クルードラゴン」で メキシコ湾に着⽔し、無事帰還した。 [問題]:コンビニのカウンターで買えるのは? [選択肢]:[1. ⼈間, 2. 従業員, 3. マネージャー, 4. レジ, 5. ホ ットコーヒー] ↓ [答えの選択肢番号]:5 [問題]:何かをして愉快な気もちになることを何という? [選択肢]:[1. 深呼吸する, 2. 落ち込む, 3. 楽しむ, 4. 学習す る, 5. 悲しむ] ↓ [答えの選択肢番号]:3 仕事の熱意を取り戻すためのアイデアを5つ挙げてください。 ↓ 回答: 1. ⾃分の仕事に対する意義を再確認する。 2. 仕事に対する感謝の気持ちを持ち、それを⽇記に書き 留める。 3. 仕事に対する挑戦を考え、それを実⾏する。 4. 仕事に対する興味を持ち、それを⾃分の仕事に反映 させる。 5. 仕事に対する感謝の気持ちを共有する。 Type1. 選択問題 Type2. ⽂章要約 Type3. 指⽰実⾏
  2.  所感 ▪ できたこと • 「やりたいことに応じて、世の中のモデルを調べ、⽐較検討する」という基本動作はできるようになった(各種リーダーボードを⾒たり、 Hugging Faceを検索したり、実際に試して精度を⽐較したり・・・)。 ▪ できなかったこと、やってみたかったこと

    • 事後学習で精度を上げるということはできなかった。少し試したがあまり精度が良くならなかったため、モデル選択の⽅に時間をかけ てしまった。 • 今回はタスク種別ごとにモデルを切り替えたが、ChatGPTは1つのモデルで様々なタスクに対応しているのではないか?そうなると、1 つのモデルで、様々なタスクの精度を⾼められるような⼯夫も試してみたかった。