第3回AI王YAMALEXソリューション

Copyright © Acroquest Technology Co., Ltd. All rights reserved.
AI王~クイズAI日本一決定戦~
第3回コンペティション
開発システム紹介
Acroquest Technology株式会社
YAMALEXチーム佐々木峻
1

View Slide

「働きがいのある会社(GPTW)」
ランキング(従業員25～99人部門)
１位を
3回受賞
１位１位１位

View Slide

若手中心のデータサイエンティストチーム “YAMALEX”
Copyright © Acroquest Technology Co., Ltd. All rights reserved. 3
Acroquest社内で発足したKaggleGMの山本率いる
データサイエンスチーム“YAMALEX”（ヤマレックス）
プロジェクトの高度な問題解決に取り組んでいます。
チームメンバが切磋琢磨して、コンペティションへの
参加や勉強会を開催し、スキルアップに繋げています。
主な活動内容
多種多様な課題をAIで解決するデータサイエンティストチーム
①AL/MLを利用した課題解決 ②データサイエンス
コンペティションへの参加
③自社サービス開発の支援
様々な分野でのお客様が抱える
課題解決に向けて、AI／MLの
導入支援を行っています。
Kaggleをはじめとしたデータ
サイエンスコンペティションに
参加し、日々、スキルアップを
図っています。
Acroquestでは、映像解析
ソリューションTorrentioVideoや
日本語検索のENdoSnipeを開発
しています。それらの新機能の
検証・開発を行っています

View Slide

目次
1. 参加のモチベーション
2. システム概要
3. システム詳細
4. 試したけど改善しなかったこと
5. やりたかったけどできなかったこと
6. 感想

View Slide

1. 参加のモチベーション
①QAの経験を積みたい
⚫ QAシステム自体は、チームメンバがほぼ扱ったことが無かったので
このコンペを知った際に、チャレンジしたくなった（今回、初参加です）。
②日本のNLPコンペに参加したい
⚫ Kaggleなどには参加したことはあるが、問題のほとんどが英語の文章なので
日本のコンペにチームとして出たかった。
③チームとしてコンペに参加してみたい
⚫ YAMALEXチームはまだ個人参加はあれど、チームでコンペに取り組んだ
ことがなかったので、チームで取り組んでみたかった。

View Slide

2. システム概要
Sparse Retriever
Elasticsearch
Dense Retriever（BPR）
FAISS
上位100件
50件ずつ
マージ
Generator（FiD）
FiD
ベクトル化
インデクシング
基本はベースラインを使い、Sparse Retriever・データの
拡張で精度を伸ばしていく作戦を取った
Q
コンテキスト
コンテキスト
約1100万件
Q
上位100件
コンテキスト
コンテキスト
A

View Slide

3-1. Retriever
Sparse Retriever
⚫ ElasticsearchのBM25を使用
⚫ クイズ文章で検索してスコア高いコンテキスト
上位100件を抽出
⚫ Elasticsearchのtokenizerにはsudachiを使用
⚫ 名詞のみを残して検索
Dense Retriever
⚫ ベースライン実装のBPRを使用
⚫ 一度学習した結果のHard Negativeを
学習データに加えてもう一度再学習
異なる特徴を捉えるため2種類のRetrieverを使用
Sparse Retriever
Elasticsearch
Dense Retriever（BPR）
FAISS
上位100件
ベクトル化
インデクシング
Q
コンテキスト
コンテキスト
約1100万件
Q
上位100件
コンテキスト

View Slide

3-2. FiD
Generator（FiD）
encoder
encoder concat
FiD
FiD(Fusion in Decoder)
⚫ ベースライン実装のFiDを使用
⚫ 複数モデルをアンサンブル
① Model: sonoisa/t5-base-japanese
n_context: 60
② Model: megagonlabs/t5-base-japanese-web
n_context: 60
③ Model: sonoisa/t5-base-japanese
n_context: 80
④ Model: megagonlabs/t5-base-japanese-web
n_context: 80
⚫ アンサンブルはシンプルなVotingを使用
出力を安定させるため複数モデルを使用
A
Q コンテキスト
Q コンテキスト
Q コンテキスト encoder

View Slide

3-3. 取り組みの流れ
ベースラインの
動作確認
FiDのContextの
パラメータ確認
ExternalData投入 SPR利用
Wikipedia頁追加
Dev/Testの
相関が合わなくなる
アンサンブルの
結果を提出
11月初旬頭から本格開始し、以下のスコアの遷移で進んだ
LB Score
主要な提出回数

View Slide

4. 試したけど改善しなかったこと
①Wikipediaのコンテキスト追加
⚫ Wikipediaデータを追加した際に、DevのEMは増加したが、Testに相関しなかったこと。
⚫ ただし、未知の問題に頑強になる可能性があるので、最終投稿には適用した。
②BPRの出力をHard Negative ContextとPositive Contextに
複数回追加
⚫ BPRの出力を学習データのHard Negativeに追加することで精度に改善は見られた。
⚫ ただし、Positive Contextへの追加と2回目・3回目の追加はDevの精度は改善したが、
Testでの精度はむしろ下がった。
③Retrieverのモデルを日本語RobertaやSentence BERTに変更
⚫ bert-japanese-v2を使用したバージョンとほとんど精度が変わらなかった
ため、適用を見送った。

View Slide

5. やりたかったけどできなかったこと
①Retrievalの正解データ改善
⚫ RetrievalのPositiveデータに対するアノテーションの再考。
a. 単語が含まれているからといって正解ではない（例：鳥の「トキ」は単語が含まれやすい）。
b. そのため、複数のPositiveデータを利用する場合ノイズが含まれるデータも現行の
アノテーション方式だと多く存在する。
c. 例えば、BERTとElasticsearchの組み合わせによる再アノテーションも検討できるが、
時間が足りなかった。
②様々なモデルの検討
⚫ megagonlabs/t5-base-japanese-webとsonoisa/t5-base-japaneseでのFiDでの
回答生成を実施した。
⚫ さらに大きなモデルの精度向上を期待できるので他も検討したかったが、時間が足りず、
試せなかった（例： https://huggingface.co/abeja/gpt-neox-japanese-2.7b）。

View Slide

6. 感想
①日本語を使ったコンペは滅多にないので楽しい
⚫ たいてい世の中のNLPコンペは英語なので、日本語を機械学習をコンペで競えるのは
とてもありがたい。
②QAシステムの奥深さを知れた
⚫ QAモデルを作ったのはこのコンペが初めてだったので、どうすれば精度が上がるかや
モデルの論文読んだりなどOpen Domain QAに詳しくなれた。
③データ・ベースライン・サポートなど運営が充実しており
取り組みやすかった
⚫ ベースラインが充実しているので、参加時期が遅くても一定の精度はすぐに出せるように
なった。
⚫ 提出の際には多大なサポートをありがとうございました。

View Slide

第3回AI王YAMALEXソリューション

第3回AI王YAMALEXソリューション

takashi1029

More Decks by takashi1029

Other Decks in Programming

Featured

Transcript