Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AI王 〜クイズAI日本一決定戦〜
Search
Koji Matsuda
April 17, 2020
Research
0
11k
AI王 〜クイズAI日本一決定戦〜
AI王 〜クイズAI日本一決定戦〜の説明スライドです.
Koji Matsuda
April 17, 2020
Tweet
Share
More Decks by Koji Matsuda
See All by Koji Matsuda
Editing Factual Knowledge in Language Models (EMNLP 2021)
conditional
0
290
SHINRA2020-JP リーダーボードのご案内
conditional
0
130
論文紹介: Neural Relation Extraction for Knowledge Base Enrichment (ACL2019)
conditional
0
310
Training Classifiers with Natural Language Explanations
conditional
0
280
Other Decks in Research
See All in Research
CVPR2023 EarthVision Workshopより衛星画像関連論文紹介 / Satellite Imaging Processing Papers in CVPR2023 EarthVision Workshop
nttcom
0
120
データで診て考える合志市の渋滞と公共交通 ~めざせ 車1割削減、渋滞半減、公共交通2倍~
trafficbrain
0
460
MegaParticles: GPUを利用したStein Particle Filterによる点群6自由度姿勢推定
koide3
1
500
First Authorに俺はなるっ!! IROS’23 CCC2023 FY
shota_nishiyama
0
170
[KDD2023論文読み会] BERT4CTR: An Efficient Framework to Combine Pre-trained Language Model with Non-textual Features for CTR Prediction / KDD2023 LY Tech Reading
shunk031
0
440
脳卒中患者・家族からみた循環器病対策推進基本計画の進捗に関する調査
japanstrokeassociation
0
530
SCOPE-RL: オフライン強化学習とオフ方策評価のライブラリ
aiueola
0
110
Accurate Method and Variable Tracking in Commit History
tsantalis
0
250
Combating Misinformation in the age of LLMs
teacherpeterpan
0
130
[ICLR'24] Towards Assessing and Benchmarking Risk-Return Tradeoff of OPE
harukakiyohara_
0
180
DeepCrysTet: A Deep Learning Approach Using Tetrahedral Mesh for Predicting Properties of Crystalline Materials
tsurubee
0
370
サウナでのプロジェクションマッピングの可能性の検討 / EC71koizumi
yumulab
0
160
Featured
See All Featured
Rebuilding a faster, lazier Slack
samanthasiow
72
8.2k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
226
16k
WebSockets: Embracing the real-time Web
robhawkes
59
7k
Why You Should Never Use an ORM
jnunemaker
PRO
51
8.6k
From Idea to $5000 a Month in 5 Months
shpigford
377
45k
Building Adaptive Systems
keathley
30
1.9k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
18
1.7k
How STYLIGHT went responsive
nonsquared
92
4.8k
How to Ace a Technical Interview
jacobian
272
22k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
119
39k
Testing 201, or: Great Expectations
jmmastey
27
6.3k
For a Future-Friendly Web
brad_frost
171
8.9k
Transcript
"*ԦӡӦҕһ
AI王 〜クイズAI日本一決定戦〜 || 2020/4/17 概要 l 本コンペティションは, 日本の(日本語を対象とした)質問応答研究 を促進させることを目的としています. 1
AI王 〜クイズAI日本一決定戦〜 || 2020/4/17 問題例 童 謡 『 た な
ば た さ ま 』 の 歌 詞 で 、 「 さ ら さ ら 」 と 歌 わ れ る 植 物 は 何 の 葉 ? ササ 2
AI王 〜クイズAI日本一決定戦〜 || 2020/4/17 タスク設定 l クイズ作家の方に実際に作成してもらったクイズ番 組などで用いられるクイズ問題を使用 l そのクイズ問題に選択肢(20個)を自動付与
=> 選択肢から正解を選ぶ択一問題 Q1:童 謡 『 た な ば た さ ま 』 の 歌 詞 で,「 さ ら さ ら 」 と 歌 わ れ る 植 物 は 何 の 葉 ? Q2:北 海 道 の 中 心 に 位 置 す る こ と か ら 「 北 海 道 の へ そ 」 を 名 乗 る , ラ ベ ン ダ ー で 有 名 な 都 市 は ど こ ? 1:"サ サ", 2:"チ シ マ ザ サ", 3:"ク マ ザ サ", 4:"ア ダ ン", 5:"チ ガ ヤ", ... 20:"オ オ ウ バ ユ リ" 1:北 見 市 ... 8:富 良 野 市 9:滝 川 市 ... 19:岩 見 沢 市 20:ニ セ コ 町 選択肢/ 解答例 質問例 3
AI王 〜クイズAI日本一決定戦〜 || 2020/4/17 日程 l 2020/04/17より:順次説明資料をアップロード l 本資料を含む l
2020/06中 :中間説明会 l 2020/09/28:最終報告会・表彰 l 昨今の情勢(新型コロナウイルスの感染拡大状況等)に 応じて,日程は大幅に変更される可能性があります. 4
AI王 〜クイズAI日本一決定戦〜 || 2020/4/17 ルール l 基本的には,あらゆる情報を使ってクイズの正解 率を上げることが目的のコンペです. l 利用可能なデータ
l 一般に無償公開されているもののみ • 研究促進が目的であるため,一部のユーザしか使えないデータ を使ったシステムは禁止 • 独自に作成したデータであっても,無償公開すれば利用可能 l 利用可能計算機リソース l 基本的に単一の計算機内のリソースで動作 • (どこまでを単一計算機と思うかは常識的な範囲で). l 外部リソース(インターネット検索など)の利用禁止 「他の組織/ユーザでも結果を再現 できるか?」が一つの目安 5
AI王 〜クイズAI日本一決定戦〜 || 2020/4/17 ルール l 利用可能なデータ,計算リソースに関して疑問点が 生じた場合は,その都度運営委員で(場合によって は参加者も含めて)議論をおこない決定 6
AI王 〜クイズAI日本一決定戦〜 || 2020/4/17 評価 l 最終評価 l 最終報告会(現状9/28予定)にて,未公開の評価用クイ ズ問題を配布
l 規定時間内(現状30分を予定)に得られた回答に対して 正解率でランキング l 問題数1000問(予定) l リーダーボード上での評価 l 主に進捗を競うために,(評価用クイズ問題とは別の)配 布済み開発用データを用い評価 l リーダーボードにて正解率によるランキング (随時) 7
AI王 〜クイズAI日本一決定戦〜 || 2020/4/17 配布データ l 学習データ 約12,000問 l 開発用データ1
約 1,000問 l 開発用データ2 約 1,000問 l 解答候補リスト 約100万項目 l 未公開評価データも含め,本コンペティションで用いられ るクイズ問題の解答は,この解答候補リスト内の項目に 必ず含まれる l 解答候補リストの項目をタイトルとするWikipedia本 文記事 8
AI王 〜クイズAI日本一決定戦〜 || 2020/4/17 ベースラインシステム l 日本語BERTを用いたクイズ用質問応答システムプ ログラム l BERT
[Devlin et al. 2019] をベースにした読解に基づく 解答モデル l Github上に公開されている huggingface/transformers を ベースに改変を加えたもの 9