Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AI王 〜クイズAI日本一決定戦〜
Search
Koji Matsuda
April 17, 2020
Research
0
11k
AI王 〜クイズAI日本一決定戦〜
AI王 〜クイズAI日本一決定戦〜の説明スライドです.
Koji Matsuda
April 17, 2020
Tweet
Share
More Decks by Koji Matsuda
See All by Koji Matsuda
Editing Factual Knowledge in Language Models (EMNLP 2021)
conditional
0
370
SHINRA2020-JP リーダーボードのご案内
conditional
0
190
論文紹介: Neural Relation Extraction for Knowledge Base Enrichment (ACL2019)
conditional
0
440
Training Classifiers with Natural Language Explanations
conditional
0
340
Other Decks in Research
See All in Research
とあるSREの博士「過程」 / A Certain SRE’s Ph.D. Journey
yuukit
10
4.2k
2025/7/5 応用音響研究会招待講演@北海道大学
takuma_okamoto
1
180
単施設でできる臨床研究の考え方
shuntaros
0
2.7k
Adaptive Experimental Design for Efficient Average Treatment Effect Estimation and Treatment Choice
masakat0
0
160
SSII2025 [SS1] レンズレスカメラ
ssii
PRO
2
1.1k
IMC の細かすぎる話 2025
smly
2
610
業界横断 副業・兼業者の実態調査
fkske
0
240
最適決定木を用いた処方的価格最適化
mickey_kubo
4
1.9k
GPUを利用したStein Particle Filterによる点群6自由度モンテカルロSLAM
takuminakao
0
250
EcoWikiRS: Learning Ecological Representation of Satellite Images from Weak Supervision with Species Observation and Wikipedia
satai
3
120
RHO-1: Not All Tokens Are What You Need
sansan_randd
1
170
NLP Colloquium
junokim
1
200
Featured
See All Featured
Side Projects
sachag
455
43k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
139
34k
Code Review Best Practice
trishagee
70
19k
Measuring & Analyzing Core Web Vitals
bluesmoon
9
580
Understanding Cognitive Biases in Performance Measurement
bluesmoon
29
1.9k
Scaling GitHub
holman
463
140k
Context Engineering - Making Every Token Count
addyosmani
1
27
Stop Working from a Prison Cell
hatefulcrawdad
271
21k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
12
1.1k
Why You Should Never Use an ORM
jnunemaker
PRO
59
9.5k
YesSQL, Process and Tooling at Scale
rocio
173
14k
GraphQLの誤解/rethinking-graphql
sonatard
72
11k
Transcript
"*ԦӡӦҕһ
AI王 〜クイズAI日本一決定戦〜 || 2020/4/17 概要 l 本コンペティションは, 日本の(日本語を対象とした)質問応答研究 を促進させることを目的としています. 1
AI王 〜クイズAI日本一決定戦〜 || 2020/4/17 問題例 童 謡 『 た な
ば た さ ま 』 の 歌 詞 で 、 「 さ ら さ ら 」 と 歌 わ れ る 植 物 は 何 の 葉 ? ササ 2
AI王 〜クイズAI日本一決定戦〜 || 2020/4/17 タスク設定 l クイズ作家の方に実際に作成してもらったクイズ番 組などで用いられるクイズ問題を使用 l そのクイズ問題に選択肢(20個)を自動付与
=> 選択肢から正解を選ぶ択一問題 Q1:童 謡 『 た な ば た さ ま 』 の 歌 詞 で,「 さ ら さ ら 」 と 歌 わ れ る 植 物 は 何 の 葉 ? Q2:北 海 道 の 中 心 に 位 置 す る こ と か ら 「 北 海 道 の へ そ 」 を 名 乗 る , ラ ベ ン ダ ー で 有 名 な 都 市 は ど こ ? 1:"サ サ", 2:"チ シ マ ザ サ", 3:"ク マ ザ サ", 4:"ア ダ ン", 5:"チ ガ ヤ", ... 20:"オ オ ウ バ ユ リ" 1:北 見 市 ... 8:富 良 野 市 9:滝 川 市 ... 19:岩 見 沢 市 20:ニ セ コ 町 選択肢/ 解答例 質問例 3
AI王 〜クイズAI日本一決定戦〜 || 2020/4/17 日程 l 2020/04/17より:順次説明資料をアップロード l 本資料を含む l
2020/06中 :中間説明会 l 2020/09/28:最終報告会・表彰 l 昨今の情勢(新型コロナウイルスの感染拡大状況等)に 応じて,日程は大幅に変更される可能性があります. 4
AI王 〜クイズAI日本一決定戦〜 || 2020/4/17 ルール l 基本的には,あらゆる情報を使ってクイズの正解 率を上げることが目的のコンペです. l 利用可能なデータ
l 一般に無償公開されているもののみ • 研究促進が目的であるため,一部のユーザしか使えないデータ を使ったシステムは禁止 • 独自に作成したデータであっても,無償公開すれば利用可能 l 利用可能計算機リソース l 基本的に単一の計算機内のリソースで動作 • (どこまでを単一計算機と思うかは常識的な範囲で). l 外部リソース(インターネット検索など)の利用禁止 「他の組織/ユーザでも結果を再現 できるか?」が一つの目安 5
AI王 〜クイズAI日本一決定戦〜 || 2020/4/17 ルール l 利用可能なデータ,計算リソースに関して疑問点が 生じた場合は,その都度運営委員で(場合によって は参加者も含めて)議論をおこない決定 6
AI王 〜クイズAI日本一決定戦〜 || 2020/4/17 評価 l 最終評価 l 最終報告会(現状9/28予定)にて,未公開の評価用クイ ズ問題を配布
l 規定時間内(現状30分を予定)に得られた回答に対して 正解率でランキング l 問題数1000問(予定) l リーダーボード上での評価 l 主に進捗を競うために,(評価用クイズ問題とは別の)配 布済み開発用データを用い評価 l リーダーボードにて正解率によるランキング (随時) 7
AI王 〜クイズAI日本一決定戦〜 || 2020/4/17 配布データ l 学習データ 約12,000問 l 開発用データ1
約 1,000問 l 開発用データ2 約 1,000問 l 解答候補リスト 約100万項目 l 未公開評価データも含め,本コンペティションで用いられ るクイズ問題の解答は,この解答候補リスト内の項目に 必ず含まれる l 解答候補リストの項目をタイトルとするWikipedia本 文記事 8
AI王 〜クイズAI日本一決定戦〜 || 2020/4/17 ベースラインシステム l 日本語BERTを用いたクイズ用質問応答システムプ ログラム l BERT
[Devlin et al. 2019] をベースにした読解に基づく 解答モデル l Github上に公開されている huggingface/transformers を ベースに改変を加えたもの 9