Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AI王 〜クイズAI日本一決定戦〜
Search
Koji Matsuda
April 17, 2020
Research
0
11k
AI王 〜クイズAI日本一決定戦〜
AI王 〜クイズAI日本一決定戦〜の説明スライドです.
Koji Matsuda
April 17, 2020
Tweet
Share
More Decks by Koji Matsuda
See All by Koji Matsuda
Editing Factual Knowledge in Language Models (EMNLP 2021)
conditional
0
360
SHINRA2020-JP リーダーボードのご案内
conditional
0
190
論文紹介: Neural Relation Extraction for Knowledge Base Enrichment (ACL2019)
conditional
0
430
Training Classifiers with Natural Language Explanations
conditional
0
330
Other Decks in Research
See All in Research
SSII2025 [TS1] 光学・物理原理に基づく深層画像生成
ssii
PRO
4
3.8k
なめらかなシステムと運用維持の終わらぬ未来 / dicomo2025_coherently_fittable_system
monochromegane
0
700
Sosiaalisen median katsaus 03/2025 + tekoäly
hponka
0
1.3k
20250502_ABEJA_論文読み会_スライド
flatton
0
170
SSII2025 [SS2] 横浜DeNAベイスターズの躍進を支えたAIプロダクト
ssii
PRO
7
3.6k
AIによる画像認識技術の進化 -25年の技術変遷を振り返る-
hf149
6
3.6k
【緊急警告】日本の未来設計図 ~沈没か、再生か。国民と断行するラストチャンス~
yuutakasan
0
140
SSII2025 [TS2] リモートセンシング画像処理の最前線
ssii
PRO
7
2.9k
CSP: Self-Supervised Contrastive Spatial Pre-Training for Geospatial-Visual Representations
satai
3
220
When Submarine Cables Go Dark: Examining the Web Services Resilience Amid Global Internet Disruptions
irvin
0
230
LLM-as-a-Judge: 文章をLLMで評価する@教育機関DXシンポ
k141303
3
830
引力・斥力を制御可能なランダム部分集合の確率分布
wasyro
0
190
Featured
See All Featured
Visualization
eitanlees
146
16k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
35
2.4k
Speed Design
sergeychernyshev
32
1k
Testing 201, or: Great Expectations
jmmastey
43
7.6k
Optimising Largest Contentful Paint
csswizardry
37
3.3k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
48
2.9k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
130
19k
YesSQL, Process and Tooling at Scale
rocio
173
14k
The Straight Up "How To Draw Better" Workshop
denniskardys
235
140k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
45
7.5k
The World Runs on Bad Software
bkeepers
PRO
69
11k
Transcript
"*ԦӡӦҕһ
AI王 〜クイズAI日本一決定戦〜 || 2020/4/17 概要 l 本コンペティションは, 日本の(日本語を対象とした)質問応答研究 を促進させることを目的としています. 1
AI王 〜クイズAI日本一決定戦〜 || 2020/4/17 問題例 童 謡 『 た な
ば た さ ま 』 の 歌 詞 で 、 「 さ ら さ ら 」 と 歌 わ れ る 植 物 は 何 の 葉 ? ササ 2
AI王 〜クイズAI日本一決定戦〜 || 2020/4/17 タスク設定 l クイズ作家の方に実際に作成してもらったクイズ番 組などで用いられるクイズ問題を使用 l そのクイズ問題に選択肢(20個)を自動付与
=> 選択肢から正解を選ぶ択一問題 Q1:童 謡 『 た な ば た さ ま 』 の 歌 詞 で,「 さ ら さ ら 」 と 歌 わ れ る 植 物 は 何 の 葉 ? Q2:北 海 道 の 中 心 に 位 置 す る こ と か ら 「 北 海 道 の へ そ 」 を 名 乗 る , ラ ベ ン ダ ー で 有 名 な 都 市 は ど こ ? 1:"サ サ", 2:"チ シ マ ザ サ", 3:"ク マ ザ サ", 4:"ア ダ ン", 5:"チ ガ ヤ", ... 20:"オ オ ウ バ ユ リ" 1:北 見 市 ... 8:富 良 野 市 9:滝 川 市 ... 19:岩 見 沢 市 20:ニ セ コ 町 選択肢/ 解答例 質問例 3
AI王 〜クイズAI日本一決定戦〜 || 2020/4/17 日程 l 2020/04/17より:順次説明資料をアップロード l 本資料を含む l
2020/06中 :中間説明会 l 2020/09/28:最終報告会・表彰 l 昨今の情勢(新型コロナウイルスの感染拡大状況等)に 応じて,日程は大幅に変更される可能性があります. 4
AI王 〜クイズAI日本一決定戦〜 || 2020/4/17 ルール l 基本的には,あらゆる情報を使ってクイズの正解 率を上げることが目的のコンペです. l 利用可能なデータ
l 一般に無償公開されているもののみ • 研究促進が目的であるため,一部のユーザしか使えないデータ を使ったシステムは禁止 • 独自に作成したデータであっても,無償公開すれば利用可能 l 利用可能計算機リソース l 基本的に単一の計算機内のリソースで動作 • (どこまでを単一計算機と思うかは常識的な範囲で). l 外部リソース(インターネット検索など)の利用禁止 「他の組織/ユーザでも結果を再現 できるか?」が一つの目安 5
AI王 〜クイズAI日本一決定戦〜 || 2020/4/17 ルール l 利用可能なデータ,計算リソースに関して疑問点が 生じた場合は,その都度運営委員で(場合によって は参加者も含めて)議論をおこない決定 6
AI王 〜クイズAI日本一決定戦〜 || 2020/4/17 評価 l 最終評価 l 最終報告会(現状9/28予定)にて,未公開の評価用クイ ズ問題を配布
l 規定時間内(現状30分を予定)に得られた回答に対して 正解率でランキング l 問題数1000問(予定) l リーダーボード上での評価 l 主に進捗を競うために,(評価用クイズ問題とは別の)配 布済み開発用データを用い評価 l リーダーボードにて正解率によるランキング (随時) 7
AI王 〜クイズAI日本一決定戦〜 || 2020/4/17 配布データ l 学習データ 約12,000問 l 開発用データ1
約 1,000問 l 開発用データ2 約 1,000問 l 解答候補リスト 約100万項目 l 未公開評価データも含め,本コンペティションで用いられ るクイズ問題の解答は,この解答候補リスト内の項目に 必ず含まれる l 解答候補リストの項目をタイトルとするWikipedia本 文記事 8
AI王 〜クイズAI日本一決定戦〜 || 2020/4/17 ベースラインシステム l 日本語BERTを用いたクイズ用質問応答システムプ ログラム l BERT
[Devlin et al. 2019] をベースにした読解に基づく 解答モデル l Github上に公開されている huggingface/transformers を ベースに改変を加えたもの 9