Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AI王 〜クイズAI日本一決定戦〜
Search
Koji Matsuda
April 17, 2020
Research
0
11k
AI王 〜クイズAI日本一決定戦〜
AI王 〜クイズAI日本一決定戦〜の説明スライドです.
Koji Matsuda
April 17, 2020
Tweet
Share
More Decks by Koji Matsuda
See All by Koji Matsuda
Editing Factual Knowledge in Language Models (EMNLP 2021)
conditional
0
360
SHINRA2020-JP リーダーボードのご案内
conditional
0
190
論文紹介: Neural Relation Extraction for Knowledge Base Enrichment (ACL2019)
conditional
0
440
Training Classifiers with Natural Language Explanations
conditional
0
330
Other Decks in Research
See All in Research
Agentic AIとMCPを利用したサービス作成入門
mickey_kubo
0
350
90 分で学ぶ P 対 NP 問題
e869120
19
7.8k
Creation and environmental applications of 15-year daily inundation and vegetation maps for Siberia by integrating satellite and meteorological datasets
satai
3
160
Computational OT #4 - Gradient flow and diffusion models
gpeyre
0
350
近似動的計画入門
mickey_kubo
4
1k
Vision and LanguageからのEmbodied AIとAI for Science
yushiku
PRO
1
390
最適決定木を用いた処方的価格最適化
mickey_kubo
4
1.8k
20250605_新交通システム推進議連_熊本都市圏「車1割削減、渋滞半減、公共交通2倍」から考える地方都市交通政策
trafficbrain
0
630
A multimodal data fusion model for accurate and interpretable urban land use mapping with uncertainty analysis
satai
3
250
Streamlit 総合解説 ~ PythonistaのためのWebアプリ開発 ~
mickey_kubo
1
1.2k
数理最適化に基づく制御
mickey_kubo
6
700
引力・斥力を制御可能なランダム部分集合の確率分布
wasyro
0
210
Featured
See All Featured
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
Code Reviewing Like a Champion
maltzj
524
40k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
45
7.5k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
50
5.5k
How to Ace a Technical Interview
jacobian
278
23k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
60k
GitHub's CSS Performance
jonrohan
1031
460k
Balancing Empowerment & Direction
lara
1
510
Documentation Writing (for coders)
carmenintech
72
4.9k
Reflections from 52 weeks, 52 projects
jeffersonlam
351
21k
Agile that works and the tools we love
rasmusluckow
329
21k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
229
22k
Transcript
"*ԦӡӦҕһ
AI王 〜クイズAI日本一決定戦〜 || 2020/4/17 概要 l 本コンペティションは, 日本の(日本語を対象とした)質問応答研究 を促進させることを目的としています. 1
AI王 〜クイズAI日本一決定戦〜 || 2020/4/17 問題例 童 謡 『 た な
ば た さ ま 』 の 歌 詞 で 、 「 さ ら さ ら 」 と 歌 わ れ る 植 物 は 何 の 葉 ? ササ 2
AI王 〜クイズAI日本一決定戦〜 || 2020/4/17 タスク設定 l クイズ作家の方に実際に作成してもらったクイズ番 組などで用いられるクイズ問題を使用 l そのクイズ問題に選択肢(20個)を自動付与
=> 選択肢から正解を選ぶ択一問題 Q1:童 謡 『 た な ば た さ ま 』 の 歌 詞 で,「 さ ら さ ら 」 と 歌 わ れ る 植 物 は 何 の 葉 ? Q2:北 海 道 の 中 心 に 位 置 す る こ と か ら 「 北 海 道 の へ そ 」 を 名 乗 る , ラ ベ ン ダ ー で 有 名 な 都 市 は ど こ ? 1:"サ サ", 2:"チ シ マ ザ サ", 3:"ク マ ザ サ", 4:"ア ダ ン", 5:"チ ガ ヤ", ... 20:"オ オ ウ バ ユ リ" 1:北 見 市 ... 8:富 良 野 市 9:滝 川 市 ... 19:岩 見 沢 市 20:ニ セ コ 町 選択肢/ 解答例 質問例 3
AI王 〜クイズAI日本一決定戦〜 || 2020/4/17 日程 l 2020/04/17より:順次説明資料をアップロード l 本資料を含む l
2020/06中 :中間説明会 l 2020/09/28:最終報告会・表彰 l 昨今の情勢(新型コロナウイルスの感染拡大状況等)に 応じて,日程は大幅に変更される可能性があります. 4
AI王 〜クイズAI日本一決定戦〜 || 2020/4/17 ルール l 基本的には,あらゆる情報を使ってクイズの正解 率を上げることが目的のコンペです. l 利用可能なデータ
l 一般に無償公開されているもののみ • 研究促進が目的であるため,一部のユーザしか使えないデータ を使ったシステムは禁止 • 独自に作成したデータであっても,無償公開すれば利用可能 l 利用可能計算機リソース l 基本的に単一の計算機内のリソースで動作 • (どこまでを単一計算機と思うかは常識的な範囲で). l 外部リソース(インターネット検索など)の利用禁止 「他の組織/ユーザでも結果を再現 できるか?」が一つの目安 5
AI王 〜クイズAI日本一決定戦〜 || 2020/4/17 ルール l 利用可能なデータ,計算リソースに関して疑問点が 生じた場合は,その都度運営委員で(場合によって は参加者も含めて)議論をおこない決定 6
AI王 〜クイズAI日本一決定戦〜 || 2020/4/17 評価 l 最終評価 l 最終報告会(現状9/28予定)にて,未公開の評価用クイ ズ問題を配布
l 規定時間内(現状30分を予定)に得られた回答に対して 正解率でランキング l 問題数1000問(予定) l リーダーボード上での評価 l 主に進捗を競うために,(評価用クイズ問題とは別の)配 布済み開発用データを用い評価 l リーダーボードにて正解率によるランキング (随時) 7
AI王 〜クイズAI日本一決定戦〜 || 2020/4/17 配布データ l 学習データ 約12,000問 l 開発用データ1
約 1,000問 l 開発用データ2 約 1,000問 l 解答候補リスト 約100万項目 l 未公開評価データも含め,本コンペティションで用いられ るクイズ問題の解答は,この解答候補リスト内の項目に 必ず含まれる l 解答候補リストの項目をタイトルとするWikipedia本 文記事 8
AI王 〜クイズAI日本一決定戦〜 || 2020/4/17 ベースラインシステム l 日本語BERTを用いたクイズ用質問応答システムプ ログラム l BERT
[Devlin et al. 2019] をベースにした読解に基づく 解答モデル l Github上に公開されている huggingface/transformers を ベースに改変を加えたもの 9