AI王 〜クイズAI日本一決定戦〜 || 2020/4/17 日程 l 2020/04/17より:順次説明資料をアップロード l 本資料を含む l 2020/06中 :中間説明会 l 2020/09/28:最終報告会・表彰 l 昨今の情勢(新型コロナウイルスの感染拡大状況等)に 応じて,日程は大幅に変更される可能性があります. 4
AI王 〜クイズAI日本一決定戦〜 || 2020/4/17 ルール l 基本的には,あらゆる情報を使ってクイズの正解 率を上げることが目的のコンペです. l 利用可能なデータ l 一般に無償公開されているもののみ • 研究促進が目的であるため,一部のユーザしか使えないデータ を使ったシステムは禁止 • 独自に作成したデータであっても,無償公開すれば利用可能 l 利用可能計算機リソース l 基本的に単一の計算機内のリソースで動作 • (どこまでを単一計算機と思うかは常識的な範囲で). l 外部リソース(インターネット検索など)の利用禁止 「他の組織/ユーザでも結果を再現 できるか?」が一つの目安 5
AI王 〜クイズAI日本一決定戦〜 || 2020/4/17 評価 l 最終評価 l 最終報告会(現状9/28予定)にて,未公開の評価用クイ ズ問題を配布 l 規定時間内(現状30分を予定)に得られた回答に対して 正解率でランキング l 問題数1000問(予定) l リーダーボード上での評価 l 主に進捗を競うために,(評価用クイズ問題とは別の)配 布済み開発用データを用い評価 l リーダーボードにて正解率によるランキング (随時) 7
AI王 〜クイズAI日本一決定戦〜 || 2020/4/17 配布データ l 学習データ 約12,000問 l 開発用データ1 約 1,000問 l 開発用データ2 約 1,000問 l 解答候補リスト 約100万項目 l 未公開評価データも含め,本コンペティションで用いられ るクイズ問題の解答は,この解答候補リスト内の項目に 必ず含まれる l 解答候補リストの項目をタイトルとするWikipedia本 文記事 8