【LODC2022データ作成部門優秀賞】VirtualHome2KGデータセット―家庭内の日常生活行動のシミュレーション動画とナレッジグラフ―

LODチャレンジ2022授賞式シンポジウムでの紹介スライドです。
受賞作品：https://github.com/KnowledgeGraphJapan/KGRC-RDF/blob/kgrc4si/extended_readme.md
受賞情報：https://2022.lodc.jp/awardPressRelease2022.html
引用：
Egami, S., Nishimura, S., Fukuda, K.: A Framework for Constructing and Augmenting Knowledge Graphs using Virtual Space: Towards Analysis of Daily Activities. Proceedings of the 33rd IEEE International Conference on Tools with Artificial Intelligence. pp.1226-1230 (2021) DOI: 10.1109/ICTAI52525.2021.00194
Egami, S., Nishimura, S., Fukuda, K.: VirtualHome2KG: Constructing and Augmenting Knowledge Graphs of Daily Activities Using Virtual Space. Proceedings of the ISWC 2021 Posters, Demos and Industry Tracks: From Novel Ideas to Industrial Practice, co-located with 20th International Semantic Web Conference. CEUR, Vol.2980 (2021) https://ceur-ws.org/Vol-2980/paper381.pdf
江上周作，鵜飼孝典，窪田文也，大野美喜子，北村光司，福田賢一郎: 家庭内の事故予防に向けた合成ナレッジグラフの構築と推論，第56回人工知能学会セマンティックウェブとオントロジー研究会, SIG-SWO-056-14 (2022) DOI: 10.11517/jsaisigtwo.2022.SWO-056_14

Transcript

1. VirtualHome2KGデータセット ― 家庭内の⽇常⽣活⾏動のシミュレーション動画 とナレッジグラフ ― 江上 周作1, 鵜飼 孝典2,1, ⼤野 美喜⼦1, 北村 光司1, 窪⽥ ⽂也3, Swe Nwe Nwe Htun1, Ye Win1, 太⽥ 雅輝1, 川村 隆浩4,1, 古崎 晃司5,1, 松下 京群2, 福⽥ 賢⼀郎1 1産業技術総合研究所 2富⼠通株式会社 3株式会社グルコース 4農研・⾷品産業技術総合研究機構 5⼤阪電気通信⼤学
2. VirtualHome2KGデータセット • ⼀⾔でいうと • 家庭内⽇常⽣活を仮想空間でシミュレーションした 動画と，その内容を表すナレッジグラフのセット https://github.com/KnowledgeGraphJapan/KGRC-RDF/tree/kgrc4si
3. 提供データセットの内容 • 動画 (mp4) • 36種類の⾏動シナリオ(2022/12/17時点) • 1種類につきキャラクター後⽅視点，室内カメラ視点があり，合計72個 の動画 (更新: 2022/12/17時点) • ナレッジグラフ (RDF) • 動画に対応する36個のナレッジグラフ(2022/12/17時点) • 台本データ (txt) • 動画とナレッジグラフを⽣成するためにVirtualHome2KGに与えたデータ • ⾏動のタイトルと簡単な⽂章説明を含む 年度内に⼤幅追加予定 VirtualHome2KG(データ活⽤部⾨ に応募)を使⽤して下記の データを⽣成 VirtualHome2KG
4. ナレッジグラフの例 Activity（短い尺の動画） Event（短い動画の⼀場⾯） Action（⼈の動作） エピソード（⻑尺） Object（物） 物の空間的な情報 Situation（屋内の状況） State（物の状態） 4
5. クエリ例 •SPARQLエンドポイントを提供 • http://kgrc4si.ml:7200/sparql • リポジトリは「KGRC4SIv0」を選択してください。（2022/12/17時点）
6. ナレッジグラフ推論チャレンジ【実社会版】 • ⾼齢者の家庭内での⽇常⽣活という具体的に⾝近な場⾯ を問題とした 「ナレッジグラフ推論チャレンジ【実社会版】」を開催 • タスク︓提供データから危険な状況を検出し説明する https://challenge.knowledge-graph.jp/2022/ この成果は，国⽴研究開発法⼈新エネルギー・産業技術総合開発機構(NEDO)の委託業務 (JPNP20006, JPNP180013)，JSPS科研費19H04168の結果得られたものです．