背景 • セマンティックWebコミュニティを中⼼に，SPARQLクエリ⽣成に 関する数多くの研究がされている • 定義したテンプレートに基づくSPARQLクエリ⽣成[Bizer+ ‘08][Shekapour+ ‘11] • データセットの構造的特徴に基づくSPARQLクエリ⽣成[Qiao+ ‘15] • オントロジーに基づくSPARQLクエリ⽣成[Chen+ ‘21] • SPARQLクエリを⽣成するGUIツールの開発[Yamaguchi ’14] • ⾃然⾔語からSPARQLクエリ⽣成（後述） • など 3 [Bizer+ ‘08] C. Bizer, et al.: Benchmarking the Performance of Storage Systems that expose SPARQL Endpoints. SSWS, 2008 [Shekarpour+ ‘11] S. Shekapour, et al.: Keyword-Driven SPARQL Query Generation Leveraging Background Knowledge. WI-IAT, 2011 [Qiao+ ‘15] S. Qiao, et al.: RBench: Application-Specific RDF Benchmarking. SIGMOD, 2015 [Chen+ ‘21] Y. Chen, et al.: SPARQL Query Generator (SQG), J. of Data Semantics, 2021 [Yamaguchi+ ‘14] A. Yamaguchi, et al.: An Intelligent SPARQL Query Builder for Exploration of Various Life-science Databases, IESD, 2014 特に近年ではニューラル機械翻訳（NMT）による⾃然⾔語からの SPARQLクエリ⽣成が多く提案されており、LLMも利⽤され始めている
関連研究（NMT） • An NMT-Based Approach to Translate Natural Language Questions to SPARQL Queries[Lin+ ‘21] • Transformerを⽤いたアプローチを提案 • TransformerによるSPARQLクエリ⽣成後にエ ンティティタイプのタグを考慮したクエリ修 正 • QALD-7データセットで評価 5 [Lin+ ‘21] J. Lin, et al.: An NMT-based Approach to Translate Natural Language Questions to SPARQL Queries, IT Convergence and Security, 2021 [Lin+ ‘22] J. Lin, et al.: SPARQL Generation with an NMT-based Approach. J. of Web Engineering, 2022 • SPARQL Generation with an NMT-based Approach[Lin+ ‘22] • 上記を発展させてさらにQALD-8，LC-QuAD を追加した⽐較実験を⾏った • LC-QuADではYinらの実験結果を上回る精度 を達成した（BLEU=76.21%）
Zero-shot LearningによるSPARQLクエリ⽣成 • LLMに与えるプロンプト内で質問⽂やSPARQLクエリを例⽰しない • 先⾏研究[Lehmann+ ‘23]を参考にプロンプトを改変 • (-) WikidataのIDとラベルのセットを明⽰的に与えていた部分を削除 • (+) Wikidataが対象であることの指⽰を追加 • (+) クエリのコメントを書かないように指⽰を追加 11 Given the question generate a SPARQL query for Wikidata! Do not write comments. Question: {質問⽂} SPARQL query: Zero-shot Learningのプロンプトテンプレート The Diary of Anne Frank has how many editions? 質問⽂の例 select distinct ?answer where { wd:Q6911 wdt:P747 ?answer} SPARQLクエリの例
Few-shot LearningによるSPARQLクエリ⽣成 • LLMに与えるプロンプト内で質問⽂やSPARQLクエリを例⽰する • 例として与える質問⽂とクエリはLC-QuAD 2.0の学習データセットからラ ンダムに３件抽出 12 Given the question generate a SPARQL query for Wikidata! Do not write comments. Example Question 1: {例1の質問⽂} Example SPARQL query 1: {例1のSPARQL} Example Question 2: {例2の質問⽂} Example SPARQL query 2: {例2の質問⽂} Example Question 3: {例3の質問⽂} Example SPARQL query 3: {例2の質問⽂} Question: {質問⽂} SPARQL query: Few-shot Learningのプロンプトテンプレート
RAGによるSPARQLクエリ⽣成 • 外部⽂書データの作成 • LC-QuAD 2.0の学習データセットから 質問⽂とSPARQLクエリのペア24180 件を抽出し、これを結合して単⼀の ⽂書として保存する • インデックスの作成 • Vector Store Indexを採⽤ • chunk_size=100, separator=“¥n¥n” • データ取得 • 類似度検索上位3個のノードを取得 14 Context information is below. --------------------- {上位3個のノード(チャンク)} --------------------- Given the context information and not prior knowledge, answer the question. Given the question generate a SPARQL query for Wikidata! Do not write comments. Question: {質問⽂} SPARQL query: RAGで最終的に作成されるプロンプトのテンプレート
成功例の考察 • RAGはFew-shotよりもコンテキスト 情報の質が⾼い • RAGでは質問⽂と類似度の⾼い上位k 個のノードデータをプロンプトに組み 込んでいる • ランダムに例を与えたFew-shotよりも 例⽰された質問⽂とSPARQLクエリが 正解に近い 17 Context information is below. --------------------- What is the position of Alvaro Uribe in Colombia SELECT ?value WHERE { wd:Q187413 p:P39 ?s . ?s ps:P39 wd:Q853475 . ?s pq:P2715 ?value} What is the position held by Mariano Rajoy who was elected in Spanish general election, 2016? SELECT ?obj WHERE { wd:Q10819 p:P39 ?s . ?s ps: P39 ?obj . ?s pq:P2715 wd:Q22812047 } What is the position held by Jacob Zuma whose series ordinal is 4? SELECT ?obj WHERE { wd:Q57282 p:P39 ?s . ?s ps: P39 ?obj . ?s pq:P1545 ?x filter(contains(?x ,’4’)) } --------------------- Given the context information and not prior knowledge, answer the question. Given the question generate a SPARQL query for Wikidata! Do not write comments. Question: What position does Iván Duque Máarquez hold at 2018-4-10? SPARQL: SELECT ?obj WHERE { wd:Q187413 p:P39 ?s . ?s ps :P39 ?obj . ?s pq:P580 ?date filter(?date >= "2018-04-10T00:00:00Z"ˆˆxsd:dateTime) } 正解クエリの実⾏結果と⼀致したときのプロンプト 正解クエリの実⾏結果と⼀致した出⼒クエリ
.jpeg){kind=avatar}
.jpeg){kind=avatar}
.jpeg){kind=avatar}
ease112
isidaitc
fufufukakaka
.png){kind=avatar}
researchconf
stktu
cheerfularge
shimacos
upura
temoki
smartfukushilab1
tatsuropianooo
lemiorhan
thekraken
bcantrill
colly
cromwellryan
jrom
ddemaree
brad_frost
danielanewman
jennybc
paulrobertlloyd
jensimmons