Share
Embed
Transcript
20 slides
-
大日本国語辞典データ 5 既に、見出し平仮名だけで画面を検索できるシステムがユーザによって 公開されている(大日本國語 辭典検索(オンライン版)修訂)が、データ の詳細については明らかでないので、今回は、自前で量の少ない初版デ ータでやり直した。 info:ndljp/pid/954645 大日本国語辞典(初版)4冊 (今回利用)
info:ndljp/pid/1871514 大日本国語辞典(初版)4冊 info:ndljp/pid/18700620 大日本国語辞典(修訂)5冊 -
データの取得⽅法 7 1.4. 全文テキストデータ一括ダウンロードAPI(zip形式) 指定したPID資料全体のOCR全文テキストデータを取得できます。このAPIは、OCR全文テキス トデータと対応する座標を記述したjson形式の情報と、フラットなOCR全文テキストデータの 情報をzip形式に圧縮して取得します。フラットなOCR全文テキストデータを取得できる点及び 当該資料全コマのOCR全文テキストデータを連結したファイルを同時に取得できる点の2点が 1.3全文テキストデータ一括ダウンロードAPI(json)とは異なります。 クエリの例:
https://lab.ndl.go.jp/dl/api/book/fulltext/954645 (国会図書館webサイトより引用) -
分析・処理する上での問題点 11 OCRが斜めになっているため、座標位置が水平でない。回転補正 が必要。 欄外書き込みなどがあると、それがテキスト化されていてノイズ になる 辞書は4段であるが、段の大きさが異なることがあり、またページ によっても異なる。 図によってテキストの秩序が乱されている部分がある。 フォントが違うため、組版時の都合で、座標が意図と異なるもの
になっている。 xmin等、一部の座標が欠落しているものがある。 ORCエラー(文字化け)「うんちん → らんちん」等 -
取得したCSV辞書データ 13 あい-あい,一 劃 茂る 。 又、さ かんに多き貌。 詩 大羅「
王多吉士二 楚 「 夫 而曼著 」 あい-あい,一哀哀 0 深く哀しむ 貌. 詩 小〓「哀哀父母、生我、 勞勞」 あい-あい,惑 馬にかくるかけ 。 太 子 傳「騒駒 此不進、太子加 鞭、 巡猶 駐、太子自言哀哀(乃イ)」 あいいく,"王憚詩「愛育總 君父聖、論思 つること。 一愛育 かはゆがりてそだ 不出 堂公こ (40, むらがり立ち" あい-うん, 江「〓雲をさまりて、海上に たる雲。 一 雲 一つの島をなせり」 いつくしみよろこ あい-えつ, 書温▪「見者皆愛 之二 ぶこと。 一愛 あいえん-きえん,一愛 機 (49 佛語。 合ふも合はぬも、 によるとい ふこと。 〓 轉じて、合 奇 (〓〓ニューシ)とし、 不思議なる の義。 男女開また友だちの 交はり 深きにいふ。 あい-おん,一哀音 名 かなしげなる 左 傳電話本社「怨而不言。社有有音音」 あい-かう,本 あい-かう,一愛幸 愛しいつくしむこ と 寵愛。 一哀泣 かなしみなくこと。 あい-きふ,後漢書 「仰仰 點屈、若哀泣之容こ あい-きゃら,[愛敬 ▪ 色にか はゆげのあること。 あいぎやう。 宇宙集 上「いとうれしとおぼしてゑみ給へる、 いとはなやかに見まほしう、あいきやう こぼるばかりに ておはするを」 源堵案「さ しもあるまじき事に、かどかどしくくせ をつけ、あいきやうなく人をもてはなる る心あるは」 巳世 のよきこと。 一五 あいきゃり づきあひ 愛 敬附合 なみな のつきあひ。 深からぬ交際。 みの交際。 博を小女 郞波枕 をてき の外は、愛敬づきあひ·始末·貯ヘ」 あいきゃう-け,愛敬毛 (4) 頭髪のおくれ毛 いち、 あいきゃう-しゃうばい 一愛敬商 賣 (30) 妓·妓 樓·料理屋などの類。 客商 賣。 あいきゃう-づく 愛敬附 (自動日) いきやう出 で初む。 にあいきやうづき給へり」 あいきゃうの-まもり 國 牛丼 かくる守り札。 夫婦愛敬の守。 あいきゃう-の-あち 愛敬餅 八名 かのもちひ(三日餅)を見よ あいきゃう-び,愛敬日 (英 Britanical grace) (4) 恩惠日。 を猶豫する日 數。 あいきゃう-べに,愛敬紅 (イ) り又は耳 などにつくる紅。 あいきゃう-ぼくろ,愛敬 ⿊子 に見するほくろ。 -
生成AIにおけるMCPの利用 16 生成AI自体は、知識を覚えさせるには不向きの点がある。誤った知識 (ハルシネーション)の問題やどんな知識を使っているかが不明確。 正確な知識の利用には、ベクトル検索を用いたRAGがよく使われる。意 味検索でデータベースを探して、それを応用して生成。 MCP(Model Context Protocol)という新しいプロトコルが開発さ れ、各種サーバーにアクセスして知識を増強できる。
語学的には、SQLのデータベースにアクセスすることで、従来の辞書的 検索が可能になる。 近藤の試行例(日本語歴史コーパスをMCPでアクセスするもの) 「AI中納言を作るーClaudeによるSQLコーパス操作ー」(note.com)