GROBIDを用いて論文PDF翻訳補助ツールを作成する

GROBID を用いて論文PDF 翻訳補助ツールを作成する松本涼

目次 1. はじめに 2. つくりたいもの 3. GROBID とは 4. 実装
5. 実際の使用感 6. 今後の課題

はじめに

自己紹介松本涼デザイン型AI 教育研究センター特任技術員創成科学研究科地域創成専攻 2 年（修士）
研究テーマ：深層学習を用いた音楽のジャンル変換 wav やmp3 などの楽曲データのジャンルを変換する楽曲データ [Rock] 楽曲データ [Hip-Hop] ジャンル変換

背景英語の論文を読む機会が多い英語が苦手・・・読むのに時間がかかる機械翻訳を使って読む

機械翻訳の利用 Google 翻訳や DeepL などそこそこ自然な翻訳が得られる英語で読むよりも早く理解できる PDF 形式の論文の翻訳に難あり

PDF ファイルの翻訳ファイルごと翻訳する (Google 翻訳 ) 翻訳文

PDF ファイルの翻訳不自然な翻訳になりがち文章内の改行が正しく認識されていない手作業で修正する必要あり

そのままコピペした場合

手作業で修正

PDF ファイルの翻訳文章コピペ補助ツール Shaper - dream-exp.net PDF 論文翻訳補助 | EVT1.COM
改ページ・脚注などの問題が残る PDF 論文翻訳補助 | EVT1.COM

つくりたいもの

つくりたいもの以下のような機能のツールを作成したい PDF ファイルを入力したら翻訳したものを出力翻訳文が正しいかどうか確認できるように、原文と対照して表示翻訳文はその場で編集可能

つくりたいもの PDF ファイルを入力したら翻訳したものを出力英語変換日本語機械翻訳にかける作業の自動化

つくりたいもの翻訳文が正しいかどうか確認できるように原文と対照して表示訳が正しいかどうか確認するための機能

つくりたいもの翻訳文はその場で編集可能訳に不自然な点を見つけたら修正できるようにする

GROBID とは

GROBID とは GROBID...GeneRation Of Bibliographic Data PDF のような生の文書の内容を抽出、解析、再構築するための機械学習ライブラリ
Java で書かれたものだが、 Python 用のクライアントが用意されているオープンソース https://github.com/kermitt2/grobid

GROBID とは GROBID では以下のようなことができる書誌情報（タイトル、抄録、著者、所属、キーワードなど）の抽出参考文献の抽出と解析論文中の引用コンテキスト認識と、その参考文献へのリンク著者名（姓、名、ミドルネーム）、所属、日付、住所など細かい情報の解析文書全体のセグメンテーションと、テキスト本文の構造化（段落、セクションタイトル、参考文献の吹き出し、図、表など）を含む、PDF
論文からの全文抽出様々な書誌情報が XML/TEI 形式に構造化されて抽出される

実装

実装 GROBID を用いて論文 PDF からテキストを抽出し機械翻訳にかけるための整形処理を行う以下のような流れのプログラムを作成する GROBID PDF の⼊⼒
本⽂抽出・構造化 PDF の⼊⼒整形した HTML ファイル

実装利用するライブラリ・プログラム等 GROBID grobid_client_python tei-xsl （teitohtml ） BeautifulSoup FastAPI Google
Chrome PDF ファイルからXML/TEI ファイルへの変換（抽出） GROBID のPython 用クライアント XML/TEI からHTML への変換（CLI ツール） HTML ファイルの整形ツールのWeb アプリ化入出力のインターフェイス・翻訳に利用

実装処理の流れ 1. GROBID サーバー＆Web アプリサーバー（FastAPI ）を起動 2. ブラウザ（Chrome ）のフォームからPDF
ファイルを受け取る 3. Python スクリプトでPDF をGROBID に入力 4. GROBID からの出力をHTML に変換（teitohtml ） 5. GROBID からの出力をPython （BeautifulSoup ）で整形 6. ブラウザに整形したHTML ファイルを返す 7. ブラウザの翻訳機能で翻訳する

実際の使用感

今後の課題図・表・数式などを見やすく表示する現状：文章だけしか抽出できていない GROBID は図・表・数式の出現する座標を取得できるので構造を保ったまま表示できるようにしたい翻訳品質の向上現状：Chrome の翻訳機能を利用 DeepL
等のAPI を利用するようにしたい編集機能の向上現状：HTML5 の編集機能(contentEditable 属性) を利用より使いやすい編集機能にしたい

GROBIDを用いて論文PDF翻訳補助ツールを作成する

GROBIDを用いて論文PDF翻訳補助ツールを作成する

matsumototo180

Other Decks in Programming

Featured

Transcript