60万を超える地物の属性検索・描画に対応した文化財総覧WebGISの開発

奈良文化財研究所は、2021年7月に文化財総覧WebGISを公開しました。研究所保有のデータやオープンデータなどを整理し、全国の文化財に関するデータ約61万件をWebGISで表示できます。全国47都道府県の遺跡や建造物などの情報が対象です。さらに文化財の所在地、種別や時代等によって検索できるようにしました。文化財報告書が電子公開されているものであれば、報告書PDFを閲覧できるページに遷移もできます。61万件のデータを高速に表示する技術等もご紹介します。

Transcript

1. 60万を超える地物の属性検索・描画に 対応した文化財総覧WebGISの開発
2. 発表の構成 第1部：文化財総覧WebGISの紹介 発表者：高田祐一（奈良文化財研究所） 第2部：バックエンドの仕組み 発表者：西尾悟（MIERUNE Inc.）
3. 文化財調査・調査技術開発 データベース・自治体担当者研修 etc 国立文化財機構 奈良文化財研究所 遺跡GIS課程　2021年11月15日～19日 QGIS演習の様子 ▪研修講師（敬称略） 藤井幸司（文化庁） 清水乙彦（国土地理院） 森本幹彦（福岡市） 喜多耕一（北海道） 石井淳平（厚沢部町） 野口淳・国武貞克・高田祐一（奈文研） 【文化財情報研究室】 ・DＢ構築 ・文化財分野のデジタルデータに 関する調査研究 ・自治体職員研修
4. 図書系情報基盤 ディスカバリーサービス 地公体（都道府県・市町村）・法人調査組織 ・博物館・大学・学会等 文化財情報の流通（データの流れ） 機関ＨＰ ＨＰアクセスＵＰ 書誌 遺跡抄録 文化財イベント 文化財動画 文化財論文 遺跡 抄録 【開発中】WebGIS 書誌 多様な情報 準備中 欧州の考古学データポータル 準備中 時空間 ②本から地図へ 地図から本へ 書誌情報 ①すべての文化財コンテ ンツにＩＤ（ＤＯＩ）を与え る。つなげる。
5. ▪ユーザ側
 入手困難な報告書を閲覧可能
 発掘調査報告書の文章に対し全文検索可 能
 欲しい報告書PDFをダウンロード可能
 
 ▪発行機関側
 無償で文化財関係ＰＤＦを登録可能
 ダウンロード状況の統計データの閲覧可能 
 自機関へのHPリンク設定可能
 イベント情報の登録可能 
 
 全国遺跡報告総覧の概要　 https://sitereports.nabunken.go.jp/ja 地理院タイル
6. https://heritagemap.nabunken.go.jp/ 公開日時：２０２１年７月２０ 日（火） 【データ件数と範囲】 全国の文化財に関するデータ 約 61 万件 を WebGIS で表示できます。 全国 47 都道府県の遺跡や建造物などの情報が対象です。 【検索機能】 文化財の所在地 、種別や 時代等によって検索できるようにしました。 【文化財報告書との連携】 文化財報告書が電子公開されているものであれば、全国遺跡報告総覧の当該報告 書のページへ遷移し、報告書を閲覧することができます。 ★報告書を読み込んで頭の中で位置情報を再構成するのは困難だった！改善！ 文化財総覧WebGIS
7. 機能：地図の表示 様々な背景地図を表示可能 【国土地理院】 地理院地図（標準地図）、地理院地図（単色地図）、地理院地図（白地図）、地理院写真（全国最新写 真）、空中写真・衛星画像（2007年～）、簡易空中写真（2004年～）、国土画像情報（第4期 : 1988～1990年撮影）、空中写真（1961～1969年）、空中写真（1945～1950年）、色別標高図、傾斜量 図、活断層図（都市圏活断層図）、治水地形分類図 初版（1976～1978年）、明治期の低湿地 【産業総合研究所】地質図 【奈良文化財研究所】奈良盆地空中写真（1955～1962年）、遺構図（平城宮跡）、地形図（平城京跡 ：1955～1962年） 【兵庫県】兵庫県CS立体図
8. データ　種類と件数 〇データソース 文化庁国指定文化財データ　1 国交省都道府県指定文化財データ　1 都道府県で公開している遺跡地図オープンデータ　6 自治体オープンデータ　107 奈文研遺跡データベースデータ　1 奈文研報告書抄録データベースデータ　1 〇データ件数 遺跡・文化財データ件数　61万件 木簡データ　約3万件
9. 〇遺跡位置情報がバラバラ 日本測地系/世界測地系 10進法/60進法 単純ミス 奈文研による修正 （検知は極力自動化・修正は人力） ・形式不正：修正完了 ・海上分：修正完了 ・市町村：修正完了（市町村コードごとに確 認していく） 生データ（QGIS表示） データクレンジングのため Webシステムに取り込み ・複数人で修正 ・入力値自動チェック ・不備データ表示 完了！！！ ただし市町村内での間違い は外部からは検知困難 データクレンジングの道のり
10. https://heritagemap.n abunken.go.jp/
11. 整備前の 発掘成果を 閲覧できる
12. 遺跡立地：奈良時代の集落遺跡×色別標高図×傾斜量図 荒川 JR赤羽駅
13. まとめ • 大量の文化財データを地理院タイル上で掲載 • 地図から文化財報告書、文化財報告書から地図へという流れを創出
14. 文化財総覧WebGISを支える バックエンドの仕組み
15. 文化財総覧WebGISの技術要件
17. ・約60万件の地物を高速に検索・表示 （奈文研からの要件：高速表示が必須！ 使っていて気持ちいいシステムであること！） ・データはどんどん更新されていく ・利用者数が予想できない
18. 文化財総覧WebGISの技術的な課題
19. 約60万件の地物を高速に検索・表示 →フロントエンドで対応可能？ ・GeoJSONで行うのはほぼ不可能 →MapLibre GL JSでも50万件「描画」で限界 ・100MB級のファイルになる →ダウンロードに数十秒かかる GeoJSONは無理
20. 約60万件の地物を高速に検索・表示 →ベクトルタイルは？ ・検索にヒットした地物のみ表示する必要がある ・低ズームでは地物数が膨大でマシンに負荷がか かる ・データが更新されるのでタイル作成が辛い バックエンドは必須
21. 約60万件の地物を高速に検索・表示 →サーバーで検索・GeoJSONを返却？ ・検索自体は可能 →ただし全件ヒットすると結局ファイルサイズが… ・画面範囲のBBOXを検索条件に付与 →低ズームが… ・低ズームにはクラスター表示が必須！ クラスタリングが必須
22. 約60万件の地物を高速に検索・表示 →クラスター表示って？ ・一定範囲の地物数をまとめてポイント表示 ・少なければ小さく、多ければ大きく表示 ・範囲内の地物数は円の中に表示 見やすく、かつ高速
23. 約60万件の地物を高速に検索・表示 →クラスター表示ってどうやる？ ・専用のライブラリを用いフロントでクラスタリング →前述の通り、負荷が大きい ・予めクラスタリングされた地物を作成する →データ更新が大変 ・PostGISでリアルタイムに検索・クラスタリング →パフォーマンス・実装面に不安があった クラスター表示は、難しい
24. Elasticsearch
25. Elasticsearchって？ ・言わずと知れた全文検索エンジン ・大量の情報を高速に検索 ・分散配置で高速・高可用！ ・使い方がシンプル これだけじゃない！
26. Elasticsearchって？ ・地理空間情報を扱える！ ・クラスター表示に対応！ ・BBOXによるフィルタリング可能！ 文化財総覧のために生まれたOSSと行っても過言ではない
27. 検索フロー これを画面移動のたびに繰り返す フロントエンド WebAPI Elasticsearch 検索キーワード BBOX ズームレベル キーワードのパース クラスタリング可否指定 ヒットしたドキュメントを返却 GeoJSONでレスポンス
28. 負荷対策は？ ・AWSを活用 200万/日リクエストに耐え切った… CloudFront ALB target group OpenSearch
29. まとめ ・Elasticsearchで高速な検索に対応 ・クラスター表示で大量データもスムーズに描画 ・適切なアーキテクチャ選定でデータ更新にも対応 ・AWSで高い負荷にも柔軟にスケーリング