Upgrade to Pro — share decks privately, control downloads, hide ads and more …

60万を超える地物の属性検索・描画に対応した文化財総覧WebGISの開発

nokonoko1203
December 04, 2021

 60万を超える地物の属性検索・描画に対応した文化財総覧WebGISの開発

奈良文化財研究所は、2021年7月に文化財総覧WebGISを公開しました。研究所保有のデータやオープンデータなどを整理し、全国の文化財に関するデータ約61万件をWebGISで表示できます。全国47都道府県の遺跡や建造物などの情報が対象です。さらに文化財の所在地、種別や時代等によって検索できるようにしました。文化財報告書が電子公開されているものであれば、報告書PDFを閲覧できるページに遷移もできます。61万件のデータを高速に表示する技術等もご紹介します。

nokonoko1203

December 04, 2021
Tweet

More Decks by nokonoko1203

Other Decks in Technology

Transcript

  1. 60万を超える地物の属性検索・描画に
    対応した文化財総覧WebGISの開発

    View full-size slide

  2. 発表の構成
    第1部:文化財総覧WebGISの紹介
    発表者:高田祐一(奈良文化財研究所)
    第2部:バックエンドの仕組み
    発表者:西尾悟(MIERUNE Inc.)

    View full-size slide

  3. 文化財調査・調査技術開発
    データベース・自治体担当者研修 etc
    国立文化財機構
    奈良文化財研究所
    遺跡GIS課程 2021年11月15日~19日
    QGIS演習の様子
    ■研修講師(敬称略)
    藤井幸司(文化庁)
    清水乙彦(国土地理院)
    森本幹彦(福岡市)
    喜多耕一(北海道)
    石井淳平(厚沢部町)
    野口淳・国武貞克・高田祐一(奈文研)
    【文化財情報研究室】
    ・DB構築
    ・文化財分野のデジタルデータに
    関する調査研究
    ・自治体職員研修

    View full-size slide

  4. 図書系情報基盤 ディスカバリーサービス
    地公体(都道府県・市町村)・法人調査組織
    ・博物館・大学・学会等
    文化財情報の流通(データの流れ)
    機関HP
    HPアクセスUP
    書誌
    遺跡抄録
    文化財イベント
    文化財動画
    文化財論文
    遺跡
    抄録
    【開発中】WebGIS
    書誌
    多様な情報 準備中
    欧州の考古学データポータル
    準備中
    時空間
    ②本から地図へ
    地図から本へ
    書誌情報
    ①すべての文化財コンテ
    ンツにID(DOI)を与え
    る。つなげる。

    View full-size slide

  5. ■ユーザ側

    入手困難な報告書を閲覧可能

    発掘調査報告書の文章に対し全文検索可
    能

    欲しい報告書PDFをダウンロード可能


    ■発行機関側

    無償で文化財関係PDFを登録可能

    ダウンロード状況の統計データの閲覧可能 

    自機関へのHPリンク設定可能

    イベント情報の登録可能 


    全国遺跡報告総覧の概要 
    https://sitereports.nabunken.go.jp/ja
    地理院タイル

    View full-size slide

  6. https://heritagemap.nabunken.go.jp/
    公開日時:2021年7月20 日(火)
    【データ件数と範囲】
    全国の文化財に関するデータ 約 61 万件 を WebGIS で表示できます。
    全国 47 都道府県の遺跡や建造物などの情報が対象です。
    【検索機能】
    文化財の所在地 、種別や 時代等によって検索できるようにしました。
    【文化財報告書との連携】
    文化財報告書が電子公開されているものであれば、全国遺跡報告総覧の当該報告
    書のページへ遷移し、報告書を閲覧することができます。
    ★報告書を読み込んで頭の中で位置情報を再構成するのは困難だった!改善!
    文化財総覧WebGIS

    View full-size slide

  7. 機能:地図の表示
    様々な背景地図を表示可能
    【国土地理院】
    地理院地図(標準地図)、地理院地図(単色地図)、地理院地図(白地図)、地理院写真(全国最新写
    真)、空中写真・衛星画像(2007年~)、簡易空中写真(2004年~)、国土画像情報(第4期 :
    1988~1990年撮影)、空中写真(1961~1969年)、空中写真(1945~1950年)、色別標高図、傾斜量
    図、活断層図(都市圏活断層図)、治水地形分類図 初版(1976~1978年)、明治期の低湿地
    【産業総合研究所】地質図
    【奈良文化財研究所】奈良盆地空中写真(1955~1962年)、遺構図(平城宮跡)、地形図(平城京跡
    :1955~1962年)
    【兵庫県】兵庫県CS立体図

    View full-size slide

  8. データ 種類と件数
    〇データソース
    文化庁国指定文化財データ 1
    国交省都道府県指定文化財データ 1
    都道府県で公開している遺跡地図オープンデータ 6
    自治体オープンデータ 107
    奈文研遺跡データベースデータ 1
    奈文研報告書抄録データベースデータ 1
    〇データ件数
    遺跡・文化財データ件数 61万件
    木簡データ 約3万件

    View full-size slide

  9. 〇遺跡位置情報がバラバラ
    日本測地系/世界測地系
    10進法/60進法
    単純ミス
    奈文研による修正
    (検知は極力自動化・修正は人力)
    ・形式不正:修正完了
    ・海上分:修正完了
    ・市町村:修正完了(市町村コードごとに確
    認していく)
    生データ(QGIS表示)
    データクレンジングのため
    Webシステムに取り込み
    ・複数人で修正
    ・入力値自動チェック
    ・不備データ表示
    完了!!!
    ただし市町村内での間違い
    は外部からは検知困難
    データクレンジングの道のり

    View full-size slide

  10. https://heritagemap.n
    abunken.go.jp/

    View full-size slide

  11. 整備前の
    発掘成果を
    閲覧できる

    View full-size slide

  12. 遺跡立地:奈良時代の集落遺跡×色別標高図×傾斜量図
    荒川
    JR赤羽駅

    View full-size slide

  13. まとめ
    ● 大量の文化財データを地理院タイル上で掲載
    ● 地図から文化財報告書、文化財報告書から地図へという流れを創出

    View full-size slide

  14. 文化財総覧WebGISを支える
    バックエンドの仕組み

    View full-size slide

  15. 文化財総覧WebGISの技術要件

    View full-size slide

  16. ・約60万件の地物を高速に検索・表示
    (奈文研からの要件:高速表示が必須!
    使っていて気持ちいいシステムであること!)
    ・データはどんどん更新されていく
    ・利用者数が予想できない

    View full-size slide

  17. 文化財総覧WebGISの技術的な課題

    View full-size slide

  18. 約60万件の地物を高速に検索・表示
    →フロントエンドで対応可能?
    ・GeoJSONで行うのはほぼ不可能
    →MapLibre GL JSでも50万件「描画」で限界
    ・100MB級のファイルになる
    →ダウンロードに数十秒かかる
    GeoJSONは無理

    View full-size slide

  19. 約60万件の地物を高速に検索・表示
    →ベクトルタイルは?
    ・検索にヒットした地物のみ表示する必要がある
    ・低ズームでは地物数が膨大でマシンに負荷がか
    かる
    ・データが更新されるのでタイル作成が辛い
    バックエンドは必須

    View full-size slide

  20. 約60万件の地物を高速に検索・表示
    →サーバーで検索・GeoJSONを返却?
    ・検索自体は可能
    →ただし全件ヒットすると結局ファイルサイズが…
    ・画面範囲のBBOXを検索条件に付与
    →低ズームが…
    ・低ズームにはクラスター表示が必須!
    クラスタリングが必須

    View full-size slide

  21. 約60万件の地物を高速に検索・表示
    →クラスター表示って?
    ・一定範囲の地物数をまとめてポイント表示
    ・少なければ小さく、多ければ大きく表示
    ・範囲内の地物数は円の中に表示
    見やすく、かつ高速

    View full-size slide

  22. 約60万件の地物を高速に検索・表示
    →クラスター表示ってどうやる?
    ・専用のライブラリを用いフロントでクラスタリング
    →前述の通り、負荷が大きい
    ・予めクラスタリングされた地物を作成する
    →データ更新が大変
    ・PostGISでリアルタイムに検索・クラスタリング
    →パフォーマンス・実装面に不安があった
    クラスター表示は、難しい

    View full-size slide

  23. Elasticsearch

    View full-size slide

  24. Elasticsearchって?
    ・言わずと知れた全文検索エンジン
    ・大量の情報を高速に検索
    ・分散配置で高速・高可用!
    ・使い方がシンプル
    これだけじゃない!

    View full-size slide

  25. Elasticsearchって?
    ・地理空間情報を扱える!
    ・クラスター表示に対応!
    ・BBOXによるフィルタリング可能!
    文化財総覧のために生まれたOSSと行っても過言ではない

    View full-size slide

  26. 検索フロー
    これを画面移動のたびに繰り返す
    フロントエンド
    WebAPI
    Elasticsearch
    検索キーワード
    BBOX
    ズームレベル
    キーワードのパース
    クラスタリング可否指定
    ヒットしたドキュメントを返却
    GeoJSONでレスポンス

    View full-size slide

  27. 負荷対策は?
    ・AWSを活用
    200万/日リクエストに耐え切った…
    CloudFront ALB
    target group
    OpenSearch

    View full-size slide

  28. まとめ
    ・Elasticsearchで高速な検索に対応
    ・クラスター表示で大量データもスムーズに描画
    ・適切なアーキテクチャ選定でデータ更新にも対応
    ・AWSで高い負荷にも柔軟にスケーリング

    View full-size slide