2020.10-にゃーにゃーマップvol.4(Uber H3 Index)
Transcript
-
-
川や雪山で遊ぶこと JAWS-UG歴 : 約1年 @w2or3w 自己紹介
-
2019年〜10, 11, 12月 1つ目の作品『Mosaic』 ダッシュで制作 ＆進捗報告at勉強会 ↓ みなぎってきてる (37才)
-
4〜5月 2つ目の作品 『にゃーにゃーマップ』制作 ↓ ますますみなぎる 38才 となるか！？
-
-
• Stay NEAR, Enjoy NEAR (近くで楽しむ) がコンセプト • 絶賛学習 & 拡張中。 サーバーレスWebアプリ 『にゃーにゃーマップ』とは？ https://near-near-map.w2or3w.com
-
-
-
Service利用
-
-
#StepFunctions #Lambda #DynamoDB #DynamoDBStream #S3 #Athena #DataCatalog (近くの情報を取ってくるやつ) 今日のテーマ
-
#StepFunctions #Lambda #DynamoDB #DynamoDBStream #S3 #Athena #DataCatalog (近くの情報を取ってくるやつ) 今日のテーマ
-
-
-
ん ) 『にゃーにゃーマップ』vol.4 おさらい
-
-
-
-
-
緯度経度 • h3index9 • h3index8 • h3index7 • ： Local Secondary Index インポートするところ 『にゃーにゃーマップ』vol.4 店舗の位置 ↓
-
１．パーティションキー ２．パーティションキー ＋ ソートキー 『にゃーにゃーマップ』の キー と インデックス プライマリーキー : タイプ + GUID (余談 : 昔は電話番号にしてたけど辞めた ) セカンダリインデックス : タイプ + h3index9 : タイプ + h3index8 : タイプ + h3index7 この中にある(=h3index) 複数店舗情報をSelect !! ↑ タイプ (※テーブル作成時にしか作れない。 ) (※プライマリーキーは重複できない。 セカンダリインデックスは重複できる。 ) 『にゃーにゃーマップ』vol.4
-
# ( 1 + 6 + 12 = 19個の h3Index ) # 最低7回、最大19回 # DynamoDBからSelectしてくる！ 『にゃーにゃーマップ』vol.4
-
これぞサーバーレス !! / ※ データ量やアクセス量が増加し続けた場合、 どこかでサーバーレスではない方が安くなるポイントがあるんだろうなとは思います。
-
#StepFunctions #Lambda #DynamoDB #DynamoDBStream #S3 #Athena #DataCatalog (近くの情報を取ってくるやつ) 今日のテーマ
-
-
1. 2. のワークフローを Step Functionsで組み、 定期的に EventBridgeで実行する。 Event Bridge Step Functions
-
drink / life / mask / outdoor / hotspring / plant • title : 店舗名称 • address : 住所 (フォーマット特に指定なし) • tel : 電話番号 (ハイフン無し) • homepage : 店舗ホームページのアドレス • fb, insta, twitter : 各種SNSのアドレス • media1~5 : その他メディアのアドレス • locoguide_id : ロコガイドの混雑ランプ対応している場合はその ID • star : 認証店舗(1)やGoToEat(2)をビットフラグで保持 スクレイピングは Python の Beautiful Soup というライブラリを利用したよ
-
locoguide_id, star => csv値の値をそのままマージ • latlon : Google Places API「title address」で検索して取得する • tel, homepage : csv値 (無い場合 Google Places API 「title address」で検索して取得してみる) • fb, insta, twitter : csv値 ( + homepageのindexをクローリングして探してみる) • h3-9,8,7 : h3.geo_to_h3(lat, lon)で取得する • has_xframe_options : homepage, media1~5 レスポンスヘッダに「X-Frame-Options」があるかどうか？ (=IFrame表示を許可しているか？) クローリングだけでは捕りきれない情報はググって補完！ \ ないしょだよ /
-
検索力のあるナニカと同期させて、そちらを参照する。
-
レプリカ ↑ マスター インポートネコ （=・ω・） 電話番号で検索とか できるようになる。
-
-
( = 同時に大量のリクエストが発生しない & 多少遅くても問題ない ) から、採用できる。 S3 !! &
-
(Glue) type=food |- h3_9=892e6441a2fffff |- aaaa(guid).json |- bbbb(guid).json : h3(9)(=約300m圏内) を パーティションとして分割 select * from “table” where “type” = ‘food’ and “h3_9” = ‘892e6441a2fffff’ and “tel” = ‘0530000000’ limit 10 ちゃんとパーティションで絞り込んであ げないと料金がもったいない！ パーティション分割、大事！
-
S3にファイルを保存しておく。 2. Glueのクローラを作成し、実行する。 (入力元はS3、出力先は新規データカタログとする) 3. Athenaでクエリ出来ることを確認する。 ※インポートで発生するデータ同期時に、 パーティションが増えた場合はデータカタログへ追加する必要あり。 (そうしないとAthenaで参照できない) alter table "tablename" add if not exists partition ( “p_type”='food', “h3_9”='892e6441a2fffff' ) location 's3://bucketname/type=food/h3_9=892e6441a2fffff/'
-
マスター インポートネコ （=・ω・） 電話番号で検索とか できるようになる。 同期 (データ・パーティション) 検索ネコ (Ф∀Ф)
-
定期的に 1. 2. のワークフローを Step Functionsで実行する。 Event Bridge Step Functions
-
インポートする End Yes No
-
-
-
データ同期ネコ （*・ω・*） データカタログネコ （=・д・=）
-
w2or3w
mclloyd
jmmastey
hursman
lara
chrislema
keathley
malarkey
davidbonilla
ammeep
colly
akmur
zenorocha
