re:Inventに行ってきました - 気になった新サービス / AWS re:Invent2016 Participants LT

https://abeja-innovation-meetup.connpass.com/event/45987/

Transcript

1. re:Inventに⾏ってきました - 気になった新サービス - 株式会社Gunosy ⼩出 幸典
2. ⾃⼰紹介 • 名前 – ⼩出 幸典 （こいで ゆきのり） • 所属 – 株式会社Gunosy • プロビジョニング・デプロイフローの共通化とか • 過剰リソース警察、コスト削減おじさん • 好きなAWSサービス – OpsWorks, Lambda, Trusted Advisor, 最近はKinesisファミリー
3. 株式会社Gunosy – 「情報を世界中の⼈に最適に届ける」 • Gunosyは 情報キュレーションサービス「グノシー」と • 2016年6⽉1⽇にKDDI株式会社と共同でリリースした 無料ニュース配信アプリ「ニュースパス」を提供する • 会社です。「情報を世界中の⼈に最適に届ける」を ビジョンに活動しています。 ネット上に存在するさまざまな情報を、 独⾃のアルゴリズムで収集、評価付けを⾏い ユーザーに届けます。 情報キュレーションサービス 「グノシー」 200媒体以上のニュースソースをベースに、 新たに開発した情報解析・配信技術を⽤いて⾃動的に 選定したニュースや情報をユーザーに届けます。 無料ニュース配信アプリ 「ニュースパス」
4. 本⽇お話させていただく内容 今回のre:Inventで個⼈的に気になった新サービス （を、⾃社の状況と絡めながら）
5. Amazon Athena • S3上のデータにクエリ投げられるサービス – CSV, JSON, カラムナフォーマット – 通常のS3データ課⾦+読み込んだデータ量で課⾦ • GZIPやカラムナフォーマットで読み込みデータ量を抑えられる • 既に解説スライド・記事がたくさん上がっている – Gunosyでも使ってみたブログ書いています – もういいよね
6. 社内のとあるデータフロー • ⼀部ではありますが Raw log bucket Hive Metastore Airflow ETL Cluster Parquet bucket Analysis Cluster Redash etc… Job
7. Amazon Athenaが⼊ると • こんな感じでしょうか Raw log bucket Hive Metastore Airflow ETL Cluster Parquet bucket Athena Redash etc… Job
8. でも、、 • Metastoreが別のため、別途DDL操作が必要 Raw log bucket Hive Metastore Airflow ETL Cluster Parquet bucket Athena Redash etc… Job 何か Add Partition etc… Metastore (Hive Compatible) 既存資産を 活⽤したい！
9. 外部Metastoreの参照 ͝ݕ౼͓ئ͍͠·͢ʂ ʢػೳཁ๬ʣ
10. そういえば もうひとつ気になるものがありました
11. AWS Glue • Fully Managed ETL Service – Data Catalog • RDS/S3/Redshiftを統合 • JSON、CSV、Parquetなど、各種フォーマットに対応 – Job Authoring – Job Execution • 近⽇公開
12. ん…？これは…？ ここから先は妄想です （だったらいいなシリーズ）
13. 妄想）こんな感じでできたりしないかな…？ • ETLジョブの実⾏・管理を全てGlueで – ジョブ管理をフルマネージドで • AthenaのMetastoreをGlueのData Catalogで – 資料にはAthena書いてませんが…サポートしてください！ Raw log bucket Glue Parquet bucket Athena Redash etc… Glue Data Catalog
14. AWS GlueのAthena Support ͝ݕ౼͓ئ͍͠·͢ʂ ʢػೳཁ๬ʣ
15. AWS Glue ͓͖ͯ͞ɺ(MVFʹظ଴͍ͯ͠·͢ʂ ૣ͘ެ։͍ͯͩ͘͠͞ʂ
16. 終わりに • ご清聴ありがとうございました