Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Google Cloud Next '19 Summary: BigQuery BI Engine, AutoML, Data Fusion

kenz
April 24, 2019

Google Cloud Next '19 Summary: BigQuery BI Engine, AutoML, Data Fusion

Summary of features announced in Google Cloud Next'19. BigQuery BI Engine, AutoML (Video Intelligence, Tables), and Data Fusion is explained.
The slide is in Japanese. LMK if you want one in English:)

kenz

April 24, 2019
Tweet

More Decks by kenz

Other Decks in Technology

Transcript

  1. Next ‘19 @ SF BigQuery BI Engine, AutoML Tables, Data

    Fusion GCPUG横浜 2019 Apr 24, 2019 @kenz 1
  2. About me • 米川 賢治 @ GCPUG横浜 / JTUG オーガナイザ

    • エンジニア • 好きなもの ◦ GCP, G Suite, ML, Go, Python, Vim, Zsh, BSD ◦ 登山、ロッククライミング、キャンプ、スノボ • 苦手なもの ◦ 敬語 • https://www.linkedin.com/in/kenjiyonekawa/ 2
  3. 本スライドで知れること、知れないこと 知れること • BigQuery BI Engine、AutoML Video Intelligence/Tables、Data Fusion の概要

    • AutoML Tables使った感じ • Data Fusion使った感じ • BigQuery BI Engine、AutoML Tables は良さそう。 3 知れないこと • AutoML Tablesの詳細(公開されてな い) • Data Fusionのスケジューリング /拡 張。(試せてない)
  4. AutoML Video Intelligence • 動画のバイナリ/マルチクラス、マルチラベル分類をする教師あり学習。 • • 例で挙げられているユースケースは、サッカーの試合の分析のため、動画へ 自動でラベルをつける処理等 •

    • • • 参考で必要とされているデータ: ◦ クラス数が少ない場合 : クラスごとに200 ◦ 50クラス以上やクラスが似てる場合 : クラスごとに1,000+ • それなりのデータ/ラベルが必要。 15
  5. AutoML Tables • 構造化データの特定カラムを推測するAutoML。 • 無料枠がある!! ◦ 6時間のトレーニング ◦ と

    ◦ 6時間のバッチプレディクション ◦ ◦ 実行時間が制御できるので、コスト試算できる • モデルのexportは今の所できない。 • こっち試してみました。 16
  6. 確認したかったこと • お手軽に使えるものなのか • 精度 • モデル作成にかかる時間 • モデル作成にかかるお金 28

    お手軽に使える! 特徴量抽出もAutoMLされるので、どこまでデータ処理 しておけばいいのかは要調査。 ほぼ未処理データなのに精度高い。 モデル構築: 1.1hr (指定は6hrなので途中で学習完了した模様。 ) \12,799 ???? 無料枠。。?
  7. コンポーネント • Data FusionのインスタンスはGKE、CloudSQL、GCS、PD、KMS、 Elasticsearch等が利用されている。 ◦ テナントプロジェクト内にデプロイされるので気にする必要はない。 ◦ システム系、UIはGKEが利用され、メタデータ管理に他サービスが利用されている。 ◦

    • 実際のパイプライン処理の実行にはdataprocが使われる。自分で指定する OR 実行時にスピンアップ/ダウンしてもらうことが可能。 ◦ dataflowになったらもっとスケール、コスト面で良さそう。 32
  8. 感想 • GUIでそこそこのパイプラインは作れる。 • パイプライン作成中のエラーチェックは良くない。 ◦ GCSのスキーマ指定やパイプラインの I/Oのつなぎで、作成中はエラーでずにデプロイでき る->実行するとこけることが何度か。。 ◦

    今回作ったのぐらいなら手組みの方が楽そう。 • Wranglerの機能がいまいち、、dataprepつなげて欲しい。 ◦ 初め入れてみようかと思ったが、触ってみて断念。 • 今回拡張、スケジュールは試せてないです。 51