Slide 1
Slide 1 text
1
ソフトバンク株式会社
クラウドエンジニアリング本部PaaSエンジニアリング統括部
ソリューションアーキテクト部ソリューションアーキテクト1課
赤羽 啓
S3からBigQueryへ
閉域ネットワーク経由で
データ転送する方法
Slide 2
Slide 2 text
2
S3(AWS)とBigQuery(GoogleCloud)を
閉域ネットワークで接続、データ転送の検証しました
トークテーマ
OnePortを使ったクラウド接続手順もご紹介します。
Slide 3
Slide 3 text
赤羽 啓 Kei Akahane
⚫ SoftBank 株式会社
⚫ ソリューションアーキテクト
プロダクト技術検証、ソリューション開発、顧客提案
⚫ 前職は社内SE
海外含めたネットワーク全体の設計構築を担当
⚫ 通信キャリア伝送路構築の経験もあり
3
Slide 4
Slide 4 text
4
アジェンダ
①検証経緯・背景
②S3からBigQueryへの転送パターン
③接続検証(クラウド間接続/データ転送)
④検証のまとめ
⑤OnePortの画面(AWS接続例)
Slide 5
Slide 5 text
5
検証経緯・背景
AWSのS3のデータをBigQueryへ転送して処理をしたい
(懸念点)
・大容量データの転送時間(遅延・品質)
・より安全な転送方法がないか
お客さま
インターネット
AWS S3
(オブジェクトストレージ)
Google Cloud BigQuery
(データ分析)
Slide 6
Slide 6 text
6
転送パターン①インターネット経由での転送
構成のしやすさ〇 / 通信品質△ / セキュリティ△
(暗号化はされています)
• 一般的な転送方法なので情報が多い
• ネットワーク設計等は必要なし
インターネット
AWS S3
(オブジェクトストレージ)
Google Cloud BigQuery
(データ分析)
Slide 7
Slide 7 text
7
転送パターン②インターネットVPN経由での転送
インターネット
AWS S3
(オブジェクトストレージ)
Google Cloud BigQuery
(データ分析)
IPsecVPN
構成のしやすさ△ / 通信品質△ / セキュリティ〇
• VPNGWどうしの接続情報は多い。
• インターネットを使うため品質は向上しない。
Slide 8
Slide 8 text
8
転送パターン③閉域ネットワーク経由での転送
閉域
ネットワーク
AWS S3
(オブジェクトストレージ)
Google Cloud BigQuery
(データ分析)
構成のしやすさ× / 通信品質〇 / セキュリティ〇
事業所
・通信品質・セキュリティ面で優れる構成
・拠点間通信を含めた全体設計が必要
Slide 9
Slide 9 text
9
OnePort マルチクラウドアクセスとは
https://www.softbank.jp/biz/services/network/cloud-connect/
Slide 10
Slide 10 text
10
転送パターン④閉域ネットワーク(OnePort マルチクラウドアクセス)経由
OnePort
AWS S3
(オブジェクトストレージ)
Google Cloud BigQuery
(データ分析)
構成のしやすさ〇 / 通信品質〇 / セキュリティ〇
• 導入が簡単(インターネットVPNより楽)
• エンドエンドでプライベート通信が可能
※以降マルチクラウドアクセス=MCA
API API
管理画面からクラウド接続ができる
Slide 11
Slide 11 text
11
検証内容
①AWSとGoogleCloudをOnePort(閉域ネットワーク)
で接続
②S3からBigQueryへOnePort経由でデータ転送
Slide 12
Slide 12 text
12
S3
(オブジェクトストレージ)
OnePort
VPC
BigQuery
(データ分析)
VPC
GoogleCloud
AWS
インターネット
検証環境
Slide 13
Slide 13 text
13
①AWSとGoogleCloudをOnePortで接続する
S3
(オブジェクトストレージ)
OnePort
VPC
BigQuery
(データ分析)
VPC
GoogleCloud
AWS
インターネット
API API
管理画面
で設定
Slide 14
Slide 14 text
14
S3
(オブジェクトストレージ)
OnePort
VPC
BigQuery
(データ分析)
VPC
GoogleCloud
AWS
インターネット
API API
管理画面
で設定
①AWSとGoogleCloudをOnePortで接続する
Slide 15
Slide 15 text
15
S3
(オブジェクトストレージ)
OnePort
VPC
BigQuery
(データ分析)
VPC
GoogleCloud
AWS
インターネット
API API
管理画面
で設定
数分～数十分で完成。クラウド側のゲートウェイも自動で作成される。
①AWSとGoogleCloudをOnePortで接続する
Slide 16
Slide 16 text
16
S3
(オブジェクトストレージ)
OnePort
VPC
BigQuery
(データ分析)
VPC
GoogleCloud
AWS
インターネット
pingOK
EC2
(仮想マシン)
Compute Engine
(仮想マシン)
①AWSとGoogleCloudをOnePortで接続する
Slide 17
Slide 17 text
17
②S3からBigQueryへOnePort経由でデータ転送する
S3
(オブジェクトストレージ)
OnePort
VPC
BigQuery
(データ分析)
VPC
GoogleCloud
AWS
インターネット
インターネット上のサービス
EC2
(仮想マシン)
Compute Engine
(仮想マシン)
Slide 18
Slide 18 text
18
S3
(オブジェクトストレージ)
OnePort
VPC
EC2
(仮想マシン)
BigQuery
(データ分析)
VPC
GoogleCloud
AWS
Private Service
Connect
Private Link
Compute Engine
(仮想マシン)
インターネット
②S3からBigQueryへOnePort経由でデータ転送する
Slide 19
Slide 19 text
19
S3
(オブジェクトストレージ)
OnePort
VPC
EC2
(仮想マシン)
BigQuery
(データ分析)
VPC
GoogleCloud
AWS
Private Service
Connect
Private Link
Compute Engine
(仮想マシン)
インターネット
②S3からBigQueryへOnePort経由でデータ転送する
Slide 20
Slide 20 text
20
S3
(オブジェクトストレージ)
OnePort
VPC
EC2
(仮想マシン)
BigQuery
(データ分析)
VPC
GoogleCloud
AWS
Private Service
Connect
Private Link
Compute Engine
(仮想マシン)
インターネット
②S3からBigQueryへOnePort経由でデータ転送する
Slide 21
Slide 21 text
21
S3
(オブジェクトストレージ)
OnePort
VPC
EC2
(仮想マシン)
BigQuery
(データ分析)
VPC
GoogleCloud
AWS
Private Service
Connect
Private Link
Compute Engine
(仮想マシン)
インターネット
S3連携するときにインターネット経由のAPI連携をするため、
OnePortを通らずデータ転送してしまう・・。
BigQuery Data Transfer Service
②S3からBigQueryへOnePort経由でデータ転送する
Slide 22
Slide 22 text
22
S3
(オブジェクトストレージ)
OnePort
VPC
EC2
(仮想マシン)
BigQuery
(データ分析)
VPC
GoogleCloud
AWS
Private Service
Connect
Private Link
Compute Engine
(仮想マシン)
IPアドレス
②S3からBigQueryへOnePort経由でデータ転送する
①S3をマウント
③bqコマンド(bq load)で転送
※PSCのプライベートIPに向ける
②Google Cloud SDKを
インストール
転送OK
Slide 23
Slide 23 text
23
閉域接続検証/S3→BQ転送検証でわかった事
検証のまとめ
① クラウド間接続はOnePortを使えば簡単
インターネットVPNより簡単
プロバイダー調整不要なため自由に検証できる
(従来の閉域接続は「手続き」の比重が大きかった印象)
② サービス間連携は知識や工夫が必要
S3,BigQueryなど各プロダクトの理解が必要
Slide 24
Slide 24 text
24
OnePortマルチクラウドアクセスでのAWS接続
Slide 25
Slide 25 text
構成・環境例（OnePort ダイレクトアクセスからの切替）
AWS 東京リージョン
OnePort
マルチクラウドアクセス
OnePort作業による構築範囲
構築の範囲
サブ
メイン VIF
VIF
DXGW
VPC
管理画面
で設定
AWSのDXGW作成・VIF接続まで自動で構築完了！
Slide 26
Slide 26 text
26
ログイン画面
Slide 27
Slide 27 text
27
ダッシュボード
Slide 28
Slide 28 text
28
クラウド接続画面
Slide 29
Slide 29 text
29
OnePort MCAクラウド接続の作成②
任意の名称
Slide 30
Slide 30 text
30
OnePort MCAクラウド接続の作成②
任意の名称
Slide 31
Slide 31 text
31
プロビジョニング状況の確認②
Slide 32
Slide 32 text
構成・環境例（OnePort ダイレクトアクセスからの切替）
AWS 東京リージョン
OnePort
マルチクラウドアクセス
構築の範囲
OnePort作業による構築範囲
サブ
メイン VIF
VIF
DXGW
VPC
管理画面
で設定
15分程度で作成できました！
同様の手順で他クラウドへの接続が可能です。
Slide 33
Slide 33 text
33
ご清聴ありがとうございました