Glue Studio Visual ETL実装時にハマったこと

Glue Studio Visual ETL実装時にハマったこと K.Tamura

自己紹介田村晃輝虎ノ門のどこかのSIer企業ででエンジニアしています JAWS-UG 富山 / SRE支部メンバー @koki46926199 元
富山県民エンジニア歴 2年 AWS歴は1年ほど最近までAWSマルチアカウント管理の設計、構築業務を担当今日のトピック： JAWS-UG 富山のTシャツ着忘れました

はじめに普段ETL処理をスクリプトで実装している人が、GUIで実装することができる AWS Glue Visual Editor を触ってみたら大ハマりしたよってお話です…

質問みなさん AWS Glue って使ったことありますか？？ AWS Glue

AWS Glue ざっくり概要・データの変換・統合（Jobs）・データの品質管理（Data Quality）・オーケストレーション（Workflow）
・メタデータ管理（Data Catalog, Connections） https://docs.aws.amazon.com/ja_jp/glue/latest/dg/components-key-concepts.html

データの変換・統合（Jobs）の種類・ Script Editor（Python Shell, Spark, Ray）・ Notebook ・
Visual ETL（Spark）

用語解説各処理を表すボックスのことをノードと呼びます

ハマったこと一覧・ Visual作成時はScriptタブで編集しない・列の型推測について・ Decimal型の取り扱い・ Unionするときのテーブルの列順について・
カスタムコードの実装・（おまけ）DynamicFrame で発生するエラーの追い方

Visual作成時はScriptタブで編集しないスクリプトを編集してジョブを保存するとGUIでの編集が出来なくなります(Visualタブも消失) よって、Visualを編集する場合は、Visual上のみで編集を行いましょう。 https://docs.aws.amazon.com/ja_jp/glue/latest/dg/edit-nodes-script.html Edit scriptクリックすると注意書きを表示してくれます

列の型推測について Visual EditorでDBなどのソースからデータ取り込み時、推測して型変換してくれます検証時、Unionしたタイミングで型推測して勝手にすべてStringに変換される事象が発生これに気付かずに集計後テーブルにマージしてしまったので、型の不整合でエラーになりました…

データ型の修正各ノードのOutput Schemaでも修正は可能ですが、次ノードで再度型推測される場合がありますなので、DBに登録行う直前か結合後に Change Schemaで明示的に型変換するのが確実

Decimal型の取り扱い Change Schemaでも桁数指定ができないので SQLで明示的に型変換（CAST）する形で修正していました decimal(15,0)で定義しているデータが、なぜか小数点２桁で表示されてしまうデータ型を確認したところdecimal(10,2)に自動的に型変換されていました

Unionするときのテーブルの列順について列順を完璧に合わせてからUnionしましょう列が各テーブルで合ってない（列数、命名）はエラーになってはくれますが列順違ってもそのまま実行されて、データにNullが入ってきますさらにデータも想定した列に入っていないことから、使い物にならなくなるので注意しましょう

カスタムコードの実装データフレームを使って変換するときに使う Custom Transform は実施後にそのまま後続のノードを設定すると変換したデータが反映されていません

カスタムコードを実装した場合に必要になること Custom Transform 後に Select From Collection を挟みましょうこの中の 0
にCustom Transformで変換したデータが入ってます

（おまけ）エラーの追い方「o404.py WriteDynamicFrameの呼び出し中にエラー」といった、読んでも分からないエラーが出てきますこの場合Cloudwatch logs を確認してみると詳細が書いてありますので、見てみましょう

（おまけ）エラーの追い方ここまで追っていくことで、ようやくエラーの詳細が判明しました今回は、factory_cd カラムに対して NULL を挿入しようとしたことが原因で、エラーが発生しているようです

まとめ・ Visual作成時はScriptタブで編集しない・データ型を各ノードで確認しながら実装しよう・カスタムコードの実装後は、 Select From Collection
ノードでデータを取得しよう・ DynamicFrame で発生するエラーは、 Cloudwatch logs を確認しよう

最後に JAWS-UG 富山の宣伝 2025/05/10（土） Amazon Bedrock ハンズオン2本立てでやります！お時間ある方は、ぜひ一緒にハンズオンやりましょうタイムテーブル

Glue Studio Visual ETL実装時にハマったこと

Glue Studio Visual ETL実装時にハマったこと

KOKI TAMURA

More Decks by KOKI TAMURA

Other Decks in Programming

Featured

Transcript