Streamlitを使ってデータカタログを作ってみた

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

© GENDA Inc. 作成までの経緯 ■Streamlitで作るメリット ● 無料！ ● DWHにSnowflakeを使用しているため SnowflakeのCOMMENTやコード内に設定を書くことになるので最新バージョンがどこにあるかわかりやすい ● WEB開発の知識が無くても、 UIを簡単に作成することができる ● Streamlit in Snowflakeにて、簡単にアプリをデプロイすることもできる ● 今後、Streamlitで何か作るための知見も貯まる

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

© GENDA Inc. システム設計 ■Streamlit in Snowflakeで動かすにあたって感じている課題 ● データカタログを使用する人全員に Snowflakeアカウントを作成する必要がある (一つのパスワードを使い回すのはセキュリティ的に良く無い ) ● 一度起動するとWHが15分間稼働し続けるので、多くの人が起動し続けると、タイミングによってはずっと WHが動き続けてしまう(お金がかかる)

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

© GENDA Inc. データカタログの機能① ■実装方法手順1. ドロップダウンで選択した Database・Schema・Tableを変数に入れる select_database = st.selectbox('データベースを選択してください ', [Database一覧(リスト型)]) select_schema = st.selectbox('スキーマを選択してください ', [Schema一覧(リスト型)]) select_table = st.selectbox('テーブルを選択してください ', [Table一覧(リスト型)]) 手順2. Pythonコード内でクエリを実行して結果を変数に入れる show_tables = run_query(f"SHOW TABLES IN {select_database}.{select_schema}") show_views = run_query(f"SHOW VIEWS IN {select_database}.{select_schema}") 手順3.データフレーム化して UNIONし、column_name・commentのみを抽出 show_tables_df = pd.DataFrame(show_tables) show_views_df = pd.DataFrame(show_views) tables_df = show_tables_df.rename(columns={1: 'column_name', 5: 'comment'}) views_df = show_views_df.rename(columns={1: 'column_name', 6: 'comment'})

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

© GENDA Inc. データカタログの機能② table_details_search = st.text_input('テーブル一覧の概要を検索 ') # サイドバーにてinputboxに文字列を入れた場合、その文字列が入っているデータをデータフレームから抽出できるように実装 if table_details_search is None: st.dataframe( tables_views_df, column_config={ "column_name": st.column_config.TextColumn("テーブル名"), "comment": st.column_config.TextColumn("概要", width="large") }, hide_index=True, ) else: tables_views_df = tables_views_df[tables_views_df['comment'].str.contains(table_details_search, case=False)] st.dataframe( tables_views_df, column_config={ "column_name": st.column_config.TextColumn("テーブル名"), "comment": st.column_config.TextColumn("概要", width="large") }, hide_index=True, ) ■実装方法ご紹介手順1. テキストボックス入れた文字を変数に入れて保持する手順2. 変数に入れた文字がテーブルの概要に含まれるデータをデータフレームとして出力するように実装