Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
みん強Lightning! データ基盤ひとりでできるかな
Search
Naoya Endo
November 18, 2026
Technology
110
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
みん強Lightning! データ基盤ひとりでできるかな
Naoya Endo
November 18, 2026
Transcript
52 slides
みん強Lightning! 2026年11月18日(水)
みん強Lightning! 2026年11月18日(水) 自己紹介 データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) 私、遠藤と申します。 データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) シミ取りとかシワ取りとか脱毛とかのレー ザー機器を自社で製造したり海外から輸入 して美容クリニックなどに販売しています。 機械だけじゃなく医療機関専売の化粧品や 一般市場向けの美顔器なども扱っています。 データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) 私、7月に異動しました。 データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) 私、7月に異動しました。 データインサイト課 ↓ データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) 私、7月に異動しました。 データインサイト課 ↓ データ・リーガル ソリューション課 データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) 一人部署だからほぼ移動 私、7月に異動しました。 データインサイト課 ↓ データ・リーガル ソリューション課 データ基盤ひとりでできるかな by
遠藤な
みん強Lightning! 2026年11月18日(水) 一人部署だからほぼ移動 私、7月に異動しました。 御託はいいから データインサイト課 ↓ データ・リーガル ソリューション課 データ基盤ひとりでできるかな
by 遠藤な
みん強Lightning! 2026年11月18日(水) 一人部署だからほぼ移動 私、7月に異動しました。 御託はいいから データインサイト課 ↓ データ・リーガル ソリューション課 なんとかして
データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) 一人部署だからほぼ移動 私、7月に異動しました。 御託はいいから データインサイト課 ↓ データ・リーガル ソリューション課 法務もよろしく
なんとかして データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) 一人部署だからほぼ移動 私、7月に異動しました。 御託はいいから データインサイト課 生成AIもね ↓ データ・リーガル ソリューション課
法務もよろしく なんとかして データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) と、言うことで、まずは前回の復習 データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) 前回の復習 Excelをつなぎ合わせてデータ基盤を作っていました 年別の売上明細 共通ETL 用途別の集計 データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) 前回の復習 これが「Data Buckets」の構成です データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) 前回の復習 分析できるデータを作るための仕組みでした 名称揺れ、コード不統一、空欄などを、 集計できる・結合できる・説明できるデータに変える。 Excelで作った最強のデータ基盤 データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) そして、ある日 データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) ああああ データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) 最強、逝く、、、 データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) ご清聴ありがとうございました。 データ基盤ひとりでできるかな by 遠藤な
None
みん強Lightning! 2026年11月18日(水) うそです。 データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) でも、失ってはじめて気づいたんです。 データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) 当たり前だと思っていた Excelデータ基盤を ほとんど知らなかったことに データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) さて、どうする? データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) そんな ときは もちろん データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) 助けて~A~I データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) 生成AIと、既存Excelの構造を調べた 40 解析済みExcel 306 確認済みシート 538 シート間の関係 データ基盤ひとりでできるかな
by 遠藤な
みん強Lightning! 2026年11月18日(水) データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) 枠はファイル、中の箱はシート、矢印は参照 上段:取引データ処理 下段:マスタ・補正 確認状態も読み分ける 黄土色:候補・未解析等 赤:参照破損 矢印:供給元 →
利用先 同名の分割表示は、同じファイル データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) 基幹システムの明細を、Excelへ取り込む 売上明細・受注明細 取得・貼付から 処理を始める 年度別の明細を 後続の加工へ渡す データ基盤ひとりでできるかな by
遠藤な
みん強Lightning! 2026年11月18日(水) 共通ETLで加工し、年度別データをまとめる ID・属性を付ける 年度をまたぐ明細へ 用途別に抽出する 顧客・商品・組織を共通で付与 同じ切り口で、複数年を分析 データ基盤ひとりでできるかな by
遠藤な
みん強Lightning! 2026年11月18日(水) 加工した明細を、用途別の分析で使う 担当・エリア・支店別 商品別 取引先別 共通の明細を、 複数の切り口で使う 集計・比較・共有用の出力へ データ基盤ひとりでできるかな
by 遠藤な
みん強Lightning! 2026年11月18日(水) 業務コードとは別に、分析用の顧客IDを持つ 対応表 顧客マスタ 業務コードと分析用IDを結ぶ 分析するための属性を持つ 取引のコード体系と、分析する単位を分ける 9 データ基盤ひとりでできるかな
by 遠藤な
みん強Lightning! 2026年11月18日(水) 名寄せは、判断が必要な行を分けて扱う 未登録を抽出 候補を表示 コード履歴も 照合に使う 人が確認・補完 データ基盤ひとりでできるかな by
遠藤な
みん強Lightning! 2026年11月18日(水) 赤伝・原伝票を集め、共通ETLで判定する 赤伝・原伝票を識別 年度別の一覧と手動追加を 共通の一覧へまとめる 共通ETLが一覧を参照し、 分析対象を判定する データ基盤ひとりでできるかな by
遠藤な
みん強Lightning! 2026年11月18日(水) 調査で見えた設計と、残った確認事項 引き継ぐ工夫 次に確かめること 分析用の顧客IDを分ける 顧客IDの対応と名寄せ精度 共通の加工を再利用する 年度ごとの処理条件の違い 例外・訂正を一覧で扱う
訂正漏れと未解析の経路 Excelに組み込まれた業務の工夫を、次の基盤へ データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) あれ? データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) 「データ基盤ひとりでできるかな」は? データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) 安心してください! データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) やってみましたよ! データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) Excelのデータ基盤を、部分的にBigQueryへ移した 927,274行 既存Excel基盤 2019年1月から2026年10月までの売上明細 → 加工済みCSV → BigQuery
→ SQLで分析 元データを取り込み、 生成AIと形式をそろえ、 売上明細を 8年分の件数や売上を 顧客・商品の属性を付与 年別の8ファイルを結合 1つのテーブルに格納 暦年別に集計 Excelで続ける処理 元データからのETL、顧客マスタの管理・名寄せ、赤黒処理 データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) 8年分の売上明細を、1本のSQLで集計できた BigQueryのテーブル 暦年別の集計結果 実行したSQL(抜粋) 画面に続く3年の明細件数 2024年 2025年 2026年
158,812件 164,656件 156,636件 全8年で、件数・売上・粗利・補正粗利・数量が元CSVの集計と一致。 データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) Excelでは計算不能。BigQueryでは約0.2秒。 Excelの数式再計算 BigQueryの年別集計 計算できなかった 約0.2秒 実行開始から終了までの実測1回。キャッシュ不使用。 Excelは数式・参照の再計算、BigQueryは加工済み明細の集計。 Excelで積み上げた仕組みを、少しずつ次の基盤へ。
データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) BigQueryへ移したのは、8年分の売上明細の統合・集計 Excel基盤の全体図 取込元のCSV BigQueryでの処理 統合・集計の対応箇所 2 1 3
売上明細CSV 8ファイル 2019年1月〜2026年10月 2 1 BigQuery統合テーブル 結合済みの927,274行を格納 3 SQL集計 暦年別/コスメの月・支店等区分別 集計結果 件数・売上・粗利を算出 Excelで続ける処理 共通ETL、名寄せ、赤黒処理など データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) ご清聴ありがとうございました! データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水)
More Decks by Naoya Endo
See All by Naoya Endo
遠藤な_めぐろLT #38 「社内のAI活用推進」@麻布台_20261009
endonanana
0
170
20_遠藤な_データ界隈LT祭_第1回__20260915.pdf
endonanana
0
81
みんなの考えた最強のデータ基盤アーキテクチャ'26前期〜前夜祭〜ルーキーズ_資料_遠藤な
endonanana
0
830
投影資料_データラーニングギルドmeetup_6
endonanana
0
79
Other Decks in Technology
See All in Technology
re:Inventを楽しむために、 1日1つ「これが楽しみ」を決めよう
beli68
0
120
AWS Emulator を評価する: 手元で動く AWS の API の仕組み、始め方、確かめ方
inariku
PRO
2
780
AI×アジャイルで、石橋を高速で叩きながら渡る~電力会社がゼロから築いた会員サイト改善プロセス~ / 20261112 Ayami Kanazawa & Shigeru Hirai
shift_evolve
PRO
1
100
自動計装なしでECSサービスをApplication Signalsに載せるまで
ota1022
2
440
設計手法を「道具」として使いこなすために
a_suenami
7
1.5k
AI-Ready なデータ基盤ってなに? & 新卒未経験が、いま考えていること
imuta
0
1k
AWS DevOps Agentの構造から読み解く運用 AI エージェントの設計原則/aws-devops-agent-design-principles
tomoki10
0
130
2026-11-16 JAWS-UG コンテナ支部 #31 ゆるLT大会 ECR のライフサイクルポリシーを いい感じに設定したい / ECR Lifecycle policy
masasuzu
3
580
AIネイティブ組織の作り方。1人のPOとAIから始める、自社での実験
ama_ch
2
1.2k
gem install とrequire のむこうがわ
ydah
0
240
信頼性を犠牲にせず、PR マージからデプロイまで人の介入を完全にゼロにするまでの道のり
knwoop
2
1.6k
OCI Artifact による自動運転タクシーに向けた OTA 基盤の構築
biwashi
1
170
Featured
See All Featured
Impact Scores and Hybrid Strategies: The future of link building
tamaranovitovic
0
490
Heart Work Chapter 1 - Part 1
lfama
PRO
11
37k
Joys of Absence: A Defence of Solitary Play
codingconduct
1
580
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
203
77k
My Coaching Mixtape
mlcsv
0
390
Winning Ecommerce Organic Search in an AI Era - #searchnstuff2025
aleyda
2
2.2k
Money Talks: Using Revenue to Get Sh*t Done
nikkihalliwell
0
570
The Director’s Chair: Orchestrating AI for Truly Effective Learning
tmiket
1
360
brightonSEO & MeasureFest 2025 - Winning Strategies for Black Friday CRO & PPC - Christian Goodrich
cargoodrich
3
900
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
659
62k
SEOcharity - Dark patterns in SEO and UX: How to avoid them and build a more ethical web
sarafernandez
0
340
Exploring the relationship between traditional SERPs and Gen AI search
raygrieselhuber
PRO
4
4.4k