20250127_試行錯誤の結晶を1冊に。著者が解説先輩データサイエンティストからの指南書/author's_commentary_ds_instructions_guide.pdf

試行錯誤の結晶を 1冊に。著者が解説先輩データサイエンティストからの指南書 Junki Asano / Toma Tanaka /
Mizuho Yanagi 2026/1/27 Forkwell Library #118

Copyright © Junki Asano / Toma Tanaka / Mizuho Yanagi
All Rights Reserved 1章：実務で生き抜くためのエンジニアリングスキル 2章：環境構築 3章：コードの品質管理 4章：データの品質確認 5章：機械学習モデルの実験管理 6章：プロトタイプ開発 2 先輩データサイエンティストからの指南書（技術評論社 ; 2025）実践的なエンジニアリングスキルをまとめた書籍を執筆しました！

All Rights Reserved 3 自己紹介浅野純季（@nash_efp）株式会社ブレインパッドデータサイエンティスト田中冬馬（@fuyu_quant）起業家（？）栁泉穂（@suikabar_umai）株式会社タイミーデータサイエンティスト 2019年 2022年 2025年ブレインパッドに入社タイミーに入社 LLMアプリケーション開発などブレインパッドに入社ブレインパッドに入社前職で DSになるプロジェクトマネジメントデータマネジメント分析、効果検証など起業準備と研究活動

7 書籍の解説

All Rights Reserved 目次 8 第4章　データの品質確認　4.1　データの品質確認の重要性　4.2　分析開始前のデータ確認　4.3　Panderaによるデータフレームのバリデーション　4.4　データ品質管理の継続的な取り組み第5章　機械学習モデルの実験管理　5.1　実験管理の意義　5.2　Hydraによるパラメータ管理　5.3　MLflowによる実験の比較第6章　プロトタイプ開発　6.1　プロトタイプ開発の意義　6.2　Streamlitによるプロトタイプ開発第1章　実務で生き抜くためのエンジニアリングスキル　1.1　データサイエンティストを取り巻く環境の変遷　1.2　プロジェクトで求められるエンジニアリングスキル第2章　環境構築　2.1　分析の土台としての環境構築　2.2　リポジトリの構造を整える　2.3　VS Codeでの開発環境の整備　2.4　Dev Container による仮想環境構築　2.5　uv によるパッケージ管理第3章　コードの品質管理　3.1　Notebookだけのデータサイエンティストからの卒業　3.2　コード品質とは　3.3　品質の高いコードとその実現方法　3.4　コードレビューによる品質管理

9 1章実務で生き抜くためのエンジニアリングスキル

All Rights Reserved 18 データサイエンティストが実務で直面する課題「とにかく動けばよい」で書いたコードに後から苦しむ実務で扱うデータの、予期せぬバグや欠損に苦労する試行錯誤をするも、上手くいった過去の結果を再現できない分析結果やモデルが意思決定まで結びつかない対応方法を各章で解説 3章：コードの品質管理 4章：データの品質確認 5章：機械学習モデルの実験管理 6章：プロトタイプ開発

All Rights Reserved 20 「実務で初めて直面する課題」が発生する原因データサイエンティストがスキルを習得するプロセスデータサイエンスプロジェクト特有の難しさコードの品質や運用管理を見据えた実装を学ぶ優先順位が低いまずは「理論を正しく実装できること」が優先される多くのデータサイエンティストが初めに学ぶことは前処理やモデル構築、それらを Notebookで実行試行錯誤が前提にあり、不確実性が高い元データに不備があったり、誤った結果を出力してもエラーにはならない出力した結果を意思決定やサービスに適用するためには、処理や工夫が必要である

All Rights Reserved 23 いざ実務に取り組んで思ったことみんなも困っているはずだから実務で学んだことをまとめて書籍にしよう！第1章　実務で生き抜くためのエンジニアリングスキル　1.1　データサイエンティストを取り巻く環境の変遷　1.2　プロジェクトで求められるエンジニアリングスキル第2章　環境構築　2.1　分析の土台としての環境構築　2.2　リポジトリの構造を整える　2.3　VS Codeでの開発環境の整備　2.4　Dev Container による仮想環境構築　2.5　uv によるパッケージ管理第3章　コードの品質管理　3.1　Notebookだけのデータサイエンティストからの卒業　3.2　コード品質とは　3.3　品質の高いコードとその実現方法　3.4　コードレビューによる品質管理第4章　データの品質確認　4.1　データの品質確認の重要性　4.2　分析開始前のデータ確認　4.3　Panderaによるデータフレームのバリデーション　4.4　データ品質管理の継続的な取り組み第5章　機械学習モデルの実験管理　5.1　実験管理の意義　5.2　Hydraによるパラメータ管理　5.3　MLflowによる実験の比較第6章　プロトタイプ開発　6.1　プロトタイプ開発の意義　6.2　Streamlitによるプロトタイプ開発

All Rights Reserved 24 執筆の背景機械学習の理論や分析手法に関する良書はたくさんあるが、いざ実務に入ると「理論だけでは解決できない壁」にぶつかることが本当に多いんです。この本には、私たちがこれまで現場で経験してきた「こういうことを、誰か最初に教えてくれたらよかったのに！」という実践的な知見を詰め込みました。 “ “ 執筆者インタビューより【書籍出版記念】データサイエンティストの「こういうことを教えて欲しかった」を1冊に！実践知を体系化した指南書の裏側を執筆陣が語る - Platinum Data Blog by BrainPad ブレインパッド]

25 2章環境構築

All Rights Reserved 30 リポジトリ構造を整えるメリット適切なリポジトリ構造にすることでチームでの連携や長期的な運用がしやすくなる全体像の理解が容易プロジェクトの全体像や構造を把握しやすくなり認識の共有がスムーズになるチーム開発の分担がしやすい実装の責任範囲が明確になり、変更時のコンフリクトが抑制できる保守・拡張がしやすい仕様変更や機能追加の際にも柔軟に対応できるため、技術的負債の蓄積を避けられる自動化ツールの導入・運用がしやすい CI/CDツールなどを導入しやすく運用効率を高められる

All Rights Reserved 35 Dev Containerにできること開発時の実行環境やVSCodeの設定を共通化できる VSCodeの設定 • リンターフォーマッターの設定などを共通化 VSCodeの拡張機能 • プロジェクト全体で共通利用する拡張機能を設定 VSCodeのデバッガの設定 • 開発者間で共通のデバッグ環境を作成できる実行環境の共通化 VSCodeの設定の共通化 OSレベルから共通の実行環境を作成できる OSの共通化必要な言語やツールの共通化

All Rights Reserved 37 パッケージマネージャの比較 uvはパッケージ管理機能以外にも多くの機能を有しており、非常に高速で動作するツール特徴 pip 最も基本的なパッケージインストーラ Pythonの標準機能として利用可能 Poetry パッケージ管理だけではなく、仮想環境管理・依存関係を自動で解決・パッケージ公開などの機能も備わっている uv Poetryの機能をカバー Rust製で非常に高速（pipの10~100倍高速） ※ uvはバージョンが0.9.27(2026/1/27)でメジャーバージョンが0であるためプロジェクトで使う場合には以下の可能性に注意する必要があります。 ▪ 安定性が保証されていない ▪ リリース準備前 ▪ 未完成または試験的な利用

All Rights Reserved 38 uvにできること uvはPython開発において重要となる以下の機能を備えている Pythonパッケージの管理管理しているPythonパッケージやPythonのバージョンを紐づけた、仮想環境を作成できる開発したコードをPython パッケージの形式にまとめ PyPI(Pythonのパッケージ共有サービス)に保存することができる仮想環境の構築 Pythonのバージョン管理 Pythonパッケージの作成　　　3.11 　　　3.12 複数のPythonのバージョンを管理することができる管理・・・ Pythonパッケージをバージョンを指定して管理することができる

39 3章コードの品質管理

All Rights Reserved 42 データサイエンティストに求められる価値の変化求められる役割が変化しNotebookだけで価値を出しにくい状況になった Notebookの限界 • 実験的なコードと完成版コードの混在 • 構造化の難しさとコードの複雑化 • チーム開発やGit管理の難しさ • データの探索や分析 • PoC • 業務レベルでの開発 • 長期的な運用今まで求められていたスキル追加で求められるスキル

All Rights Reserved 44 Notebook vs Python Script NotebookとPython Scriptの適した用途を理解し使い分けることが重要 VS メリット • インタラクティブに扱え、試行錯誤を繰り返しやすい適した用途 • 探索的データ分析 • データの可視化 • スピードが求められるアドホックな対応 Notebook メリット • 再現性が高い • バージョン管理がしやすい • コード全体の構造化や再利用が容易適した用途 • データ前処理 • 機械学習モデルの開発 • プロトタイプ開発 Python Script

All Rights Reserved 45 Python Interactive Window Python Interactive Windowの公式ドキュメント： https://code.visualstudio.com/docs/python/jupyter-support-py • VS Code上でPython ScriptをNotebookのように部分的に実行できる機能 • 「# %%」を付けるだけで簡単に利用できる ※ PythonとJupyterの拡張機能のインストールが必要です

All Rights Reserved 48 関数を実装する上で気をつける観点関数を実装する際は参照透過性・副作用の排除・関数の大きさに注意観点満たすべき条件違反する例参照透過性同じ入力に対して同じ出力を返すこと引数を介さずグローバルな設定値（学習率など）を参照している副作用の排除関数の外側の状態を変更しないこと引数で渡された pd.DataFrame を関数内で直接書き換える（inplace=True）関数の大きさ関数が持つ処理が大きすぎないこと一つの関数で「欠損処理」「正規化」など複数の複雑な処理を行っている

All Rights Reserved from abc import ABC, abstractmethod import lightgbm as lgb import pandas as pd from sklearn.linear_model import LinearRegression class ModelInterface(ABC): @abstractmethod # 抽象メソッド（継承するクラスに実装を強制する） def train(self, X: pd.DataFrame, y: pd.Series) -> None: pass class LinearRegressionModel(ModelInterface): def __init__(self) -> None: ... def train(self, X: pd.DataFrame, y: pd.Series) -> None: ... class LightGBMModel(ModelInterface): def __init__(self, params: dict[str, Any]) -> None: ... def train(self, X: pd.DataFrame, y: pd.Series) -> None: ... 50 ポリモーフィズムを意識したクラスの実装例同じインターフェースに沿った実装によりロジックを交換可能に（Strategyパターン）

All Rights Reserved 51 データサイエンティストに向けた関数とクラスの使い分け独立した処理は関数、状態を持つ振る舞いが必要な場合はクラスを使う特徴ユースケース関数状態・データを持たない独立した処理を行いたい場合 • データの前処理などクラスデータと処理をまとまりとして扱えるデータと操作が密に絡み合う場合 • MLモデルなど • クラスはインスタンス変数を通してメソッド間に暗黙的な依存関係を作りがち • 複数の処理をまとめるだけであればモジュール化（単一の .py にまとめる）が有効

All Rights Reserved 54 データサイエンティストにとってのコードレビュー PoCから開発へスムーズに進むためにレビューを通した品質担保が重要 • オレオレコーディング • 過去にした変更の内容を思い出せないコードレビューがない状態 △ 品質管理が個人に閉じ属人化 • コードの品質を見直す機会ができる • 変更やその意図を追跡できるコードレビューがある状態 ◯ チームでコード品質に責任を持てる

All Rights Reserved 56 コードレビュー｜レビューの心得自分のコードには自分が責任を持つテストなどによりロジックの正確さは自身で担保コミット・PRの意図を明確化する適切な粒度、コミットメッセージレビュアーへの要望の明示する PRテンプレート機能の活用レビュイーの心得レビューコメントの意図を明確化する prefixによる要求の明示（MUST / IMOなど）ポジティブなフィードバックもするレビューは賞賛の場でもあるレビュー以外の選択肢も持つ輪読会やペアプロを通したスキルの土台づくりレビュアーの心得レビュイー・レビュアーの双方が自身の役割を理解することが重要

58 4章データの品質確認

All Rights Reserved 61 データ品質の評価軸（参考）評価軸説明具体例有効性データの値が定義された領域の値と一致しているか年齢に負の値がないか完全性必要なデータがすべて存在しているか指定した全期間のデータが揃っているか一貫性データの内容に矛盾や食い違いがないかカラムの中で値に表記揺れがないか整合性データがビジネスルールや制約に基づいて正しく関係付けられているか複数テーブル間でID情報が正しく連携できているか最新性データが現実世界の最新の状態を反映しているか顧客マスタは最新のデータであるか妥当性データパターンが期待に合致しているか年齢の分布が感覚値と大きな乖離がないか一意性同じ実体を表すデータが、同じテーブル内に複数存在していないか重複しているレコードはないか

All Rights Reserved 63 Panderaによるデータフレームのバリデーション Panderaによるバリデーションを通してデータが期待する制約を満たしていることを担保する import pandera as pa from pandera.typing import DataFrame from .consts import MAX_PREDICT_DAYS from .schema import InferInputSchema, TaxiDatasetSchema @pa.check_types def preprocess_for_infer( df: DataFrame[TaxiDatasetSchema], max_predict_days: int = MAX_PREDICT_DAYS, ) -> DataFrame[InferInputSchema]: ... # dfをdf_resultに変換する処理 return df_result バリデーションの実行 import numpy as np import pandas as pd import pandera as pa from pandera.typing import Index, Series class TaxiDatasetSchema(pa.DataFrameModel): date: Series[np.datetime64] area: Series[pd.CategoricalDtype] num_trip: Series[int] class InferInputSchema(pa.DataFrameModel): ... スキーマの定義

65 5章機械学習モデルの実験管理 6章プロトタイプ開発

All Rights Reserved 66 5章機械学習モデルの実験管理実験管理＝試行錯誤を安全かつ効率的に回すためのプロセス • PoCでは試行錯誤がつきもの ◦ ハイパーパラメータの調整、プロンプトチューニング、etc… • 適切な実験管理をしないとトレーサビリティと再現性の欠如を招く ◦ 「どこに何を記録したかわからない....」 ◦ 「過去のうまくいった実験設定を再現できない....」書籍では代表的な実験管理ツールとして Hydra と MLflow について紹介

All Rights Reserved 67 6章プロトタイプ開発 • データサイエンティストの役割は分析を通してユーザーに価値を届けること • プロトタイプはユーザーに価値を提供するためのアプローチの一つ ◦ 迅速なフィードバックの獲得 ◦ 認識齟齬のリスク低減 ◦ 実現可能性の検証 ◦ 安心感やワクワク感の提供プロトタイプはユーザーに分析結果の価値を届けるための新しい形として注目されている書籍ではWebアプリを作成できるフレームワーク Streamlit について紹介

書籍には、より詳しい解説と実践的なコードを載せています！

69 執筆の裏話

おまけ書籍の執筆フローをご紹介

All Rights Reserved 71 執筆プロセスの全体像企画書作成原稿執筆組版・校閲出版執筆する書籍のコンセプトを固めるフェーズです。書籍のコンセプトやターゲット層、具体的な章の構成などを企画書として整理し、出版社に提出します。企画が無事通れば、執筆作業開始です。随時、出版社の担当者の方にもフィードバックを頂きつつ、原稿を書き上げます。完成原稿を実際の書籍のレイアウトに落とし込みます（この作業を組版と言います）。組版後は執筆者と出版社の間で複数回の修正を往復し、最終的に内容がfixされます。確定した原稿が印刷所へ入稿され、製本されます。そして、全国の書店に配本され晴れて刊行となります。

All Rights Reserved 73 原稿管理はGitHub 共同で執筆作業を進めるにあたり、GitHubでMarkdown形式の原稿を管理安全にバージョン管理 • 試行錯誤が容易、簡単に復元可能 • 執筆途中に出版社へのレビューする際は、Git Tagでスナップショットを記録 Pull Requestを通したレビューフローの確立 • 各章ごとにレビュー担当者をアサインし、PRを通してレビュー • PRのテンプレート機能やGitHub ActionsによるCIなどで、執筆内容を標準化原稿とサンプルコードを併せて管理 • コードと原稿を一元管理 • 本文と参照コードの内容の乖離を防ぎながら進行 GItHubでの管理によるメリット

All Rights Reserved 74 レビュープロセスの詳細 1：非同期レビュー各章の担当者で実施 2：同期レビュー（通称：ワイワイレビュー）週1回集まり、メンバー全員で通読気になるところを指摘し合う　 1.と2.を繰り返してブラッシュアップ同期・非同期の両方で実施印刷して読むと、表現の違和感や論理構造のミスに気づきやすい（Markdownを画面上で縦にスクロールして読むと、目が滑る）原稿作成段階で少なくとも一度は印刷することを推奨紙面でも確認

76 おわりに

ぜひお買い求めください！ご購入はこちらから https://gihyo.jp/book/2025/978-4-297-15100-3 書店・オンラインストアで好評発売中！

79 最後に大事なことを言います（私にとって）

Thank You!!

All Rights Reserved 83 参考執筆者が書籍に込めた思いを語ったり、読者からの反応を載せています！ [先輩データサイエンティストからの指南書 | 技術評論社] https://gihyo.jp/book/2025/978-4-297-15100-3 [「先輩データサイエンティストからの指南書」の感想まとめ - posfie] https://posfie.com/@nash_efp/p/VMShgtZ [書評ブログまとめ：先輩データサイエンティストからの指南書｜アサノ / asano] https://note.com/nash_efp/n/n344930f80766 [【2025/08/27発売】書籍「先輩データサイエンティストからの指南書」を執筆しました｜アサノ / asano] https://note.com/nash_efp/n/n0d0ed1590790 [初めての技術書執筆で学んだ実践ノウハウ] https://zenn.dev/suikabar/articles/24fa9c2fe999f3 [【書籍出版記念】データサイエンティストの「こういうことを教えて欲しかった」を1冊に！実践知を体系化した指南書の裏側を執筆陣が語る - Platinum Data Blog by BrainPad ブレインパッド] https://blog.brainpad.co.jp/entry/2025/09/10/150042

20250127_試行錯誤の結晶を1冊に。著者が解説 先輩データサイエンティスト から...

20250127_試行錯誤の結晶を1冊に。著者が解説 先輩データサイエンティスト からの指南書/author's_commentary_ds_instructions_guide.pdf

Other Decks in Programming

Featured

Transcript

20250127_試行錯誤の結晶を1冊に。著者が解説先輩データサイエンティストから...

20250127_試行錯誤の結晶を1冊に。著者が解説先輩データサイエンティストからの指南書/author's_commentary_ds_instructions_guide.pdf