KlarSky開発譚センサーダストとのAI開発戦記

写真家の個人的課題「センサーダストの検出」をYOLOv8で解決しようとした1ヶ月の開発記録。MLOps初心者がHydra/MLflow/Vertex AIでパイプラインを構築し、M1 Macのエラー地獄やGCS課金爆発と格闘した実録。mAPだけでは測れないモデルの「性格」分析も。結局Adobeが同機能をリリースしたオチ付き。

技術スタック: YOLOv8, PyTorch, Vertex AI, MLflow, Hydra, Label Studio, CLAHE
詳細: https://zenn.dev/fujiba/books/klarsky-yolov8-mlops-vertexai-beginner-guide
デモ: https://huggingface.co/spaces/fujiba/klarsky-app-experimental

Transcript

1. KlarSky開発譚 センサーダストとのAI開発 戦記 個人の課題解決から生まれた、 MLOpsパイライン構築とモデル改良の記録
2. 命名 KlarSky •Klar: ドイツ語で「澄んだ、クリアな」 •Sky: 空 KlarSky ダストスポットのいない綺麗な 空を目指して
3. 一枚の作品を台無し にする「センサーダスト」 写真作家として長年抱えて いた切実な悩み 大判プリント後に初めて気づくセン サーダストの存在。 特に空を大きく捉 える構図では、この小さなゴミが作品 の価値を大きく損ない、時間とコスト の損失に 繋がる。 「A2プリントでダストを見 つけてしまった･･･」 - ある写真家の嘆きは、他人事ではな かった。
4. センサーダストとは カメラレンズの後玉や、センサー面に付着した小さな埃・ゴミ。 これが写真上にポツポツと黒い点になって映り込んだりする。 絞りを絞るほどその姿ははっきりと映り込み、せっかくのショッ トが台無しになってしまう。 カメラメーカごとに振動などで埃を落とす機能もあったりするが、 綺麗には取れない。 DEMO(ダストスポット除去)
5. geminiとの壁打ち、沼への入り口 ある日、Geminiにアイデアをぶつけてみる。 「機械学習で 、印刷前に画像のダストポット検知できんじゃ ね？」 ダストスポットは色、形状ともにある 程度特徴的だから物体検出いけんじゃ ね？ 技術的な実現可能性は非常に高い。 視覚的特徴は物体検出に適している。 fujiba gemini アノテーションしないといけないけど ね
6. ひとまずやってみる：概念検証と早期可視化 最初の技術選定 • 言語: Python • フレームワーク: PyTorch • 物体検出モデル: YOLOv8 • アノテーションツール: Label Studio • 確認UI: Gradio まずは手持ちの写真10枚で概念実証 （ P o C ）を実施。重要なのは、実 用的な精度ではなく、「データ準備 →学習→結果確認」という一連のパ イプラインがエラーなく通ることの 確認である。 データ準備 学習 結果確認 デモアプリを早く 作ったのは・・・ 「小さく正しく動く」もの を早く作って見ることでモ チベーション維持していく こと、可視化することでモ デルの「癖」を掴みやすく することを目指した。 まあ、動くものがある方が 楽しいよね。
7. 老眼に優しくないアノテーション作業 • 問題と着想 見落としがちなダストをアノテーションするため、背景に溶け込みそうなダストを選択。「老眼で なくても目がショボショボするレベルで、修行以外の何者でもない」「Lightroomのスポットの可 視化」「フォトショのイコライズ」を使いたい • 実装 OpenCVのCLAHE(Contrast Limited Adaptive Histogram Equalization)を使って、ダストス ポットを際立たせる → LabelStudioではこちらを参照し、アノテーション作業がらくらくに！！ Original CLAHE
8. Label Studioによるアノテーション作業
9. プロジェクトの危険な匂い:MLOpsへの誘い • 問題と着想 Vibeな感じでスクリプト量産するもとっ散らかってしまい、破 綻が見えていた ハイパーパラメータを振ったりを効率的に行えないとスケール しない（再現性の確保） • 再現性を支える2大ツール • Hydra: 設定をコードから分離 実験ごとにパラメータを書き換えるのはありえない、パラ メータをYAMLへ分離、ちょっとした変更だけCLIオプショ ンで指定可能 • MLflow: 実験結果の可視化・比較 Hydraで実行された実験のパラメータ、メトリクス、成果 物を自動で記録。過去の実験結果を一目瞭然で比較・検討 できる。 データ収集 データ前処理 (CLAHE) アノテーション (Label Studio) データセット 作成 学習 モデル 評価 モデル 登録 性能不足 性能良好 # imgsz と lr0 の値を変更して実験を実行 pipenv run python klarsky/main.py training.imgsz=640 training.lr0=0.005
10. 謎エラーとの格闘→VertexAI移行決断 直面した問題 ローカルでのMLパイプラインできたが、 M1 mac(MPS)環境で、再現性のない 「shape mismatch」エラーが頻発。一 晩かけた実行がパーになったり・・・ 投入データのアスペクト比や、ラベルの 座標境界などを疑って手を打つも一進一 退。 決断 「いつ終わるかわからん、課金し よ」 →サックサクで動くし、エラー全然出な い！！ 結局、VertexAI移行後は一度も`shape mismatch`エラーに出くわすことはな かった
11. GPU使用率から気づいたFUSEの罠 • 当初やたらと暇になるGPU 時間貸しなのでめっちゃ勿体無い • 調べていくとI/O待ちが原因 → データセットをGCSにおいていた ため、NWアクセス待ちになってい た(VertexAIではGCSをFUSEでマウ ントしてるのでつい気軽に・・・） 問題はGPU利用料金だけでは なく・・・
12. ストレージに溶けた金w 当初、手軽さからGCS FUSEマウント を利用していたが、これがGCSの操作 料金を高額にする原因に。1ヶ月の GCP費用17,866円のうち、Cloud Storageが6,460円。その大半（5,908 円）はファイルリスト表示などの Class A Operations料金だった。 いえ、最初はローカルへのコピーを提 案してきてたんですよ。うっかり「ん なことせんでも、マウントされてるや ん」って言わなければ（爆
13. mAPだけではないモデルの性格 padded(単純縮小)とtiled(タイル分割で高解像度のまま学習)で、mAP（mean Average Precision）はtiledが圧勝するも、体感ではpaddedが良い Precsion(適合率) AIが「ダストだ」と指摘したものがどれだけ信 頼できるか？（誤検出の少なさ) Recall(再現率) 実際に存在するダストを、どれだけ見逃さ ずに検知できたか？(見逃しの少なさ) tiled(mAP高) 高Recall/低Precision→ 「見逃しは少ないが、誤報も多い」 oadded(体感は良い) 高Precision/低Recall→ 「誤報は少ないが、見逃しも多い」 各モデルの性格分析
14. 改善ネタ • CLAHE画像をそのまま学習、推論時もCLAHE適用して推論 画像認識は前処理が重要、今回は素のモデル性能を上げたい気 持ちもあって、やらなかった が・・・
15. で、結局 Adobeさん・・・
16. Hugging Faceで試せます https://huggingface.co/spaces/fujiba/klarsky-app-experimental
17. 詳細はこちら https://zenn.dev/fujiba/books/klarsky-yolov8-mlops-vertexai-beginner-guide
18. thanks!!