泥まみれになりながらAIを磨きユーザの幸せに一歩近づけた

Transcript

1. © 2025 estie Inc. どろんこAI話 ~綺麗じゃないAIの苦労話~ 泥まみれになりながらAIを磨き ユーザの幸せに一歩近づけた！ 0
2. © 2025 estie Inc. 自己紹介 1 2025/09 株式会社estie 入社 - エンタープライズソリューション事業本部 - ソフトウェアエンジニア Sadahiro Inoue / 井上真嘉 - ホラー作品、ちいかわ、タコスを好むエンジニア 2025/08 以前 - 大手製造業 → 製造業向けSaaSスタートアップ - 画像処理、機械学習を活用したソフトウェア開発 - 人の作業負荷を減らすことに情熱を持つ（現在も）
3. © 2025 estie Inc. おしごとの紹介 2 商業用不動産業界の手間のかかる業務を効率化するためのSaaSを開発 売買仲介業の場合 手入力, 裏付け確認 紹介・営業分析 物件概要書を出力 物件広告物 事務作業の時間を短縮 顧客と向き合う時間を長く 不動産業界が抱える課題は多様で、特に情報の「分析」よりも「収集」に時間がかかっている
4. © 2025 estie Inc. ユーザ課題を解決するためのアプローチの1つ 3 手入力, 裏付け確認 物件広告物 短縮したい！ AI AIにやらせよう！ いい感じにやってくれる！ （期待感） 各社で フォーマットが異なる 量が多い&ミスできない 体力とメンタルが削れる
5. © 2025 estie Inc. AI組み込みによる効率化 4 AI 東京都港区… 物件名 所在地 土地情報 建物情報 サンプルビル … … ︙ ︙ … … … … ︙ ︙ 物件広告物をAIが読み取り、物件登録UI上に情報を適切に反映させたい！ 物件広告物 ML-OCRとLLMの組み合わせで、情報入力の事務作業を大幅に削減できそう！ サンプルビル 最寄駅… 所在地 港区… 価格… 土地情報… 建物情報… 都市計画… 備考… …, “address”: { “original”: “港区…”, “normalized”: “東京都港区…”, “polygon”: [x,y,x,y,x,y,x,y,…] }, …
6. © 2025 estie Inc. 現実にぶち当たる 5 期待していたこと • ML-OCRがいい感じに読み取って • LLMがいい感じに正規化して • LLMがいい感じにマッピングする 現実は… • ML-OCRは期待以上！ • 正規化が甘い項目がある… • 異なる項目にマッピングされている… まったく使い物にならないというわけではない（入社したての僕よりは賢い ） ただし、ユーザに安心して使ってもらえるレベルではない印象 ユーザの幸せに近づくための改善が必要！
7. © 2025 estie Inc. 改善作業を始める前に考えたこと 6 • 課題感の共有をし、関係者全員が同じ解像度で現状理解できるようにしたい！ • 上記を満たすために必要なことを考えた • 出力値を評価するための正解データの準備 ✓ スコアを算出するため、アノテーション作業をやらないと何も始まらない • 地味だけど、一番大事で、一番泥くさい • 定量評価を行うための評価指標を定義 ✓ Pass/Failの基準を定義し、スコアで可視化すれば、「何となく良さそう」を排除できる • フェーズ（OCR, 正規化, 構造化）ごとに定量評価できる仕組み ✓ どこで何がミスっているのかを客観的に把握し、改善策を考えやすくする
8. © 2025 estie Inc. 大変だったアノテーション作業（泥） 7 • 50件以上のサンプルを用意し、項目ごとのアノテーションを行った ( を利用) • 原文、正規化文字列、マッピングしたいフィールド、文字領域 • 初期の作業時間は20~30分/件, やり直しも何度か行った • 用語がわからない… どこに何があるのかわからない… 正規化基準わからない… • 打破するためにやったこと • 有識者にひたすら質問（レスが早くて優しい、神です） • 自分なりの解釈も添えて、それが正しければ成長を実感 質問したり ドキュメントにまとめたり • 気づけば5~10分/件まで作業が短縮できていた！ • とはいえ、目視読み取り作業の繰り返しは非常に辛い… • AIによる自動化は本質的に価値があると改めて認識できた！！
9. © 2025 estie Inc. 改善サイクルを回しまくる（泥） 8 • データで状況を語れる基盤の準備が完了したら、あとはひたすら改善サイクルを回すのみ！ 一般的 ドメイン固有 AIが強く なる改善 • OCRノイズ除去 • 理解しやすい構造変換（JSON形式） • プロンプトで明示的な指示（自己解釈を 封じ込める） • 不動産表記の正規化ルール • 構造/用途/面積など、特有概念の理解の 補助情報 人が支える 改善 • 後段ルールで補正、補完 • OCRポリゴン情報に基づく強調表示 • 許容値、整合性チェック • 住所の正規化 • どのLLMでも効く改善 / ドメイン固有の改善に分けて考えて、整理しながら進めた • 分析がしやすい環境で改善を回し、結果的には精度が大幅に改善された！ • お客様から大変嬉しいFBをいただき、やる気も爆ageで良いサイクルに
10. © 2025 estie Inc. まとめ 9 • AIは便利だけど、運用レベルに仕上げるには人間の泥くさい努力が必要 • データを整え、基盤を整え、試行錯誤を繰り返すことでAIは価値を発揮できる • この作業により自身のドメイン理解も進み、改善の質も向上できる 学び 最終的に 泥まみれになりながらAIを磨き ユーザの幸せに一歩近づけた！ 泥まみれになりながらAIを磨き “ユーザと僕”の幸せに一歩近づけた！ 泥まみれになりながらAIを磨き “ユーザと僕”の幸せに”めちゃくちゃ”近づけた！