生成AIによる特徴量抽出の落とし穴：品質担保の課題から得た実践知 / 2026 GENERATIVE AI PRACTICE TALK

2026年6月12日開催 Women in Data Science Tokyo @ IBM
GENERATIVE AI PRACTICE TALK 資料

Speaker: 保泉 里名
日本アイ・ビー・エム システムズ・エンジニアリング株式会社
DX Center Industry Transformation
データサイエンティスト

https://widstokyoibm2026.pages.dev/

Transcript

1. WiDS@IBM GENERATIVE AI PRACTICE TALK 〜生成AIによる特徴量抽出の落とし穴：品質担保の課題から得た実践知〜 2026/6/12 日本アイ・ビー・エム システムズ・エンジニアリング株式会社 DX Center Industry Transformation 保泉 里名 Rina.Hoizumi@ibm.com
3. 3 今日お話しすること 1. 自己紹介 • Data Scienceとの出会い • 入社から現在まで • これからチャレンジしたいこと 2. 生成AI×予測案件の実践経験 • 案件概要 • 直面した課題 • やってみて分かったこと このセッションで伝えたいこと ✓「ヒトの役割分担」から「AI+ヒトの役割分担」へ！ ✓成果を出す、目標への向かい方は1つだけではない
4. 1. 自己紹介
5. 5 自己紹介 保泉 里名 経営学部（数理最適化研究室）卒業後、ISEへ新卒入社。 自然言語処理（NLP）を中心としたAI・データ分析業務に従事。 現在はデータサイエンティスト職として、自動車業界における業務改革をご支援中！ • 2021年4月 - IT Specialist職でISE新卒入社。Advanced AI配属（AIソリューション系） - OJTでIBM® Watson Discoveryを活用した分析支援 • 2022年～2025年 - 製造、流通・小売、金融、メーカーなど他業種のお客様との業務改革PoCに参画。 分析PoCのほか、システム基盤開発や新規ソリューション開発など担当 - そのほか、学生向けインターンシップコースリーダー、 組織横断型コミュニティ立ち上げ・運営、各種社内向け勉強会に参加するなど 案件以外にも精力的に活動 • 2026年1月 - Data Scientist職へキャリアアップ、DX Center Industry Transformationへ異動 • ～現在 - 自動車業界の品質保証・品質改善領域の分析案件にData Scientistとして参画 - 5月より、IBM含め3社合同の次世代リーダー育成プログラムにも参加中 大事にしていること 「とりあえず、やってみる！」 趣味 旅行、音楽、テレビ・映画鑑賞、etc. 昨年からゴルフにも挑戦中 1 of 6 日本アイ・ビー・エム システムズ・エンジニアリング(株) DX Center Industry Transformation Data Scientist
6. 6 Data Scienceとの出会い 2 of 6 自分の好きなこと・得意なことを続けていたら、Data Scienceと出会いました！ 過去 現在 中学 高校 大学 社会人 1年目 数学と社会が好き。 どっちも勉強したい！ 文系？理系？文理融合？？ 数学を軸に経営学・経済学を 学べるところがあるらしい！ 経営学部にて数理統計、 プログラミング、金融工学、 経営・経済学を学ぶ 「データサイエンスっていう 分野があるんだ！」 OR（オペレーションズ・リサーチ） に興味を持つ。 「社会や世の中の困りごとを テクノロジーの力で解決できたらいいな」 「そういう仕事したいな」 大学で開催されていたイベントで WiDS@Tokyoを知る 大学の企業説明会でIBM/IBM group会社を知り ISEのインターンシップへ応募・参加 「IBM/ISEだったら、いろんな技術を使って 社会やお客さんの困りごとを解決できそう！」 「活躍できる幅が広そう！」 「海外との繋がりもある！」 将来的にData Scientistになる ことを夢見てISEへ入社 「技術学ぶぞ！」
7. 7 入社から現在まで（2021-2023年） 3 of 6 最初のお仕事は自然言語処理分野 分析業務を軸に、業務領域を拡大 初めてのリーダーとして開発・提案活動を推進 生成AIの技術検証およびデータ分析プロジェクトを中心に担当 業界知見を深め、専門性の確立を目指し始める キャリア第二章 ― 自動車業界の課題解決と視座の拡大
8. 8 入社から現在まで（2021-2023年） 4 of 6 • OJTで自然言語処理案件に参画し、IBM® Watson Discoveryを学ぶ • 若手勉強会にも積極参加（アプリ開発など） 最初のお仕事は自然言語処理分野 分析業務を軸に、業務領域を拡大 • IBM SPSS® Modelerを活用したシステム開発支援など幅広い業務経験を積む • コミュニティ立ち上げを経験し、組織活動にも主体的に参画 初めてのリーダーとして開発・提案活動を推進 • 業務経験×趣味を起点に、 IBM® Watson Discovery ×SNSデータを活用した顧客市場 分析ソリューションを発案し、リーダーとして推進 • 企業訪問を通じた提案活動にも携わり、取締役層への直接提案を実施 • 案件化には至らなかったものの、その取り組みが評価され社内表彰（金賞）を受賞
9. 9 入社から現在まで（2024-2026年） 5 of 6 • 流通・小売向けの需要予測、金融向けのモデルガバナンス検証、自動車向けの生成AIエージェント検証 など、幅広い業界のプロジェクトに従事 • お客様戦略セッションにおいて、サブセッションリーダーとしても参画 生成AIの技術検証およびデータ分析プロジェクトを中心に担当 業界知見を深め、専門性の確立を目指し始める • 自動車業界における業務改善・データ利活用推進に従事し、設備故障予測や設備データ解析などの 構造化データ分析を担当 • 金融向け生成AI活用の障害発生時オペレーション改善のサービスインを経験 • 「特定業界に深い知見を持つデータサイエンティスト」を目指すように • （元々の興味も相まって）自動車業界を専門領域として強く意識するようになる キャリア第二章 ― 自動車業界の課題解決と視座の拡大 • 自動車領域へ異動し、品質保証・品質改善における業務データ分析を担当 • テキストデータによる不具合予測やセンサーデータ解析など、自動車業界特有の課題解決に従事 • そのほか、次世代リーダー育成プログラムへの参加を通じて、技術だけでなく経営や組織運営の観点を 学び、より広い視点で事業や組織を捉える力を養う
10. 10 これからチャレンジしたいこと 「自動車 × データサイエンス」の第一人者になる • 自動車業界の業務知識をさらに深め、お客様の悩みに寄り添い、伴走解決したい • 「自動車 × データサイエンス」の第一人者を目指す 6 of 6 視座を 高める 2 仕事と家庭 を両立する 3 より良い組織運営や成果創出のあり方を学び、実践する • 自身の成果創出に加え、チーム・組織全体の成功を意識するようになる • 後進育成や知見の共有を通じて、組織への貢献領域を拡大 • 個人では実現できない、より大きなインパクトの創出を志向 家庭と仕事を両立しながら、成長と成果を出し続ける • ライフスタイルが変わってからも、継続的に成果を出し続ける働き方を模索する • 限られた時間の中で最大の価値を発揮する • 将来家族が増えた場合も、仕事と家庭の両立を実現したい 専門性 を磨く 1
11. 2. 生成AI×予測案件の実践経験
12. 12 設備故障予測PoC*プロジェクト（2025/4-5） 工場設備の故障を事前に予測し、保全業務を効率化するためのPoCに取り組みました。 現場作業員が日々記録する点検レポートと設備のセンサーデータを組み合わせて分析し、 故障発生前の兆候を捉えることを目指しました。（チームメンバー3人＋PM1名＋アドバイザー1名） プロジェクトの概要 1 of 10 *Proof of Concept：本番導入に向けた概念実証、価値検証 点検 レポート 作成 集計 データ 紐付け モデル 学習 予測 評価 人手での点検作業 （例）異音、破損、etc. 点検結果を レポートに記入 例「XXから異音発生」 点検レポートを 集計 設備ログ・関連情報 の取り込み 対象機器別に学習 (「故障30日前か？」を予測) 予測精度を確認 機器A 機器B ※検証イメージ
13. 13 案件概要 分析まわり • 過去の点検レポート＆設備関連データをもとに、機器が「故障30日前であるか」どうかを予測 • 機械学習モデルはLightGBMを使用 • 点検レポートのデータ前処理・特徴量抽出に生成AIを活用 2 of 10 どんな予測をしたの？ どんな役割だったの？ • 分析チームリーダーとしてプロジェクト推進を担当 • 生成AIを用いたモデル改善検証の後続フェーズとして参画 - 検証手順や検証に用いる機械学習モデル / LLMが決まっていた - 前フェーズでは、llama3にて検証 - 後続フェーズでは、MistralやGPT-4oモデルで検証 - 短期間での精度改善・効果検証が求められるプロジェクト
14. 14 直面した課題 生成AIを用いた特徴量作成の精度 品質チェック 短期間での検証 課題1 課題2 課題3 3 of 10
15. 15 直面した課題 ①生成AIを用いた特徴量作成の精度 生成AIのタスク（ざっくり） 1. 点検レポートから故障部位、部品名、故障状況を抽出し、構造化データ化 2. 抽出した故障部位・部品名を、事前に別途作成した辞書と照合し、大分類カテゴリーへ変換 3. 同じく点検レポートから、交換作業や修理作業を行なったかどうかを判定 4 of 10 投影のみ
16. 16 苦戦したポイント • 特徴量の品質が予測モデルの精度に直結 - 例）点検レポート「XXからは普段通りの音がするが、YYから異音が聞こえる」 直面した課題 ①生成AIを用いた特徴量作成の精度 部位 部品名 抽出して欲しい内容 YY YYに使われている部品名 実際に抽出された結果 XX XXに使われている部品名 • 予測精度が低い原因がモデルにあるのか/特徴量にあるのか/他の原因があるのか、の切り分けが難しかった - 本来はモデル改善に注力したかったが、まず特徴量の修正から着手 - →最終的な予測精度も50～60%程度で頭打ちとなった 5 of 10
17. 17 直面した課題 ②品質チェック 精度検証の流れ 1. 約1,800件の点検レポートから20件程度をランダム抽出し、抽出結果をお客様に確認いただく 2. フィードバックを基に、適用可能なルールやプロンプトを修正 3. 一次評価として、抽出結果を用いた特徴量生成・モデル学習・精度検証を実施 4. 全件を対象に抽出結果を確認・修正いただき、最終評価を実施 振り返り・改善の余地 評価プロセスの 見直し • 一次評価では約1%のサンプルを確認・修正していたが、十分な評価が可能だろうか？ • 統計的な観点から必要サンプル数を定義し、一次評価と最終評価の役割を明確化できた可能性がある 品質評価の 効率化 検証サイクルの 高速化 • 品質担保のため、設備や故障に関する専門知識を持つお客様による確認・フィードバックが不可欠。 通常業務と並行してチェックするのは負荷が高い • 「評価用AI」を組み込んで、抽出＋自動チェックでエージェンティックに検証もできるかも？ • 抽出結果の確認～モデル精度評価までに数日を要するが、それが複数の機器・生成AIモデル比較に波及 • 前フェーズで定義された検証プロセスを踏襲したが、生成AI活用を前提に評価フロー自体を見直すことで、 効率よく検証を進められるかも？ 6 of 10
18. 18 直面した課題 ③短期間での検証 振り返り・改善の余地 • 技術的な改善だけでなく、進捗や課題を見える化することも重要 • 「モデル改善」「抽出品質改善」「データ修正」のどこに時間を使っているかを早い段階で共有しておくとお プロジェクトメンバー全体での認識も密に • 小さくても早く結果を見せて、お客様と一緒に方向性を確認しながら進める • 生成AI案件では、精度改善と同じくらい期待値コントロールも大事 実情 • プロジェクト開始時点では、チーム内でも検証方針や作業内容の認識が十分に揃っていなかった • 一方で、生成AIによる抽出結果の確認・修正には想定以上の工数が必要だった • 精度改善を進めながら、お客様との認識合わせや期待値調整も同時に行う必要があった 7 of 10
19. 19 やってみて分かったこと • 抽出だけでなく、抽出結果のレビューにも生成AIを活用 • 当初決めていたモデルが渋ければ、お試しでも他モデルと比較してみる 生成AIを もっと 活用する ドメイン 知識を 活用する 評価・改善 サイクル を見直す • 「人が毎回判断する」状態を減らす • お客様レビューで得た知見をルールや辞書として蓄積し、検証に活かす • 品質評価の方法や責任範囲を最初に決める • 評価データを先に作り、自動評価できる状態にする • お客様と一緒に改善サイクルを回す前提で設計する 8 of 10
20. 20 やってみて分かったこと • 抽出だけでなく、抽出結果のレビューにも生成AIを活用 • 当初決めていたモデルが渋ければ、お試しでも他モデルと比較してみる 生成AIを もっと 活用する ドメイン 知識を 活用する 評価・改善 サイクル を見直す • 「人が毎回判断する」状態を減らす • お客様レビューで得た知見をルールや辞書として蓄積し、検証に活かす • 品質評価の方法や責任範囲を最初に決める • 評価データを先に作り、自動評価できる状態にする • お客様と一緒に改善サイクルを回す前提で設計する 「ヒトの役割分担」から 「AI+ヒトの役割分担」へ！ 9 of 10
21. 21 最後に… 成果を出す方法は一つではない！ • （経路問題のように）地点Aから地点Bへ向かう道は複数あります。 • 最短距離で進む方法もあれば、遠回りに見えても結果的に良い方法や 新しい発見に出会える道もあります。 キャリアも人それぞれ！ • 一直線に目標へ向かうのも良し、途中で立ち止まって考えたり、寄り道をしたりするのも良し • 進んでいる途中で新しい目標や興味を見つけたのであれば、その方向に進むのも一つの選択 • 大切なのは、周囲と同じ道を歩くことではなく、自分なりの道を選びながら前に進み続けること 10 of 10
22. ご清聴ありがとうございました！