「機械学習」という技術で価値を創出する技術〜プロダクト開発に機械学習を応用する際に考えること〜.pdf / techniques-to-create-values-with-ml-layerx-at-wi2

© 2023 LayerX Inc. 2 バクラク事業部 Data&ML部 ML Group マネージャー
経歴京都大学大学院情報学研究科修士課程修了。情報検索や情報推薦に関する研究に取り組む。 2018年ウォンテッドリー株式会社に新卒入社。レコメンドチームの立ち上げに携わる。その後、機械学習領域のテックリード、プロダクトマネージャー、エンジニアリングマネージャーを務める。 2022年9月に株式会社LayerXに入社。機械学習チームにて、法人支出管理SaaSバクラクのAI-OCR機能をはじめとする機械学習を活用した機能の開発およびマネジメントに従事。その他活動として、ウォンテッドリー株式会社の機械学習領域の技術顧問やスタートアップの技術支援、大学の非常勤講師、書籍の執筆など。自己紹介松村優也（Yuya Matsumura） @yu__ya4

会社紹介 LayerXについて

© 2023 LayerX Inc. 4 会社名　　　　代表取締役　創業　　　　　資本金拠点
関連会社株主一覧取得認証株式会社LayerX 　代表取締役CEO 福島良典　　代表取締役CTO 松本勇気　2018年8月1日　約112億円　東京本社　東京都中央区日本橋堀留町１丁目９−８人形町PREX　　　　東海支社　愛知県名古屋市中村区平池町4-60-12 グローバルゲート　九州支社　福岡県福岡市博多区博多駅中央街1-1 アミュプラザ博多　　　関西支社　大阪府大阪市北区堂島1-1-5 関電不動産梅田新道ビル　三井物産デジタル・アセットマネジメント株式会社　　三井物産、LayerX、三井住友信託銀行、SMBC日興証券、JA三井リースによる合弁会社情報セキュリティマネジメントシステム、JIIMA認証 IS 747702 / ISO 27001 会社概要

© 2023 LayerX Inc. 6 なぜやるのかなぜやるのか人口減少社会人の生産性 “すべての経済活動を、デジタル化する”
日本社会の構造的課題 LayerXの課題認識 LayerXの事業/ミッションとのつながり人口減社会で起こる課題の解決を、ソフトウェアでサポートするお金の生産性データの生産性バクラク事業 Fintech事業 AI・LLM事業

© 2023 LayerX Inc. 7 事業概略ハタラクを、バクラクに企業活動のインフラとなる法人支出管理（BSM）SaaSの自社開発・提供
新たな金融の、第一人者にデジタル証券、アセットマネジメント証券事業を三井物産との合弁会社にて展開組織の壁を超え、データを活用企業や行政の持つパーソナルデータを、組織を横断して安全に活用するための次世代のプライバシー保護技術を提供大規模言語モデルを理解し、先端を走る組織。 ChatGPTをはじめとした大規模言語モデル（LLM）関連技術に特化した新規プロダクト開発、R&D

© 2023 LayerX Inc. 8 エンジニア50名ほどの組織に元CTOが10名以上在籍しています。経営陣紹介チーム 1 上場を経験した
シリアルな経営チーム日本トップクラスのエンジニアチーム 2 Gunosy / DMM.com CTO CTO協会理事メルカリ CTO CTO協会理事 CARTA HoldingsCTO CTO協会理事 Gunosy創業・上場未踏スーパクリエータ Aimnig 創業・上場 Wantedly 執行役員サイバーエージェント・メルカリ上級執行役員

© 2023 LayerX Inc. 10 バクラクシリーズラインナップ稟議・支払申請・経費精算仕訳・支払処理効率化法人カードの発行・管理帳票保存・ストレージ
帳票発行 * 経費精算のSlack連携は申請内容の通知のみ・AIが領収書を５秒でデータ化・スマホアプリとSlack連携あり・領収書の重複申請などミス防止機能・AIが請求書を５秒でデータ化・仕訳・振込データを自動作成・稟議から会計までスムーズに連携・年会費無料で何枚でも発行可・インボイス制度・電帳法対応・すべての決済で1%以上の還元・AIが書類を5秒でデータ化・あらゆる書類の電子保管に対応・電子取引・スキャナ保存に完全対応・帳票の一括作成も個別作成も自由自在・帳票の作成・稟議・送付・保存を一本化・レイアウトや項目のカスタマイズも可能

15 © 2023 LayerX Inc. 「価値を創出する」とは？今回は「ユーザーの課題を解決でき、ビジネスとして成立するプロダクト作ること」と定義そのためには以下のような要素が必要 ※研究開発であったり、単に面白いものを作る、というのも大変重要で価値のあることです。そのような活動の先に、現在私たちが当たり前に使うことのできる技術があります。今回はあくまで「事業会社におけるプロダクト作り」にフォーカスしているということをご理解ください。
解決すべき課題を見極める技術的に解決することができるのか見極める実際にユーザーに使われプロダクトを作る • 本当にユーザーは困っている？ • 収益化できる？ • (機械学習)技術で解決できるのか？ • 真にユーザーの課題が解決されるソリューションとなっているか？ • 使いやすいUXとなっているか？ • 正しく（機械学習）技術を活用できるか？

16 © 2023 LayerX Inc. 「価値を創出する」とは？今回はこの中から３つの要素に注目してお話しします。解決すべき課題を見極める技術的に解決することが
できるのか見極める実際にユーザーに使われプロダクトを作る • 本当にユーザーは困っている？ • 収益化できる？ • (機械学習)技術で解決できるのか？ • 真にユーザーの課題が解決されるソリューションとなっているか？ • 使いやすいUXとなっているか？ • 正しく（機械学習）技術を活用できるか？

17 © 2023 LayerX Inc. 「価値を創出する」とは？「解決すべき課題を見極める」のも大変重要な要素ですが、今回は省略気になる方は「プロダクトマネジメント」などについて調べてみてください解決すべき課題を見極める
技術的に解決することができるのか見極める実際にユーザーに使われプロダクトを作る • 本当にユーザーは困っている？ • 収益化できる？ • (機械学習)技術で解決できるのか？ • 真にユーザーの課題が解決されるソリューションとなっているか？ • 使いやすいUXとなっているか？ • 正しく（機械学習）技術を活用できるか？

18 © 2023 LayerX Inc. 「価値を創出する」とは？「ユーザーの課題を解決でき、ビジネスとして成立するプロダクト作ること」と定義請求書受け取り業務の非効率を解消することで、時間（将来的にはお金も）の使い方の節約を目指す、バクラク請求書の「請求書読み取り機能」を例に説明していきます。解決すべき課題を
見極める技術的に解決することができるのか見極める実際にユーザーに使われプロダクトを作る • 本当にユーザーは困っている？ • 収益化できる？ • (機械学習)技術で解決できるのか？ • 真にユーザーの課題が解決されるソリューションとなっているか？ • 使いやすいUXとなっているか？ • 正しく（機械学習）技術を活用できるか？仕訳・支払処理効率化・AIが請求書を５秒でデータ化・仕訳データを自動学習、手入力ゼロへ・改正電子帳簿保存法に対応

21 © 2023 LayerX Inc. 機械学習で解決できる課題以下の３つのポイントを満たす場合、機械学習で課題を解決できる・解決すべき可能性が高い（正解データのある）大量のデータが得られる扱うデータが
十分に複雑であるデータの特性が変化し続ける

22 © 2023 LayerX Inc. 機械学習で解決できる課題（正解データのある）大量のデータが得られる扱うデータが十分に複雑である
データの特性が変化し続ける以下の３つのポイントを満たす場合、機械学習で課題を解決できる・解決すべき可能性が高い

23 © 2023 LayerX Inc. （正解データのある）大量のデータが得られる機械学習は、大量のデータから自動でルールを学習するデータが十分にないとルールを学習できなかったり（未学習）、学習データのみに適合してしまう（過学習） • 現時点でデータはあるのか？もしくはこれからたまる仕組みがあるのか？
• データは使える程度にはキレイか、開発に際してアクセス可能な状態か？ • 教師あり学習を行う場合は、正解データも十分に得られるか? ◦ アノテーションを行う必要があるなら、その仕組みや体制は整っているか？

24 © 2023 LayerX Inc. （正解データのある）大量のデータが得られる機械学習は、大量のデータから自動でルールを学習するデータが十分にないとルールを学習できなかったり（未学習）、学習データのみに適合してしまう（過学習） • 現時点でデータはあるのか？もしくはこれからたまる仕組みがあるのか？
→ 今もあるし（月次数百億円規模の請求書）、これからも増えていくであろう。 • データは使える程度にはキレイか、開発に際してアクセス可能な状態か？　→整備されており、適切な情報・権限管理のもと一部の開発者はアクセス可能 • 教師あり学習を行う場合は、正解データも十分に得られるか? → サービスが利用されると正解データであるユーザーの入力値がたまっていく。 ◦ アノテーションを行う必要があるなら、その仕組みや体制は整っているか？　　　　　→ 別途アノテーション用の基盤システムや、組織が整備されている。 https://note.com/fukkyy/n/nf00ddb836a03 の場合

26 © 2023 LayerX Inc. 扱うデータが十分に複雑である機械学習は、複雑で人間が記述することが難しいルールを見つけ出すのが得意単純なデータであれば、人手でルールを記述する（一般的なプログラミング）ので十分なことも。 • ルールが複雑（難解・大量）で人手で記述することが困難か？
◦ Fizz Buzz に機械学習を用いることもできるが、そのコストを事業上許容できるかというと... • データの扱いが難しいか？ ◦ 非常にたくさんのカラムがある表データ ◦ 自然言語や画像、音声などの非構造化データ

27 © 2023 LayerX Inc. 扱うデータが十分に複雑である機械学習は、複雑で人間が記述することが難しいルールを見つけ出すのが得意単純なデータであれば、人手でルールを記述する（一般的なプログラミング）ので十分なことも。 • ルールが複雑（難解・大量）で人手で記述することが困難か？
→ 世の中には様々な請求書のパターンが存在しており、かつ、ユーザーの運用もそれぞれで複雑である。 • データの扱いが難しいか？ → 非構造化データである画像ファイルやPDF形式の請求書を扱う必要がある。の場合

29 © 2023 LayerX Inc. データの特性が変化し続ける機械学習は、データの特性が変わっても再学習することで自動で新しいルールを更新できる変化し続けるルールを人手で更新し続けるのは困難。変化しないなら気合いですべて記述してしまう手も？ • ユーザーの性質は変化するか？
◦ プロダクト規模の拡大により、異なるセグメントのユーザーが利用するようになったり ◦ 同一ユーザーでも時間の流れとともに嗜好が変わったり • 世の中の状況の変化にプロダクトは影響を受けるか？ ◦ 法改正・流行の変化・景気・パンデミック...

30 © 2023 LayerX Inc. データの特性が変化し続ける機械学習は、データの特性が変わっても再学習することで自動で新しいルールを更新できる変化し続けるルールを人手で更新し続けるのは困難。変化しないなら気合いですべて記述してしまう手も？ • ユーザーの性質は変化するか？
　→ 様々な規模や業界の企業さまにご利用いただけるようになっていっている。企業さまにより、利用している請求書のフォーマットは様々。 • 世の中の状況の変化にプロダクトは影響を受けるか？ → 「インボイス制度」により、読み取ることのできるべき請求書の項目が増加。 → コロナ禍による在宅勤務が進んだ影響などで、副業を行う個人事業主が増加。の場合

31 © 2023 LayerX Inc. 機械学習で解決できる課題適切に状況を見極め、手段（≠目的）である機械学習を適用するべきか考えることが重要（正解データのある）大量のデータが得られる扱うデータが
十分に複雑であるデータの特性が変化し続ける

35 © 2023 LayerX Inc. 何を入出力とするか「請求書の読み取り機能」と聞くと、どのような入出力を想像しますか？請求書ファイル（画像・PDF）支払期日
支払金額 2021/04/30 取引先 11,000 株式会社テンプレ請求書に記載の項目ごとの値多分こんな感じ...

36 © 2023 LayerX Inc. 何を入出力とするか「請求書の読み取り機能」と聞くと、どのような入出力を想像しますか？これはこれで正しいのだが、ユーザーが本当に求めているものは何なのか考えてみることが重要請求書ファイル（画像・PDF）
支払期日支払金額 2021/04/30 取引先 11,000 株式会社テンプレ請求書に記載の項目ごとの値

37 © 2023 LayerX Inc. 顧客（ユーザー）が本当に求めている出力ケース1 支払期日として2021年2月28日(日)を検出顧客「実際に支払うのは平日の26日(金)だから変更しないと！」ケース2
支払金額として500,000円を検出顧客「実際に支払うのは源泉税10.21%を差し引いた448,950円だから変更しないと！」ユーザーが本当に欲しいのは「請求書に記載の値」ではなく「実際の運用に即した値」

38 © 2023 LayerX Inc. 何を入出力とするか顧客（ユーザー）が本当に求めていた「請求書読み取り機能」の入出力請求書ファイル（画像・PDF）支払期日
支払金額 2021/02/28 取引先 500,000 株式会社テンプレ請求書に記載の項目ごとの値支払期日支払金額 2021/02/26 取引先 448,950 株式会社テンプレ請求書に記載の項目ごとの値に基づいた実際の運用に即した値 • 「請求書に記載の値」を正確に読み取れるだけでもユーザーは十分嬉しいが、それだけでは真の課題解決にならない。 • 「実際の運用に即した値」を出力できて初めて真の課題解決、大きな価値を提供できたこととなる。

39 © 2023 LayerX Inc. 「顧客が本当に必要だったもの」を明らかにする方法例のアレ顧客へのヒアリングや、実際に顧客に製品（プロトタイプ）を使ってもらう、データ分析、等々... • 詳しく学びたい人はプロダクトマネジメントを学んでみよう！めちゃくちゃ難しいです。
• LayerX ではめちゃくちゃ顧客にヒアリングをしたり、社内にドメインエキスパートがいたりします。 https://dic.nicovideo.jp/a/%E9%A1%A7%E5%AE%A2%E3%81%8C%E6%9C%AC%E5%BD%93%E3% 81%AB%E5%BF%85%E8%A6%81%E3%81%A0%E3%81%A3%E3%81%9F%E3%82%82%E3%81%AE

41 © 2023 LayerX Inc. 何を性能指標とするか請求書ファイル（画像・PDF）支払期日支払金額
2021/02/26 取引先 448,950 株式会社テンプレ請求書に記載の項目ごとの値に基づいた実際の運用に即した値この「請求書読み取り機能」が「真にユーザーの課題を解決している」とはどういう状態？ • 1,000件の請求書が入力されて、すべてに対して「実際の運用に即した値」＝「正解」を出力できていたら完璧 ◦ だが、もちろん実際はそうもいかない • では、1,000件の請求書が入力されて、910件が正解を出力できている状態は？ ◦ 91%正解できているのでけっこう良さそう！本当に...？

42 © 2023 LayerX Inc. 全体の正解率だけでは見えないものがある 1,000件の請求書が入力されて、910件が正解を出力、正解率91%！でも... • たとえば10人のユーザーが利用してくれているとする。 •
実は１人のユーザーが910件の請求書を入力していて、残りの9人はそれぞれ10件ずつ入力していたとする。 • 実は正解している910件はすべて１人のユーザーが入力したものだとする。 • その場合、１人のヘビーユーザーは正解率100%で大変満足しているが、残りの9人は正解率0%となる。 • 10人のユーザーが利用してくれているのに、１人（10%）のユーザーにしかプロダクトの価値が提供できていないこの状態は決して「真にユーザーの課題を解決している」とは言えないはず。 😃 😃 😃 😃 😃 😃 😃 😃 😃 😃 😃 😃 😃 😃 😃 😃 😃 😃 😃 😃 😆 😓 😓 😓 😓 😓 😓 😓 😓 😓

43 © 2023 LayerX Inc. 全体だけではなく個別の事象を性能指標に反映する以下の例はともに1,000件の請求書が入力されて、910件が正解を出力、正解率91%！でも... • １人のヘビーユーザーが正解率100%で、残りの9人は正解率0%の場合 ◦
ユーザーごとの正解率の平均は(100 + 0 * 9) / 10 = 10% • １人のヘビーユーザーは正解率約95%(865/910)で、残りの9人は正解率50%(5/10)の場合 ◦ ユーザーごとの正解率の平均は(95 + 50 * 9) / 10 = 54.5% 常にユーザーへの提供価値から逆算して何を性能指標とするべきか考える全体の正解率(91%)は同じでも、ユーザーごとの正解率の平均には大きな差が生まれた。今回のケースの場合、おそらく後者のほうがプロダクトを利用するユーザーの課題が解決されている状態と言えるため、全体の正解率（だけ）よりかは、ユーザーごとの正解率の平均を性能指標として使うことは筋が良さそう。 (これはこれで、入力の少ないユーザーの重みが大き過ぎるという問題があるかもしれないが...) 正直なところ正解はない... 難しい...でもだからこそ面白い！

44 © 2023 LayerX Inc. さらにユーザーへの提供価値を考えてみるバクラクが解決したい課題を思い返すと、請求書読み取りが目指すところは “Saving Time” たとえば、「ユーザーが請求書処理において１枚当たりにかけた時間」を性能指標にすることが考えられる。
• システムが正解を出力できれば最短で請求書の処理が終わるので性能指標が改善される。 • システムが入力の請求書を受け取ってから出力を返すまでの時間が短くなれば性能指標が改善される。 • 正解を出力できなくとも、ユーザーができるだけ早く間違いを訂正できるような仕組みを提供できれば性能指標の悪化を最低限に抑えられる。どれだけたくさんの正解を出力できるか、以外の要素も真の課題解決・ユーザーへの提供価値最大化には重要

47 © 2023 LayerX Inc. 正しく機械学習を活用できるか「請求書ファイル」を入力、「実際の運用に即した値」を出力と定義、正解データを集めて機械学習？それでも悪くないが、 end-to-end な機械学習（深層学習）が常にベストな選択とは限らない
• 技術的な難易度や、単純に問題としての難易度が向上する。 • 一般的に必要なデータ量が（より）膨大になる。必要なマシンリソースや学習にかかる時間なども大きくなる。 • まるまるブラックボックスになるため、予測性能が落ちた際などに問題の切り分けが難しい。請求書ファイル（画像・PDF）支払期日支払金額 2021/02/26 取引先 448,950 株式会社テンプレ請求書に記載の項目ごとの値に基づいた実際の運用に即した値

48 © 2023 LayerX Inc. 問題を分割してみる入力から出力までを意味のある単位で分割し多段の処理で表現、よりうまく機械学習で解けないか、あるいは機械学習という手段を取らない方が良い処理がないか検討してみる。請求書ファイル（画像・PDF）
支払期日支払金額 500,000 請求書に記載の項目ごとの値実際の運用に即した値 { “bbox”: [{"x": 0.3421, "y": 0.567},...], "word": “2021/2/28” },... ２０２１/02/28 株式会社テンプレ取引先支払期日支払金額 448,950 2021/02/26 株式会社テンプレ取引先請求書内の文字と座標たとえば、 • 請求書ファイルから文字検出と文字認識を行う処理と、それぞれの文字がどの項目に該当するか推定する処理を加えることで、「請求書内の文字と座標」という中間出力を追加 • 「請求書に記載の値」を「実際の運用に即した値」に変換する処理を加えることで、それぞれを分割項目推定なんらかの変換処理文字検出文字認識

49 © 2023 LayerX Inc. 自前で機械学習モデルを作成する以外の手段の検討請求書ファイル（画像・PDF）支払期日支払金額
500,000 請求書に記載の項目ごとの値実際の運用に即した値 { “bbox”: [{"x": 0.3421, "y": 0.567},...], "word": “2021/2/28” },... ２０２１/02/28 株式会社テンプレ取引先支払期日支払金額 448,950 2021/02/26 株式会社テンプレ取引先請求書内の文字と座標たとえば、 • 文字検出・文字認識は自前で実装せずにクラウドサービスを利用したほうが手間が少なく、精度も高いかも。 • 「請求書に記載の値」を「実際の運用に即した値」に変換する処理は、ある程度まではルールベースで十分かも。 ◦ e.g. 抽出された支払期日か土日ならば、それ以前の最後の平日の日時に変換する文字検出文字認識項目推定なんらかの変換処理 Vision API などのクラウドサービスを利用ルールベースで後処理

50 © 2023 LayerX Inc. 本当に必要な処理のみ自前で機械学習モデルを作成する請求書ファイル（画像・PDF）支払期日支払金額
500,000 請求書に記載の項目ごとの値実際の運用に即した値 { “bbox”: [{"x": 0.3421, "y": 0.567},...], "word": “2021/2/28” },... ２０２１/02/28 株式会社テンプレ取引先支払期日支払金額 448,950 2021/02/26 株式会社テンプレ取引先請求書内の文字と座標請求書内の文字と座標がそれぞれどの項目に該当するか推定する、という処理に対して自前で機械学習モデルを作成 • end-to-end な機械学習に比べて技術的な難易度や問題としての難易度が低減 • 必要なデータ量、マシンリソースや学習にかかる時間などのコストが削減 • 予測性能が落ちるなど問題が生じた際、どこの処理で問題が起きているのかの原因に切り分けが行いやすい文字検出文字認識項目推定なんらかの変換処理 Vision API などのクラウドサービスを利用ルールベースで後処理自前で機械学習モデルを作成

51 © 2023 LayerX Inc. 正しく機械学習を活用できるか問題を分解した上で、解決する難易度や精度、コストのバランスを鑑みた上で適切な処理に機械学習を適用することが重要請求書ファイル（画像・PDF）
支払期日支払金額 500,000 請求書に記載の項目ごとの値実際の運用に即した値 { “bbox”: [{"x": 0.3421, "y": 0.567},...], "word": “2021/2/28” },... ２０２１/02/28 株式会社テンプレ取引先支払期日支払金額 448,950 2021/02/26 株式会社テンプレ取引先請求書内の文字と座標文字検出文字認識項目推定なんらかの変換処理 Vision API などのクラウドサービスを利用ルールベースで後処理自前で機械学習モデルを作成

53 © 2023 LayerX Inc. まとめ - 「機械学習」という技術で価値を創出する技術 • 機械学習で解決できるのか
◦ 適切に状況を見極め、手段（≠目的）である機械学習を適用するべきか考えることが重要 • 真にユーザーの課題が解決されるか ◦ ユーザーの課題が解決されるか・ユーザーへの提供価値から逆算してシステムの入出力や性能指標を考えることが重要 • 正しく機械学習を活用できるか ◦ 問題を分解した上で、解決する難易度や精度、コストのバランスを鑑みた上で適切な処理に機械学習を適用することが重要

◦ 適切に状況を見極め、手段（≠目的）である機械学習を適用するべきか考えることが重要 • 真にユーザーの課題が解決されるか ◦ ユーザーの課題が解決されるか・ユーザーへの提供価値から逆算してシステムの入出力や性能指標を考えることが重要 • 正しく機械学習を活用できるか ◦ 問題を分解した上で、解決する難易度や精度、コストのバランスを鑑みた上で適切な処理に機械学習を適用することが重要いろいろと説明・事例を紹介しましたが、プロダクトの性質や状況によって進め方は様々なので、原則に基づいて自分の頭でしっかり考えることが重要

56 © 2023 LayerX Inc. 意外と生成AIの普及はまだまだ https://www.pwc.com/jp/ja/press-room/generative-ai-survey20230519.html PwC 『生成AIに関する実態調査 2023』
使ったことがある人が10%、業務で活用している人が3%

58 © 2023 LayerX Inc. 大規模言語モデルの普及がもたらしたもの AI・機械学習の民主化：誰でも容易に高性能な機械学習モデルを活用できるように • ChatGPTなどを利用することで機械学習の知識や実装なしで文書要約や情報抽出、質問応答など代表的な自然言語処理タスクを解くことができる。
• OpenAI APIなどを利用することで簡単な機械学習の知識と実装のみで自然言語処理を活用した機能開発を行うことができる。 ◦ 文書要約、情報抽出, etc. ◦ チャットボット ◦ 文書の埋め込み表現を利用した検索システム実装: ここではいわゆるプログラミングを指します。プロンプトエンジニアリングは別途必要になることが多いです。

60 © 2023 LayerX Inc. （残念ながら）機械学習エンジニアの仕事はなくならない MLモデルの作成だけが機械学習エンジニアの仕事ではない • 大規模言語モデルもあくまで道具。いい道具さえあれば良いモノが作れる...？
◦ 最近はChatGPTなどを利用したサービスや機能がいろいろとリリースされているが、真にユーザーの課題を解決するようなモノがどれほどあるかというと...? ◦ 使われないモノを作るだけならまだしも、ユーザー体験を大きく損ねてしまったり、evilなモノを作ってしまったり、取り返しのつかない事故に繋がることも... • そもそも個別のドメイン・タスクで実用的なモデルを作成するためのファインチューニングはまだ必要 https://dic.nicovideo.jp/a/%E9%A1%A7%E5%AE%A2%E3%81%8C%E6%9C%AC%E5%BD%93%E3%81%AB%E5 %BF%85%E8%A6%81%E3%81%A0%E3%81%A3%E3%81%9F%E3%82%82%E3%81%AE 例のアレ

61 © 2023 LayerX Inc. とはいえ手を動かしている人はえらい実際にモノを作ってみないと・使ってもらわないと分からないことがたくさんある • 大規模言語モデルという「道具」は間違いなく有用なものなので、それをどう活かせばいいのか実際に使ってみて検証することは重要
• リリースすることで事例を世の中に共有することの大きな意義 https://tech-blog.tabelog.com/entry/first-challenge-t abelog-chatgpt-plugin-devleopment https://note.com/yuya4/n/ncf927e0b7a23 手を動かすことの重要性を説く私のnote 最高な動きだと思った食べログさんのブログ

62 © 2023 LayerX Inc. 大規模言語モデルを活用してプロダクトを作る際に留意すべき点一般的なプロダクトマネジメントの観点に加えて大規模言語モデル(MLモデル)特有の観点が必要意図せぬ出力を考慮した設計性能評価
データガバナンスデータ収集 MLを使ったシステムは大前提「間違う」。ChatGPTは「嘘をつく(Hallucination)」。意図せぬ入力やプロンプトインジェクション。入力が同じでも出力が変わる可能性。これらを想定した仕組みや体験の設計、使い所の見極めが必要。モデルの出力による性能をどのような指標でどのように評価するのか？プロダクトの OKRやKPIとの紐付け。適合率（誤検知しない）と再現率（見逃さない）どちらを重視するか。セグメントごとに偏りはないか。公平性に問題はないか。説明性・解釈性は必要か。この指標に基づいてファインチューニングすることも。誤った指針で学習したモデルはプロダクトを誤った方向へと導く。性能評価のための、あるいはファインチューニングのためのデータを収集する必要がある。追加でログを仕込むなどのアクションが必要なことも。正解データを集めるためにアノテーションの設計も必要かも。データの利用やプライバシーに関する倫理的な配慮や規制は十分か。許可していないデータを使っていないか。気づかぬうちに外部のモデルの学習に使われていないか。ユーザーの入力がサービス内の他のユーザーの出力に反映されてしまわないか。ユーザーが退会した際やデータの削除を求めた場合の扱いをどうするのか。などなど...

63 © 2023 LayerX Inc. Machine Learning Product Management(MLPdM) MLPdM:
機械学習を活用するプロダクトを作るのに必要な能力・職種 • 一般的なプロダクトマネジメントの観点にML特有な観点を加えたもの • 最も必要な能力は「MLを使う必要のない状況で使わない意思決定ができる能力」 • AI・機械学習の民主化に伴い今後ますます注目されるであろう https://github.com/aws-samples/aws-ml-enablement-workshop https://www.youtube.com/watch?v=EhlHKhQv0Qg SpotifyのMLPdMの方の講演プロダクトマネージャーが、機械学習の「勝ちパターン」を実現するチームとロードマップが作れるワークショップ

◦ 適切に状況を見極め、手段（≠目的）である機械学習を適用するべきか考えることが重要 • 真にユーザーの課題が解決されるか ◦ ユーザーの課題が解決されるか・ユーザーへの提供価値から逆算してシステムの入出力や性能指標を考えることが重要 • 正しく機械学習を活用できるか ◦ 問題を分解した上で、解決する難易度や精度、コストのバランスを鑑みた上で適切な処理に機械学習を適用することが重要いろいろと説明・事例を紹介しましたが、プロダクトの性質や状況によって進め方は様々なので、原則に基づいて自分の頭でしっかり考えることが重要

「機械学習」という技術で価値を創出する技術 〜プロダクト開発に機械学習を応用する際に考えること〜.pdf / techniques-to-create-values-with-ml-layerx-at-wi2

「機械学習」という技術で価値を創出する技術 〜プロダクト開発に機械学習を応用する際に考えること〜.pdf / techniques-to-create-values-with-ml-layerx-at-wi2

More Decks by Yuya Matsumura

Other Decks in Technology

Featured

Transcript

「機械学習」という技術で価値を創出する技術〜プロダクト開発に機械学習を応用する際に考えること〜.pdf / techniques-to-create-values-with-ml-layerx-at-wi2

「機械学習」という技術で価値を創出する技術〜プロダクト開発に機械学習を応用する際に考えること〜.pdf / techniques-to-create-values-with-ml-layerx-at-wi2