LLM in Production #2 Meetup 231023_AI inside

Transcript

1. Confidential © AI inside Inc. 1 Confidential © AI inside Inc. LLM Production Community LLMプロダクト活用の ”勘所”
2. Confidential © AI inside Inc. AGENDA • 自己紹介 • サービス紹介 • プロダクトでのLLMの活用 • LLM活用の“勘所” • まとめ 2
3. Confidential © AI inside Inc. AGENDA • 自己紹介 • サービス紹介 • プロダクトでのLLMの活用 • LLM活用の“勘所” • まとめ 3
4. Confidential © AI inside Inc. 自己紹介 AI inside 株式会社 Director of Product Management Division 井上 拓真（Takuma Inoue） これまでスマートフォンアプリからサーバーサイドま で幅広く手がける。プログラミング講師として数百名 の教育やカウンセリングに関わり、第一線のプログラ マーを輩出した経験も。 株式会社aiforce solutionsでCTOを務めAutoMLツール を開発し、AI inside では独自の日本語LLMサービスや 生成AIを活用したAIエージェントの開発をPMとしてリ ードする。 ドラクエ6を7回全クリした過去や、コンビニの惣菜が 大好きという背景を持つ。
5. Confidential © AI inside Inc. AGENDA • 自己紹介 • サービス紹介 • プロダクトでのLLMの活用 • LLM活用の“勘所” • まとめ 5
6. Confidential © AI inside Inc. デロイト トーマツ ミック経済研究所株式会社2021年3月発刊 「ニューノーマル時代にAI OCRで拡大するOCRソリューション市場動向 2021年度版」 OCRベンダーのソフトウェアライセンス売上のうちクラウド売上のシェアNo.1 2019 2023 2022 あらゆる業務判断の束縛から開放、本来注力業務へ 独自業務の判断・判別のAIを作成 今あるメンドクサイ業務をAIで代替 AIが業務を生成する 〈市場シェア〉 AI-OCR 市場シェアNo.1 2015 帳票デジタル化サービス 帳票特化型AI群 マルチモーダルなAI統合基盤 業務知見AI 6 サービス紹介
7. Confidential © AI inside Inc. サービス紹介 帳票デジタル化の市場で価値出して います。 「データ化（Digitization）」です！ これを愚直に8年やっています！ 地味ーー！！と思うじゃないですか？
8. Confidential © AI inside Inc. サービス紹介 この世の全てを「データ化」する すべてのAI・DXの大前提は「データ」 この発生源を探り、質を上げていき、ここを握る エキサイティングなお仕事です！ 帳票 音声 画像 今強い領域 生成AIで強化される領域
9. Confidential © AI inside Inc. AGENDA • 自己紹介 • サービス紹介 • プロダクトでのLLMの活用 • LLM活用の“勘所” • まとめ 9
10. Confidential © AI inside Inc. プロダクトでのLLMの活用 種類が少ない、モデル構築に時間がかかり、需要に追いつかない。 確実だが、ただただ面倒くさい。 全て不要に！ （なるかも！）
11. Confidential © AI inside Inc. プロダクトでのLLMの活用 高精度のデータ変換が、個別学習なしに即可能になりました！！ xxxxxxxxxxxxxxx xxxxxxxxxxxxxxx xxxxxxxxxxxxxxx xxxxxxxxxxxxxxx xxxxxxxxxxxxxxx xxxxxxxxxxxxxxx xxxxxxxxxxxxxxx xxxxxxxxxxxxxxx 高精度全文AI-OCR LLMによるデータ変換・抽出 （この例は構造化）
12. Confidential © AI inside Inc. プロダクトでのLLMの活用 生成AIの活用により「早く」「幅広く」「遠く」 までデータ化の恩恵を届けることができる！ 今まで構造化不 可能な帳票や文 書に対応 さらに音声や画 像にも（入力の 多様化） 構造化にとどまらず、より本質的な価 値に近いところまでデータを「変換」 できる（出力の多様化） より高速に「業務」に適用 （運用・改善の高速化）
13. Confidential © AI inside Inc. プロダクトでのLLMの活用（事例） バラバラのフォーマットのエクセルファイルと PDFから情報を抽出。それを構造化されていない エクセルのマクロファイルに転記する。 生成AIによるデータ化が活躍して、今まで人力で は不可能だった作業をほぼ完全に自動化へ。 複雑なファイル転記で数十億円の 機会損失を防ぐ xxxxxxxxxxxxxxx xxxxxxxxxxxxxxx xxxxxxxxxxxxxxx xxxxxxxxxxxxxxx xxxxxxxxxxxxxxx xxxxxxxxxxxxxxx xxxxxxxxxxxxxxx xxxxxxxxxxxxxxx xxxxxxxxxxxxxxx xxxxxxxxxxxxxxx xxxxxxxxxxxxxxx xxxxxxxxxxxxxxx xxxxxxxxxxxxxxx xxxxxxxxxxxxxxx xxxxxxxxxxxxxxx xxxxxxxxxxxxxxx xxxxxxxxxxxxxxx xxxxxxxxxxxxxxx xxxxxxxxxxxxxxx xxxxxxxxxxxxxxx xxxxxxxxxxxxxxx xxxxxxxxxxxxxxx xxxxxxxxxxxxxxx xxxxxxxxxxxxxxx xxxxxxxxxxxxxxx xxxxxxxxxxxxxxx xxxxxxxxxxxxxxx xxxxxxxxxxxxxxx xxxxxxxxxxxxxxx xxxxxxxxxxxxxxx xxxxxxxxxxxxxxx xxxxxxxxxxxxxxx
14. Confidential © AI inside Inc. AGENDA • 自己紹介 • サービス紹介 • プロダクトでのLLMの活用 • LLM活用の“勘所” • まとめ 14
15. Confidential © AI inside Inc. 勘所 LLMの価値をプロダクトの価値で評価すること（自戒も込めて） LLM有りきはダメ❌ LLMがプロダクトのどんな価値を高めるのか？ ちゃんと言語化できていないとブレブレになる。 （うちもそうでした💦） たとえばAI inside はLLMの以下の点に価値を感じた • データ変換が得意 • （基本的には）個別学習なしで業務に埋め込める
16. Confidential © AI inside Inc. 勘所 LLMの価値をプロダクトの価値で評価すること • ただの質問だと嘘をつきやすい • 一方で適切な文脈を与えた範囲での処理はうまい データ変換が得意 そもそもデータ変換がメイン事業の AI inside には相性が良い！！
17. Confidential © AI inside Inc. 勘所 LLMの価値をプロダクトの価値で評価すること データ収集 データ加工 学習 運用 運用 学習 （few-shot） LLM前 （非定型モデル開 発） LLM後 （zero-shot構造化） 価値を出す速度が向上！ 精度向上の速度もアップ！ AIの最大のハードルである 「まず使ってみる！」ができる！ （基本的には）個別学習なしで業務に埋め込める
18. Confidential © AI inside Inc. 勘所 うまくいったこと、いかなかったこと なんかみんなやってる できそうなことをやらせる LLMが得意な形式のデータを作る うまくいったこと うまくいかなかったこと プロンプトをEUに書かせる （ような設計） 適切なプロンプトで生成範囲を狭める いきなりモデルを作りにいく 課題が明確なpre-trainingやfine-tuningは 効果あり
19. Confidential © AI inside Inc. AGENDA • 自己紹介 • サービス紹介 • プロダクトでのLLMの活用 • LLM活用の“勘所” • まとめ 19
20. Confidential © AI inside Inc. まとめ • LLMはプロダクトに実装したくなる魔力がある。が、ビルドトラ ップにハマらないように注意 • やはり質の良いデータが全て。LLMの活用も、LLMを活用したプ ロダクトもデータの質の向上に向かっていく