Dify on AWSでAIアプリの プロトタイピングを高速化

[東北][仙台][JAWS-UG 仙台] LT & AWS BuilderCards 体験会

Transcript

1. © asken.inc Dify on AWSでAIアプリの プロトタイピングを高速化 25/01/24 Yoshihiro Iwama
2. © asken.inc 2 対象者 • Dify is 何？の方 Dify の概要について簡単に理解していただきたい AWSに構築して使ってみようと思っていただければ • Dify バリバリ使っているよ！の方 何かしら持って帰っていただけると幸いです 　
3. © asken.inc 3 自己紹介 • 名前：岩間 良浩 ( iwahiro / x: @yoshivic) • 所属：株式会社asken • 好き： 沖縄、AWS Lambda、AWS CDK • 経歴： ◦ 前職はNEC Solution Innovatorsという会社にい て主に受託開発のリーダ ◦ 現在はバックエンドのテックリード
4. © asken.inc askenは、栄養学の知見とテクノロジーをかけあわせ「ひとびとの明日を今 日より健康にする」ことをミッションに、下記の事業を展開しています。 • 国内個人向けサービス:AI食事管理アプリ『あすけん』の開発 • 運営 ・法人向けサービス:従業員の食生活改善、市民の健康増進などを目的とした『あすけ ん』の団体向け利用 • 海外個人向けサービス:北米でのスマホアプリ『Asken Diet』の開発・運営 • 食事療法を補助する治療用アプリ(医療機器プログラム)の開発 　設立 　：2007年10月1日 　所在地 ：〒163-1442 東京都新宿区西新宿三丁目20番2号 東京オペラシティタワー42F 　株主 ：株式会社グリーンハウス(100%出資) 　コーポレートサイト： https://www.asken.inc 4 株式会社askenのご紹介
5. © asken.inc 5 askenのミッション
6. © asken.inc 『あすけん』とは 管理栄養士監修のアドバイスをもとに、 食生活の改善を促す国内最大級※のAI食事管理アプリ 管理栄養士に監修されたあなたの為の アドバイスが届く 食べたものを入力するだけで カロリー・栄養素を自動計算 6 ※日本国内AppStoreとGooglePlay合算の「ヘルスケア（健康）/フィット ネス」カテゴリにおける、2021年～2024年のダウンロード数および収益 （2025年1月、data.ai調べ）
7. © asken.inc 会員規模・食事記録数 iOS・Androidアプリ合計 月間 約121万UU ※2 1100万人 突破！ ※1　2007年～2024年10月までにあすけんに記録された食事記録の総件数 ※2　2024年7月1日～2023年7月31日 売上 ダウンロード数 食事記録レコード数 約 80億件※1 アプリストア　ヘルスケアカテゴリー 年間ダウンロード数・売上ランキング共に 4年連続年間 1位※ ※日本国内AppStoreとGooglePlay合算の「ヘルスケア（健康）/フィットネス」カテゴリにおけ る、2021年～2024年のダウンロード数および収益（2025年1月、data.ai調べ） 7
8. © asken.inc 最近のトピックス 8 あすけん印の体組成計 食品のAI画像解析リニューアル
9. © asken.inc 最近のトピックス 9 あすけん公式本、第２弾 結局、これしか作らない！ 短いレシピ 2023年12月発売 あすけん公式本　第１弾 これを食べるが勝ち 2023年4月発売 あすけん公式本、第３弾 50代からの食べやせ術 2024年2月発売 あすけん公式本、第４弾 ほぼ100円野菜で整うスープ 2024年10月発売 あすけん公式本、第５弾 食べ過ぎをなおして自然に やせる！ あすけん公式７日間で適量 が身につくレシピ 2024年12月発売
10. © asken.inc 10 さて本題 みなさんAIアプリ開発してますか？
11. © asken.inc 11 askenでの取り組み • 既存プロダクトへのAI組み込み • 新規AIプロダクトの開発 • 業務効率化のためのチャットボットやエージェント などなど・・・ やりたいことが多いが やりきれていない
12. © asken.inc 12 でもAIを組み込んだ開発を進めたい！
13. © asken.inc 13 プロダクトへの適用を スピード感をもって進めたい！！
14. © asken.inc 14 特にプロトタイピングを サクッとやってしまいたい！！！
15. © asken.inc 15 そうだ、Dify を使ってみよう
16. © asken.inc 16 Difyとは？ ノーコード／ローコードでAIアプリの迅速な開発、デプロイ、運用をサ ポートするプラットフォーム • 主要機能 ◦ 複数のAIモデル（Claude, GPT, Gemini,…）を組み合わせて利用可能 ◦ 外部データ接続（DB、API） ◦ OSSでありセルフホスティングが可能 ◦ 操作性のよいWEB UIが備わっている など
17. © asken.inc 17 Difyとは？
18. © asken.inc 18 Difyとは？
19. © asken.inc 19 Dify on AWS を選んだ理由① Difyを使うことにより得られるスピーディな実装とモニタリング • WEBのGUI操作だけで簡単にチャットボットなどを作って動かせる • 作ったものはそのままAPIとして呼べる • 作ったAPIの利用状況（実行履歴やトークン使用量）を確認可能 • LangFuse、LangSmith との連携も容易 • エンジニア以外も使えそう
20. © asken.inc 20 Dify on AWS を選んだ理由② AWSへの構築 • AWS Bedrockの存在 ◦ ClaudeやCohereなど複数のプロバイダーが提供するLLMを基盤モデルとして利 用できる ◦ 利用することでAWSの中に閉じることができるのでガバナンスやセキュリティ のコントロールがしやすい • AWSのサービスとの統合 ◦ ナレッジベースをRAGとして活用できたり、Difyのワークフローから直接AWS のサービスと連携が可能
21. © asken.inc 21 AWSにDifyを構築する方法 1. Dify Premium on AWS ◦ AWS Marketplace の AMI を利用 2. Dify on AWS EC2 ◦ EC2 を用意しDifyをインストール 3. Dify on AWS ECS ◦ AWS CDK を利用して ECS にインストール 4. Dify on AWS EKS ◦ AWS CDK （HelmChart）を利用して EKS にインストール プロトタイピングとして too much • t3.large ~ • EC2 に Public IP つけてア クセス(80port) • 設定変更は2.のセルフホ ストと一緒 • Eメールのサポート 決定
22. © asken.inc 22 アーキテクチャ • Cloudfront-EC2間は VPC Originを利用 • WAFで接続元IPをフィルタ • S3でWEBアプリ配信 （React/Vite） • DifyはEC2上にDockerで起動
23. © asken.inc 23 Difyを使って実際にやったこと 1. ユーザインタビュー動画の分析 2. AIアプリの開発とデモ・ユーザ検証 (ごめんなさい、アプリの仕様や検証内容は内緒です 🤐)
24. © asken.inc 24 ユーザーインタビュー動画の分析結果 既存の分析の方法（手順や考え方など）をAIにさせかつ以下も行ったが 期待する精度で結果が得られなかった😢 • プロンプトチューニングの実施 • RAGの利用 今後の課題🦾
25. © asken.inc 25 AIアプリ開発とデモ・ユーザ検証の 結果 • 開発・デモ ◦ スプリントレビューで実際に動く、触れるアプリのデモがあたりまえになり 良質なフィードバックを得れるようになった ◦ レビュー中にDifyの画面を見せながら修正して再デモのようなことも可能に • ユーザ検証 ◦ 実際にユーザに使ってもらった結果も履歴から確認できハルシネーションの確 認などに役立った 大成功🎉
26. © asken.inc 1. ドメイン知識を保有するメンバのプロンプトチューニングが効率的 2. エンジニアと非エンジニア※の分担は ▪ 大枠のワークフロー作成をエンジニア ▪ プロンプトチューニングなどを非エンジニア が良さそう 26 学び ※非エンジニア：管理栄養士・UXデザイナー
27. © asken.inc 27 ドメイン知識を保有するメンバのプロンプトチューニングが効率的 • 当初はAIエンジニアが担当していたが精度を上げるのが難しかった • ドメインエキスパートの管理栄養士やUXデザイナーとペアチュー ニングを実施 • 最終的には管理栄養士やUXデザイナーのみで実施するように ◦ DifyはWEB UIがあるので非エンジニアをプロンプトチューニングに巻き込みや すい ◦ AIエンジニアの業務負荷も下げられた 学び①
28. © asken.inc エンジニアと非エンジニアの分担について • シンプルな実装のケース（簡単なチャットボット作るイメージ） ◦ 非エンジニアでも作成できるので任せる ※プロンプトチューニングなどのサポートはする • チャットフロー・ワークフローを使う複雑なケース ◦ エンジニアが大枠のフローを作る ◦ 非エンジニアには部分的なカスタマイズを委ねる 28 学び②
29. © asken.inc 29 実際に作ったチャットフロー これをエンジニアではない人が作るのは厳しい...
30. © asken.inc 30 But Difyを使えるようにならなきゃという課題感から勉強に着手！！ askenにはDifyを使いこなす管理栄養士・UXデザイナーが爆誕しようと している！！！
31. © asken.inc 31 そして、つい最近 PdM: よし！プロトタイプいい感じだ！ 　　 今の会員さん向けにA/Bテストするぞ！！ 私: 　めっちゃスピード感出てる、Go Go ーー！ 　　　.....！？ 　　　待って、今のプロトタイピング用構成じゃ耐えられない🤯 　　　セキュリティもちゃんと考えないと！
32. © asken.inc 32 今後の課題 • Difyのスケーラブル（スケールアウト）な構成の検証 ◦ Difyはスパイクが発生するようなサービスのPFとして適切なのか？ • キャパシティ設計 • コスト設計 • セキュリティ設計 • 運用設計 • ・・・ いっぱいある🥺
33. © asken.inc 33 次に採用するアーキテクチャは 🤔
34. © asken.inc 34 AWSにDifyを構築する方法 1. Dify Premium on AWS ◦ AWS Marketplace の AMI を利用 2. Dify on AWS EC2 ◦ EC2 を用意しDifyをインストール 3. Dify on AWS ECS ◦ AWS CDK を利用して ECS にインストール 4. Dify on AWS EKS ◦ AWS CDK （HelmChart）を利用して EKS にインストール 相当数のリクエストを 受け付けるので捌きき れない... k8sの導入・運用が 大変... 第一候補として検証
35. © asken.inc 35 ECSを採用した場合の構成 https://github.com/aws-samples/dify-self-hosted-on-aws
36. © asken.inc 機会があれば次のアーキテクチャの構築や運用についての 結末をどこかでお話させてください😁 36 To Be Continued
37. © asken.inc 37 まとめ • Difyを利用することでAIアプリの仮説検証（プロトタイピング）を 加速できた • アクセス数が限られるプロトタイプ用途であればまずは EC2 へ構 築する選択肢もあり • Difyは非エンジニアがAIアプリを作ってみる足がかりにするのにも 有効
38. © asken.inc 38 Thank you!
39. © asken.inc 39 We are hiring! askenで一緒に活躍してくれる方を募集しています!