ChatGPTを用いた活用事例Ⅲ

Transcript

1. 生成AIの画像認識への期待と活用 ー外食行動からみる栄養素分析ー 慶應義塾大学大学院健康マネジメント研究科D3 新井 崇弘
2. 生成AIの画像認識への期待と活用 ー外食行動からみる栄養素分析ー
3. スマホの外食写真 著者撮影：とんかつ定食
4. 何ができるか探索的に検討する ChatGPTにテキストを光学文字認識 （OCR）させてデータセットを構築する 過去4カ月で87枚撮影
5. プロンプト構造 X1 お新香 X2 トン汁 X3 キャベツ X4 レモン X4 ソース X5 ロースかつ X6 白米 要素分解 各栄養素の推定 画像DB コードブック X1 栄養素 X2 栄養素 X3 栄養素 X4 栄養素 X5 栄養素 X6 栄養素 (日本食品標準成分表 （八訂）増補2023年) ロースかつ定食 X ロースかつ定食 料理名・食品名の推定 料理名・食品名 の栄養素 https://www.mext.go.jp/a_menu/syokuhinseibun/mext_00001.html データセットの構築 あくまで一例です。工夫しながら構造変更しましょう。 一般的料理名に対する平均的な 栄養素であれば食品名からダイレ クトにデータセット構築可能
6. プロンプトエンジニアリング（リバースエンジニアリング） あなたは、栄養学の専門家です。いまから、与えられる10個の料理の画像を認識してください。 料理画像から食品名を分解してください。[栄養情報データベース]を用いて、D列の食品名に対応する[項目]と成分量を推定します。分解した各食品名の栄養素を、合計し、料理画像の総合栄養成分を算出した データテーブルを作成します。したがって、1つの写真につき1レコードのデータを作成し、10個のレコードが作成されます。なお、[栄養情報データベース]は100g当たりの栄養です。推計は次のステップで行います。 1.写真から一般的な料理名を推測 2.写真から各食品名を推測する 3.[栄養情報データベース]から類似する食品名を見つけて栄養成分を計算 4.各料理の栄養成分の合計値を算出しし、料理名の栄養成分とする 最終的には、料理のクラスタリングを行うことが目的なので、それに適したCSVデータテーブルを作成してください。 # [栄養情報データベース]:""" 栄養情報データベース.xlsx “”” # [項目]:""" ・NO.の列を作成（読み込んだ[写真]に番号を付与） ・料理名（一般的な料理名） ・カロリー（ kcal ） ・タンパク質（g） ・脂質（g） ・食物繊維総量（g） ・炭水化物（g） ・ナトリウム（mg） ・カリウム（mg） ・カルシウム（mg） ・マグネシウム（mg） ・リン鉄（mg） ・亜鉛（mg） ・銅（mg） ・マンガン（mg） ・ビタミンA（µg） ・ビタミンD （µg） ・ビタミンE（mg） ・ビタミンK（µg） ・ビタミンＢ１（mg） ・ビタミンB２（mg） ・ナイアシン（mg） ・ナイアシン当量（mg） ・ビタミンＢ６ （mg） ・ビタミンＢ１２（µg） ・葉酸（µg） ・パントテン酸（mg） ・ビオチン（µg） ・ビタミンC（mg） ・食塩相当量（g） “”” 英語で考えて日本語で回答してください。 Take a deep breath and work on this problem step-by-step. 途中結果やプロセスは不要です、結果のCSVのみ吐き出してください。CSVのファイルエンコーディングはCP932としてください。データテーブルは、クラスタリングを適用できる形にしてください。 プロンプトデザイン にこだわらない
7. ユーザー主導型プロンプトデザインというよりも伴走型分析プロセス 栄養データベースを持ってきて紐づけた方が良い 栄養データベースを整理する必要がある タイムスタンプの情報を自動で取得するのは困難 試行錯誤の繰り返しでプロンプトの精度を上げていく
8. 生成AIを通じたデータ分析の流れ 生成AIに聞く 主成分分析の推奨 分析イメージ データセットの 練り直し 多変量をいくつか代表的な指 標にまとめたうえで、料理名を プロットして傾向を把握したい 1人での食事と複数人で の食事で栄養バランスの 相違を見たい 曜日によって外食行動に 変化がみられるか 低栄養な料理のパターン を特定したい 料理名から栄養価を予測 したい どんな分析を行いたいか 分析結果のイメージ 分析事例の検索 初めから生成AIに聞くとあまり 上手くいかない場合が多いです
9. 主成分分析の結果 このままでは変数（栄養素）と主成分 の関係性がわからない
10. 分析結果のさらなる工夫 # 必要なパッケージをロードする library(factoextra) library(FactoMineR) # データの読み込み dat <- read.csv("B:/Downloads/dish.csv", fileEncoding = "CP932") # データを標準化する # ここでyour_dataは、分析したいデータフレーム dat[,c(4:31)] <- scale(dat[,c(4:31)]) # PCAを実行する pca_result <- PCA(dat[,c(4:31)], graph = FALSE) # PCAの結果を視覚化する # 負荷量プロット fviz_pca_var(pca_result, col.var = "contrib", # 負荷量に基づいて色分け gradient.cols = c("#00AFBB", "#E7B800", "#FC4E07"), repel = TRUE) # テキストが重ならないようにする # または、個体のプロット fviz_pca_ind(pca_result, col.ind = dat$メンバー, # グループ変数に基づいて色分け palette = c("#00AFBB", "#E7B800", "#FC4E07"), addEllipses = TRUE, # グループごとに楕円を追加 legend.title = "Group") ざっくりと指示してもそれなりの結果を返してくれる 80点くらいの回答なのであとは自力で 100点まで持っていく この辺はタイパが良い方でFA
11. 変数の関係性（負荷量プロット） 栄養バランス 高 低 エネルギー供給源 多 少
12. ここまでが分析？ 栄養バランスの偏りとそれぞれの料理の関係性 栄養バランス 高 低 エネルギー供給源 多 少
13. 1人外食と複数人外食の傾向 高 低 多 少 複数人での外食（共食）の場合は 栄養バランスが高い傾向にある 1人外食（孤食）の場合は 栄養バランスが低い傾向にある 栄養バランス エネルギー供給源
14. 考察 孤食と共食で栄養バランスが異なるという発見
15. 孤食は栄養バランスの偏り（健康問題）を引き起こす https://www.asahi.com/articles/ASR775HFWR6ZOIPE00J.html 今回はN = 1のシンプルな例だが、同じよ うな発想や思考プロセスを、地域レベル・ コホートデータなど広げてくことが重要
16. 分析者としてこれから求められる探索的データ分析のスキル データサイエンス× インサイト× ストーリー 統計、プログラミングなど（ある程度客観 的に評価可能なスキル）多くの単純な分 析プロセスは生成AIによってコモディティ 化してくだろう（高度な統計処理は別） 深い背景知識、構造的インサイトを捉える力（洞察力）など 分析と社会課題をつなぐ力、異なる概念をつ なぐ力、概念図・フレームワークを構築する 力、新しい仮説を構築する力
17. ご清聴ありがとうございました