OpenAIの(Chat以外の)機能検証してみた

この資料は、OpenAIのChat以外の機能の検証についてまとめられたプレゼンテーションです。
プレゼンターは、蓬莱 秀伍という、虎の穴ラボ株式会社のプロジェクトマネージャーです。Chat以外のOpenAIのAPIの活用方法を知り、AI連携のライブラリ（特にJavaで書かれたSpring AI）を理解したいという動機で検証が行われました。
今回のアドベントカレンダーで試されたのは、主に以下の2つの機能です:

•Embedding: 文章をベクトル化するAPIです。検証方法としては、様々な文章をAPIを通じてベクトル化し、ベクトルのコサイン類似度を計算することで文章同士の類似性を評価しました。その結果、ベクトルは文字がベクトル化されており、意味は加味されず、単語の順序もあまり数値に影響しないことがわかりました。このことから、大きなズレがないデータからの外れ値チェックなどに利用できる可能性があると述べられています。

•Function Calling: 独自の処理とAIを融合させ、AIだけでは判断できない回答をする機能です。検証方法として、日付と入力された場所から気温を特定し、出かける際のアドバイスをしてもらうという試みが行われました。日付や気温の判定を行う関数が実行できることや、複数の役割をまとめて実行できることが確認されました。一方で、県庁所在地の取得に揺らぎがあったり、日本語で指示してもアルファベットで判定される場合があるといった課題も明らかになりました。また、役割を増やしすぎると意図しない出力になるため注意が必要であるとされています。

まとめとして、Chat以外のAPIの活用が確かめられ、AIのできない部分を補完できる可能性があると結論付けられています。ただし、詰め込みすぎると求めたことができなくなるため注意が必要です。
プレゼンテーションの最後に、OpenAIのEmbeddingが実際にどのように解釈されているかの検証や、Spring AIを使用してOpenAIのFunction Callingを試した結果に関する情報へのQRコードが示されています

Transcript

1. OpenAIの(Chat以外の)機能検証してみた 12/26 Qiita Bash アドベントカレンダーお疲れ様会
2. 自己紹介 名前:蓬莱寿成 所属:虎の穴ラボ株式会社 プロジェクトマネージャー X:pawn_4_t Qiita:https://qiita.com/ho-rai 個人で欲しいアプリを作成して検証 イベント参加、Chrome拡張機能作成　などなど
3. 今回は・・・ 　OpenAIのChat以外の機能を検証！！
4. Chat以外の機能を検証しようと思ったのは 1.Chat以外の使い方を知りたい
5. Chat以外の機能を検証しようと思ったのは 1.Chat以外の使い方を知りたい 他の機能の詳細をあまり理解していない
6. Chat以外の機能を検証しようと思ったのは 1.Chat以外の使い方を知りたい 他の機能の詳細をあまり理解していない →活用できるものがないか確認したい
7. Chat以外の機能を検証しようと思ったのは 2.AI連携のライブラリを理解したい
8. Chat以外の機能を検証しようと思ったのは 2.AI連携のライブラリを理解したい SpringAI Javaで書かれたライブラリ 有名なAIサービスへのつなぎこみができる OpenAI、Anthropic　などなど
9. 今回アドベントカレンダーで試したのは・・・
10. 今回アドベントカレンダーで試したのは・・・ Embedding 文章のベクトル化するAPI
11. 今回アドベントカレンダーで試したのは・・・ Embedding 文章のベクトル化するAPI Function Calling 独自の処理とAIを融合して、AIだけ では判断できない回答する機能
12. Embeddingのベクトルは文章の違いをど のように反映されるのか？
13. 検証方法 数値のまとまりなので一つの文章ではどのような値 かわからない
14. 検証方法 数値のまとまりなので一つの文章ではどのような値 かわからない →２つの文章同士を比較する
15. 検証方法 1.いろんな文章をAPIを通してベクトルを作成 2.ベクトルのコサイン類似度を計算 3.コサイン類似度の値で似た文章を判定
16. 検証方法 基本の文章 I like blue,red,yellow,black and white.
 
 色を減らしたり、似た色の名前に変えたりして文章 同士が似ているかをコサイン類似度を確認

17. 検証結果 ・ベクトルは文字がベクトル化されている ・意味はこのベクトルには加味されない ・単語の順序もあまり数値に影響されない
18. 検証結果 ・ベクトルは文字がベクトル化されている ・意味はこのベクトルには加味されない ・単語の順序もあまり数値に影響されない →大きなズレがでないデータから外れ値のチェック などで利用できそう
19. FunctionCallingで現実にどこまで利用で きるのか？
20. 検証方法 日付と入力された場所から気温を特定し、出かける 時のアドバイスを出してもらう
21. 検証方法 日付と入力された場所から気温を特定し、出かける 時のアドバイスを出してもらう
22. 検証方法 日付と入力された場所から気温を特定し、出かける 時のアドバイスを出してもらう
23. 検証方法 日付と入力された場所から気温を特定し、出かける 時のアドバイスを出してもらう
24. 検証方法 日付と入力された場所から気温を特定し、出かける 時のアドバイスを出してもらう
25. 検証方法 ・事前準備 　県庁所在地に対してある気温を返す関数 　現在日付を返す関数 　 ・AI担当 　入力された地名から県庁所在地を特定 　温度と日付から季節でアドバイスをする
26. 検証結果 ・日時の取得や気温の判定を行う関数が、実行され ることが確認できた ・日付だけ聞くと、日付の取得の関数だけが実行さ れた
27. 検証結果 県庁所在地の取得の揺らぎが大きくなった 日本語で出してと言ってもアルファベットで判定され ることがある 例) 函館→Sapporo
28. 検証結果 複数の役割をまとめて実行することができることが 検証できた 役割を増やすと想定していない出力されるので、例 外の処理が複雑になったり想定外の結果になるの であまり詰め込みすぎは要注意
29. まとめ
30. まとめ Chat以外のAPIの活用が確かめるこ とができました AIのできない部分を補う事が検証で きたので活用できそう ただし詰め込みすぎると求めた事が できなくなるので注意
31. まとめ OpenAIのEmbeddingは実際どのよ うに解釈されているのか検証する 
 
 
 SpringAIを使用して OpenAIの FunctionCallingを使ってみた