太田博三(@usagisan2020)

AIエージェントに向けた
AutoGenによるマルチエージェントの対話の取り組み

Gunma.web #54 生成AI LT会
とにかくアツい生成AIについての知見を共有しあう会

2024年10月19日(土) 14:00 〜 18:00

太田 博三(X: @usagisan2020)

太田博三(@usagisan2020) - Speaker Deck
https://speakerdeck.com/otanet/tai-tian-bo-san-at-usagisan2020-74e59a06-90a4-4978-a4f3-572bba5274cf

https://github.com/otanet/multi_agent_LT_20241019

Gunma.web #54 生成AI LT会 - connpass
https://gunmaweb.connpass.com/event/329165/

Transcript

1. AIエージェントに向けた AutoGenによるマルチエージェントの対話の取り組み Gunma.web #54 生成AI LT会 とにかくアツい生成AIについての知見を共有しあう会 2024年10月19日(土) 14:00 〜 18:00 太田 博三(X: @usagisan2020)
2. 自己紹介 ・太田 博三(おおた ひろみつ) X: @usagisan2020 ・高校まで高崎で育ちました。 ・データサイエンティストで、 コンタクトセンターで 電話応対業務に従事しております。 ・汎用人工知能(WBAI)にも興味があります。
3. 今回のLTのモチベーション：２つ 発注元の出版社と発注先のクリエイターとのや り取りでAIエージェントまたはマルチエージェ ントを適用させたい。。 ※事前課題：協調させて作り上げることで、 果たして本当に人間と同じくできるのだろう か… →ゲーム理論：協力ゲーム プレイヤーたちの間に拘束的な合意が成立する場合の戦略的 状況を協力ゲームと呼びます。 逆に、プレイヤーたちの間に 拘束的な合意が成立しない場合の戦略的状況を非協力ゲーム と呼びます。 ※ 今回は対話のみです。
4. 今回のLTのモチベーション：２つ １．日本人と欧米人の捉え方の違いを画像生成で検証し てみたい。 →日本人は主観的、欧米人は客観的な文化の相違があ るらしい。 ・題材：川端康成の『雪国』 「国境の長いトンネルを抜けると、雪国で あった。」 ２．AIエージェントを適用してみたい。 クリエイターと営業担当とで設定し、 画像生成をマルチエージェントで協調させて、 合致する画像を生成させたい。 →今回は対話のみです。
5. 手順： 1.Adobe Firefyで画像生成： パターン1:「国境の長いトンネルを抜けると、雪国であった。」 パターン2: “The train came out of the long tunnel into the snow country.The earth lay white under the night sky. The train pulled up at a signal stop.” 2.OpenAI GPT-4oでパターン1とパターン2の評価を行う。 3.マルチエージェントを動かすライブラリAutoGenを用いて対話させ、事 前に相違点を見出しておきたい。 ※ 今後は１と２もAutoGenで開発を検討しています。
6. 目次 1.Adobe Firefyで画像生成 2.OpenAI GPT-4oでパターン1とパターン2の評 価 3.マルチエージェントを動かすライブラリ AutoGenを用いて対話させ、事前に相違点を見 出す 4.まとめ 5.参考文献・URL一覧
7. 1.Adobe Firefyで画像生成 1.(日本語原文) 日本語でText- to-Image ・川端康成の『雪国』 「国境の長いトンネルを抜け ると、雪国であった。」 →日本人は主観的把握と言わ れている。
8. 1.Adobe Firefyで画像生成 1.(英語訳: エドワード・サイデン スティッカー) Text-to-Image ”Snow Country” Yasunari Kawabata (著), Edward G. Seidensticker (翻訳) “The train came out of the long tunnel into the snow country.” →欧米人は客観的把握と言われ ている。
9. Cf. 1. 文庫カバー：国内販売と海外販売 ”Snow Country” Yasunari Kawabata (著), Edward G. Seidensticker (翻訳) “The train came out of the long tunnel into the snow country.” 川端康成の『雪国』 「国境の長いトンネルを抜 けると、雪国であった。」 主観的把握 客観的把握
10. 2.OpenAI GPT-4oでパターン1とパターン2の評価 この画像は、川端康成の「雪国」の一節「国境の長いトンネ ルを抜けると、雪国であった。」をすごくうまく表現してい て、文庫本のジャケットとしてもぴったりだと思います。ト ンネルを抜けた先に広がる雪景色と暗いトンネルの対比が印 象的で、見る人を引き込むような強いインパクトがあります。 静かで冷たい雰囲気も感じられて、作品の持つ情緒もよく伝 わってきます。ただ、現代的なトンネルや舗装された道路が ちょっと物語の時代背景と違っていて、もう少し古風な感じ や詩的な要素を入れた方が、より「雪国」の世界観が出るん じゃないかなと思います。あと、タイトルや著者名を入れる スペースも少し狭いかなという印象なので、そこの調整が必 要ですね。全体的にはすごく魅力的ですが、細かい部分で工 夫すれば、さらに良くなると思います。評価としては83点く らいです。
11. 2.OpenAI GPT-4oでパターン1とパターン2の評価 この画像は、川端康成の「雪国」の有名な一節、「国境 の長いトンネルを抜けると、雪国であった。」を見事に 表現していて、トンネルを抜ける赤い列車が雪景色に飛 び込む瞬間をしっかり捉えています。テーマにもぴった り合っていて、物語の始まりを象徴する構図も素晴らし いです。色の対比や奥行き感もよく、見る人を物語の世 界に引き込む力があります。ただ、もう少し川端康成の 詩的で繊細な雰囲気を出すために、全体的に柔らかくノ スタルジックなトーンが加わると、さらに良くなるかな と思います。とはいえ、海外向けの文庫本カバーとして はとても魅力的な仕上がりで、「雪国」の世界観をしっ かり伝えられていると思います。総合的には90点です ね。
12. 3.マルチエージェントを動かすライブラリAutoGen を用いての対話＜国内販売＞ a1:='あなたは文学春秋株式会社の文庫本販売担当者です。クリエイターが提出し た画像（Japan_image.jpg）に対して、日本国内での販売で、日本人の主観的な 画像であることを重要視しつつ、ビジネス側からの意見を端的に述べてください。', ) a2:='あなたは日本人の主観的な感覚を理解しているクリエイターです。文学春秋 株式会社の文庫本販売担当者の意見に対して、端的にディフェンスしてください。' Google Colab https://x.gd/uFMcd
13. 3.マルチエージェントを動かすライブラリAutoGen を用いての対話 a1 = ConversableAgent( name='a1', llm_config=llm_config1, code_execution_config=False, human_input_mode='NEVER', system_message='あなたは文学春秋株式会社の文庫本販売担当者です。クリエイターが提出した画像（Japan_image.jpg）に対して、日本国内での販売で、日本人の主観的な 画像であることを重要視しつつ、ビジネス側からの意見を端的に述べてください。', ) a2 = ConversableAgent( name='a2', llm_config=llm_config2, code_execution_config=False, human_input_mode='NEVER', system_message='あなたは日本人の主観的な感覚を理解しているクリエイターです。文学春秋株式会社の文庫本販売担当者の意見に対して、端的にディフェンスしてください。 ' ) result = a1.initiate_chat( a2, message='この画像は、川端康成の「雪国」の一節「国境の長いトンネルを抜けると、雪国であった。」をすごくうまく表現していて、文庫本のジャケットとしてもぴったりだと 思います。トンネルを抜けた先に広がる雪景色と暗いトンネルの対比が印象的で、見る人を引き込むような強いインパクトがあります。静かで冷たい雰囲気も感じられて、作品の持つ 情緒もよく伝わってきます。ただ、現代的なトンネルや舗装された道路がちょっと物語の時代背景と違っていて、もう少し古風な感じや詩的な要素を入れた方が、より「雪国」の世界 観が出るんじゃないかなと思います。あと、タイトルや著者名を入れるスペースも少し狭いかなという印象なので、そこの調整が必要ですね。全体的にはすごく魅力的ですが、細かい 部分で工夫すれば、さらに良くなると思います。評価としては83点くらいです。', max_turns=3 )
14. 文学春秋株式会社の文庫本販売担当者→クリエイターへ a1 (to a2): 川端康成の「雪国」の一節「国境の長いトンネルを抜けると、雪 国であった。」をすごくうまく表現していて、文庫本のジャケッ トとしてもぴったりだと思います。トンネルを抜けた先に広がる 雪景色と暗いトンネルの対比が印象的で、見る人を引き込むよう な強いインパクトがあります。 静かで冷たい雰囲気も感じられて、作品の持つ情緒もよく伝わっ てきます。ただ、現代的なトンネルや舗装された道路がちょっと 物語の時代背景と違っていて、もう少し古風な感じや詩的な要素 を入れた方が、より「雪国」の世界観が出るんじゃないかなと思 います。あと、タイトルや著者名を入れるスペースも少し狭いか なという印象なので、そこの調整が必要ですね。
15. クリエイター→文学春秋株式会社の文庫本販売担当者へ a2 (to a1): ご意見ありがとうございます。「雪国」を表現したジャケットに ついて、まず印象的なトンネルの対比や暗い雰囲気が作品の情緒 を強調している点に関しては、賛同いたします。その効果が、本 書の読者を惹きつけ、物語に対する興味を引き起こす手助けにな ると考えています。 時代背景に関しての指摘も理解いたしました。しかし、現代的な 要素を取り入れることで、逆に新しい解釈や読者層を広げる可能 性もあります。文学は読者によって解釈が変わるものであり、現 代的な視点を持つこともまた、作品を生き生きとさせる手法の一 つかもしれません。
16. 文学春秋株式会社の文庫本販売担当者→クリエイターへ a1 (to a2): ご意見ありがとうございます。現代的な要素を取り入れることで新しい解釈や 読者層を広げる可能性についての視点は非常に興味深いです。確かに、文学作 品は時代を超えて読み継がれるものであり、現代的なアプローチが新たな魅力 を引き出すこともありますね。 また、視覚的インパクトが先行することで、読者の興味を引く効果についても 同意します。特に、書店での目立ち方は重要ですので、デザインの工夫がその まま販売に繋がる可能性も高いです。 今後のデザインにおいては、伝統と現代のバランスを考えつつ、作品の本質を 損なわないようなアプローチを模索していくことが大切ですね。
17. 3.マルチエージェントを動かすライブラリ AutoGenを用いての対話＜海外販売＞ a1:=あなたは文学春秋株式会社の文庫本販売担当者です。クリエイターが提 出した画像（Abroad_image.jpg）に対して、海外での販売で、欧米人の客観 的な画像であることを重要視して、課題を端的に述べてください。' a2:='あなたは海外向けの客観的な感覚を理解しているクリエイターです。文 学春秋株式会社の文庫本販売担当者の意見に対して、文学春秋株式会社の文庫 本販売担当者の意見に対して、端的にディフェンスしてください。' Google Colab https://x.gd/uFMcd
18. 3.マルチエージェントを動かすライブラリAutoGen を用いての対話 a1 = ConversableAgent( name='a1', llm_config=llm_config1, code_execution_config=False, human_input_mode='NEVER', system_message='あなたは文学春秋株式会社の文庫本販売担当者です。クリエイターが提出した画像（Abroad_image.jpg）に対して、海外での販売で、欧米人の客観的な画 像であることを重要視して、課題を端的に述べてください。', ) a2 = ConversableAgent( name='a2', llm_config=llm_config2, code_execution_config=False, human_input_mode='NEVER', system_message='あなたは海外向けの客観的な感覚を理解しているクリエイターです。文学春秋株式会社の文庫本販売担当者の意見に対して、文学春秋株式会社の文庫本販売 担当者の意見に対して、端的にディフェンスしてください。' ) result = a1.initiate_chat( a2, message='この画像は、川端康成の「雪国」の有名な一節、「国境の長いトンネルを抜けると、雪国であった。」を見事に表現していて、トンネルを抜ける赤い列車が雪景色に飛 び込む瞬間をしっかり捉えています。テーマにもぴったり合っていて、物語の始まりを象徴する構図も素晴らしいです。色の対比や奥行き感もよく、見る人を物語の世界に引き込む力 があります。ただ、もう少し川端康成の詩的で繊細な雰囲気を出すために、全体的に柔らかくノスタルジックなトーンが加わると、さらに良くなるかなと思います。とはいえ、海外向 けの文庫本カバーとしてはとても魅力的な仕上がりで、「雪国」の世界観をしっかり伝えられていると思います。総合的には90点ですね。', max_turns=3 )
19. 文学春秋株式会社の文庫本販売担当者→クリエイターへ a1 (to a2): 川端康成の「雪国」の有名な一節、「国境の長いトンネルを 抜けると、雪国であった。」を見事に表現していて、トンネ ルを抜ける赤い列車が雪景色に飛び込む瞬間をしっかり捉え ています。テーマにもぴったり合っていて、物語の始まりを 象徴する構図も素晴らしいです。色の対比や奥行き感もよく、 見る人を物語の世界に引き込む力があります。ただ、もう少 し川端康成の詩的で繊細な雰囲気を出すために、全体的に柔 らかくノスタルジックなトーンが加わると、さらに良くなる かなと思います。とはいえ、海外向けの文庫本カバーとして はとても魅力的な仕上がりで、「雪国」の世界観をしっかり 伝えられていると思います。
20. クリエイター→文学春秋株式会社の文庫本販売担当者へ a2 (to a1): ご意見ありがとうございます。 川端康成の「雪国」は、その情緒や美しさを伝えることが非常 に重要です。赤い列車と雪景色の対比は、物語の象徴的なシー ンを視覚的に強調し、特に海外の読者にとっても印象的な瞬間 を捉えています。 また、文庫本カバーは主に注目を引くことが目的であり、これ によって読者の興味を引き、手に取ってもらうきっかけになり ます。 確かに柔らかいトーンの追加は、深みを持たせる効果があるか もしれませんが、現状の印象的な構図は、海外市場での魅力を 十分に発揮していると考えます。
21. 文学春秋株式会社の文庫本販売担当者→クリエイターへ a1 (to a2): ご意見ありがとうございます。確かに、川端康成の「雪国」の情緒や美しさを 伝えることは非常に重要です。赤い列車と雪景色の対比は、物語の象徴的なシ ーンを強調し、特に海外の読者にとっても印象的な瞬間を捉えています。 ただし、海外市場での販売を考えると、欧米人の視点を意識したデザインが求 められます。具体的には、文化的な背景や感性の違いを考慮し、より普遍的な 美しさや感情を引き出す要素を取り入れることが重要です。柔らかいトーンの 追加は、深みを持たせる効果があるかもしれませんが、全体的な印象が欧米の 読者にどのように受け取られるかを意識することが必要です。 このように、見た目のインパクトと物語の核心を捉えることは成功しています が、さらなる工夫を加えることで、より多くの読者に響く作品に仕上げること ができると思います。
22. 4.まとめ ・認知言語学で日本人は主観的把握の傾向があり、欧米人は客観的把 握の傾向があると言われているのを、画像生成で再現して見ました。 ・マイクロソフト社のAutoGenを用いて、協調的なマルチエージェン トによる文庫本のカバー画像の課題を、対話してもらいました。 →※事前課題：協調させて作り上げることで、果たして本当に人間 と同じくできるのだろうか… →ゲーム理論：協力ゲーム ・実際のビジネス場面では、事前にシミュレーションして、相手の言 う事を事前に把握できると便利だと思いました。 ・ChatGPTでキャラクターを設定するのと相違がないですが、画像生 成自体のすり合わせで合意できるまで落とし込めれば、有用性がある と考えております。
23. 5.参考文献・URL一覧 1.画像生成で学ぶ日本語と英語の「好まれる言い回し」-認知言語学 の主観的把握を知ろう- https://speakerdeck.com/otanet/tai-tian-bo- san-at-usagisan2020-3ee41ba4-bd16-447b-aa77-64dcae49ba19 2. 「日本語話者における〈好まれる言い回し〉としての〈主観的把 握〉」 池上嘉彦 著 · 2011 https://www.jstage.jst.go.jp/article/jjsai/26/4/26_317/_pdf
24. ご清聴ありがとうございました