GPT-4oをAzureで試してみた！

2024年06月13日 (木) に 開催されたAzure Tech Lab@Microsoft Base Kobe での登壇資料です。

https://azure-tech-love.connpass.com/event/319004/

Transcript

1. GPT-4oをAzureで試してみた！ 平田 恭嘉
2. 自己紹介 平田 恭嘉 所属: 株式会社Digeon Web/機械学習/インフラのソフトウェアエンジニア 経歴 神戸大学大学院システム情報学研究科 ↓ 株式会社オプト ↓ 株式会社Digeon 業務 - 防災系システムの開発・運用保守 - 交差点の定点動画を用いた交差点交通量計測 - Web広告データを用いた研究開発 などなど。 趣味 - 服 - 楽器 - スケボー - ビール
3. GPT-4oの説明 2024年5月に出たOpenAIのフラッグシップモデル GPT-4oの『o』はOmni(すべて)を意味する。 入力 - テキスト - オーディオ - イメージ - ビデオ 出力 ‐ テキスト ‐ オーディオ - イメージ 音声入力に対して最短232ミリ秒、平均320ミリ秒で応答す ることができ、人間の会話のスピード感で応答することがで きる。 従来のモデルより、画像、音声の理解力が上がっており、 速度も改善されている。 複数の種類のデータを一度に処理できるものを マルチモーダル〇〇といいます
4. Azure OpenAI Service Azure OpenAI Serviceは、MicrosoftのAzureクラウドプ ラットフォーム上で提供される AIサービスで、OpenAIの強 力な言語モデル（GPT-3、GPT-4など）を活用して、さまざま なアプリケーションやサービスを構築することができる。 Azureの他のサービスと統合することができる Azure上で利用できるため、Terraformなどの Infrastructure as Code (IaC) での構築ができる。 入力には画像とテキストを、出力にはテキストを利用するこ とができる。
5. この間取り図の解説と、良 いところ・懸念点を教えて 下さい。 出力 入力
6. この間取り図の解説と、良 いところ・懸念点を教えて 下さい。 以下の間取り図について解説します： - **玄関** ：家の入口部分。廊下を通じて直接LDKにアクセスできる。 - **LDK（リビング・ダイニング・キッチン）** ：15畳の広いスペース。家族が集まる主な生活 エリア。 - **寝室（6畳）** ：個室で、主に主寝室として使用されると考えられる。 - **子供部屋（4.5畳）** ：子供用の個室としてのスペース。 - **和室（6畳）** ：和風の個室。客間や多目的室として利用可能。 - **洋室（6畳）** ：洋風の個室。多目的に使用できる。 - **浴室** ：バスタブがある風呂場。 - **洗面所** ：洗面台が設置されたエリア。 - **トイレ** ：独立したトイレスペース。 ### 良いところ 1. **広いLDK** ：15畳の広々としたLDKは、家族が集まるのに十分な広さがあります。開 放感があり、生活の中心となる空間です。 2. **複数の居室** ：寝室、和室、洋室、子供部屋と、用途に応じた複数の部屋があり、使 い勝手が良いです。 3. **プライバシーの確保** ：個々の部屋が分かれているため、家族それぞれがプライバ シーを保つことができます。 4. **浴室と洗面所が隣接** ：浴室と洗面所が近く、使い勝手が良い配置です。 ### 懸念点 1. **動線の複雑さ** ：LDKを中心に各部屋が配置されていますが、特に浴室やトイレへの アクセスが家の端にあるため、玄関から遠い場所に位置しています。夜間などの移動が煩 わしい可能性があります。 2. **収納スペースの不足** ：間取り図には明確な収納スペースが見当たりません。収納 の配置を工夫する必要があります。 3. **子供部屋の狭さ** ：4.5畳の子供部屋は少し狭めで、成長とともに狭さを感じるかもし れません。 全体として、合理的で生活しやすい間取りだと思いますが、動線の改善や収納スペースの 確保など、さらに工夫できるポイントがあると感じます。 出力 入力
7. ER図をもとに、DB定義を表 で作成してください。 出力 入力
8. ER図をもとに、DB定義を表 で作成してください。 出力 以下に、ER図をもとにしたデータベース定義を表形式で記載します。 ### 商品マスタ | フィールド名 | データ型 | 記述 | |------------------|------------|--------------------------| | 商品ID | INT | 主キー | | SKU | VARCHAR | 商品のSKUコード | | 商品名 | VARCHAR | 商品の名前 | | 商品カテゴリ | VARCHAR | 商品のカテゴリ | | 原価 | DECIMAL | 商品の原価 | | 売価 | DECIMAL | 商品の売価 | | 仕入先 | VARCHAR | 商品の仕入先 | | 寸法 | VARCHAR | 商品の寸法 | | 重量 | DECIMAL | 商品の重量 | ### 在庫詳細 | フィールド名 | データ型 | 記述 | |------------------|------------|--------------------------| | 商品ID | INT | 外部キー（商品マスタとの関連） | | SKU | VARCHAR | 商品のSKUコード | | 在庫数 | INT | 在庫数量 | | 在庫ステータス | VARCHAR | 在庫のステータス | 入力
9. 出力 ### 注文マスタ | フィールド名 | データ型 | 記述 | |------------------|------------|--------------------------| | 顧客ID | INT | 外部キー（顧客マスタとの関連） | | 注文ID | INT | 主キー | | 支払い予定額 | DECIMAL | 支払い予定の金額 | | ポイント利用額 | DECIMAL | 利用したポイントの金額 | | 支払い額 | DECIMAL | 実際の支払い額 | | 決済方法 | INT | 外部キー（決済方法マスタとの関連） | | 配送方法 | INT | 外部キー（配送方法マスタとの関連） | | ギフト対応 | BOOLEAN | ギフト対応の有無 | ### 注文詳細 | フィールド名 | データ型 | 記述 | |------------------|------------|--------------------------| | 注文ID | INT | 外部キー（注文マスタとの関連） | | 商品ID | INT | 外部キー（商品マスタとの関連） | | SKU | VARCHAR | 商品のSKUコード | | 個数 | INT | 注文商品の個数 | | 単価 | DECIMAL | 商品の単価 | | 小計（税抜） | DECIMAL | 税抜き後の小計 | | 消費税 | DECIMAL | 消費税額 | | 小計（税込） | DECIMAL | 税込み後の小計 | ER図をもとに、DB定義を表 で作成してください。 入力
10. 出力 ### 顧客マスタ | フィールド名 | データ型 | 記述 | |------------------|------------|--------------------------| | 顧客ID | INT | 主キー | | 氏名 | VARCHAR | 顧客の名前 | | 住所 | VARCHAR | 顧客の住所 | | 電話番号 | VARCHAR | 顧客の電話番号 | | メールアドレス | VARCHAR | 顧客のメールアドレス | | 入会日時 | DATETIME | 顧客の入会日時 | ### 配送方法マスタ | フィールド名 | データ型 | 記述 | |------------------------|------------|--------------------------| | 配送方法ID | INT | 主キー | | 配送方法名 | VARCHAR | 配送方法の名前 | | 配送事業者名 | VARCHAR | 配送事業者の名前 | | 送料 | DECIMAL | 配送料 | | 発送までのリードタイム目安 | INT | 発送までの日数の目安 | | 到着までのリードタイム目安 | INT | 到着までの日数の目安 | ### 決済方法マスタ | フィールド名 | データ型 | 記述 | |------------------------|------------|--------------------------| | 決済方法ID | INT | 主キー | | 決済方法名 | VARCHAR | 決済方法の名前 | | 決済事業者名 | VARCHAR | 決済事業者の名前 | | 決済手数料 | DECIMAL | 決済手数料 | このように、各テーブルのフィールド名、データ型、記述を適切に設定することで、DB定義 を表形式で作成しました。 ER図をもとに、DB定義を表 で作成してください。 入力
11. 名刺の内容を整理して ください。 出力 入力
12. 名刺の内容を整理して ください。 こちらが名刺の情報を整理した内容です： **会社情報：** - 会社名：株式会社〇〇〇 **個人情報：** - 氏名：名刺 太郎 (Meishi Taro) - 役職：総務部 総務課 課長 **連絡先情報：** - 郵便番号：〒000-0000 - 住所：〇〇県〇〇市〇〇〇〇 町123-456 〇〇〇ビル 00階 - 電話番号：TEL 000-000-0000 - FAX番号：FAX 000-000-0000 - Eメール：sample-design@graphic.jp - URL：https://www.graphic.jp/ こちらの情報を基に、必要な形でご利用ください。 出力 入力
13. あなたは大喜利が得意 です。 画像で一言お願いしま す。 入力
14. 「あ〜、今日もモフモフ王国のプリンス業は忙しいなぁ」 入力 あなたは大喜利が得意 です。 画像で一言お願いしま す。
15. 「あ〜、今日もモフモフ王国のプリンス業は忙しいなぁ」 入力 あなたは大喜利が得意 です。 画像で一言お願いしま す。
16. プロンプト エンジニアリング プロンプトエンジニアリングは、言語モデル（LMs）を効率的に 使用するためのプロンプトを開発および最適化する比較的新し い学問分野。 プロンプトの構成要素 命令 - モデルに実行してほしい特定のタスクまたは命令。 文脈 - 外部情報や追加の文脈が含まれる場合があり、モデル をより良い応答に導くことができる。 入力データ - 応答を見つけたい入力または質問。 出力指示子 - 出力のタイプや形式を示す。 おすすめサイト: https://www.promptingguide.ai/jp
17. 参考記事など 大規模言語モデルの開発 - Speaker Deck (https://speakerdeck.com/chokkan/jsai2024-tutorial-llm) LLMを開発する方法などについての資料 OpenAI API (https://platform.openai.com/docs/overview) OpenAI のPythonライブラリのドキュメント プロンプトエンジニアリングガイド (https://www.promptingguide.ai/jp) プロンプトエンジニアリングについての全容を理解できる。
18. まとめ • GPT4oはOpenAIのフラッグシップモデル • GPT4oはマルチモーダルなモデルである。 • Azure OpenAI ServiceでGPT4oを利用することが できる。 • プロンプトエンジニアリングという分野がある • 使い方でわからないことあればご連絡ください