flutterエンジニアの為のざっくりAI

Flutterエンジニアの為の  ざっくりAI 

heyhey1028と申します    ・Flutterエンジニア4年  ・フードテック→フィンテック企業でFlutterエンジニア  ・それまでは商社・メーカーで海外営業  ・金沢生まれサウジアラビア育ち、石油王は大体友達  (サウジ、アメリカ、アイルランド、スリランカ、イギリス)  ・今日から2歳のリトルモンスターと生後１ヶ月の小人育ててます   

Zenn Book   

2022年11月 ChatGPTリリース 

🤯 

このままエンジニアは  AIとプロンプトエンジニアに  駆逐されてしまうのか... 

学べること  ・開発者にとって重要(になりそう)なAI関連技術をざっくり知る  → 今後の個人開発・機能開発のアイデアの足しにする  → 今後のAI関連ニュースにもなんとなくついて行ける   

トピック  ・ざっくり機械学習  ・ざっくり大規模言語モデル  ・ざっくりGPT  ・ざっくりChatGPT API  ・ざっくりLangChain  ・ざっくりAIエージェント  ・ざっくりHugging Face 

🙇陳謝  • 時間が取れず資料まとめ切れていません  • プロンプトエンジニアリングについては話しません  • FlutterとDartはほとんど出てきません  • 一部情報が間違っている可能性があります  •
知ってる人は知ってるやつです  • ただの自分の自由研究です 

ざっくり機械学習 

機械学習とは  • アルゴリズムと統計学を利用して、コンピュータがデータから学習し、自動的に予測や意思決定を行う能力を持たせる技術    • 手作業でのプログラム設計を最小限にし、データから自動的に有用な情報を見つけ出すことができるようにする 

主な学習方法  教師あり学習  - 入力に対して正解を教える学習方法  教師なし学習  - データからパターンを自動的に読み取る  強化学習  - 開発者が報酬を設計し、報酬が最大化するようにタスクを実行する学習方
法 

主な学習方法  教師あり学習 → 正解による学習  - 入力に対して正解を教える学習方法  教師なし学習 → パターン分析による学習  -
データからパターンを自動的に読み取る  強化学習 → 報酬による学習  - 開発者が報酬を設計し、報酬が最大化するようにタスクを実行する学習方法 

使われるアルゴリズム  • 線形回帰  • ロジスティック回帰  • サポートベクターマシン  • 決定木  •
ランダムフォレスト    • ニューラルネットワーク  • k近傍法  • 主成分分析  • K-平均法  • 隠れマルコフモデル  などなど... 

機械学習モデルの開発プロセス  データ  収集  前処理  特徴量  抽出  モデル設計  学習  評価 
最適化 

ざっくり大規模言語モデル(LLM) 

大規模言語データ  前処理  設計  学習  大規模な言語データから作った機械学習モデル 

大規模言語データ  前処理  設計  学習  自然言語処理に特化したタスクを行う為のモデル 

使われるアルゴリズム  • 線形回帰  • ロジスティック回帰  • サポートベクターマシン  • 決定木  •
ランダムフォレスト    • ニューラルネットワーク  • k近傍法  • 主成分分析  • K-平均法  • 隠れマルコフモデル  などなど... 

深層学習(Deep Learning) 

データ  数学的表現に置き換える  多層構造の  計算層を  通過させる  解を導き出す 

Transformerアーキテクチャ  ・2017年にGoogleが発表  ・自然言語処理に対する深層学習モデル  ・従来の手法に比べて、早い上に精度が高い  ・自然言語処理に対するデファクトスタンダード   

GPT  BERT,LaMDA  Llama 

GPT  BERT,LaMDA  Llama  同じTransformerアーキテクチャを採用していても、学習プロセスや出力方法は異なる   

ざっくりGPT 

GPTとは  サム・アルトマン率いるOpenAI社が開発した大規模言語モデル  トランスフォーマーアーキテクチャを用いた最大の成功例の１つ  ポイント：  • １つの単語の後にどの単語が続くのか統計的に導き出している  • アラインメントを特に重要視している  • 教師あり学習と強化学習、両方の手法を用いており、そのプロセスに人間の評価を
介在させている   

GPTのポイント  １つの単語の後にどの単語が続くのが統計的に導き出している  　→ 知性はない。文脈を理解しているわけではないので正確ではない。  アラインメントを特に重要視している  　→ 人類に脅威となるAIに対抗できる人間寄りのAIを作ることを理念にOpenAIが設立された  教師あり学習と強化学習、両方の手法を用いており、そのプロセスに人間の評価を介在させている 
　→ Human in the loopと呼ばれ、アラインメントを高める為に重要なステップ。さらにそれによって性能が向上した。 

ざっくりChatGPT API 

3月1日にChat APIをリリース 

Chat APIの概要  使用可能モデル：  • gpt-3.5-turboまで使用可能  • gpt-4の使用はwaiting list    入出力文字数の上限： 
• 1度に入出力可能なトークン数は4096トークン    価格：  • gpt-3.5-turboは $0.002 (¥0.27) / 1,000 tokens 

エンドポイント  • https://api.openai.com/v1/chat/completions  ヘッダー  • Autorization: APIトークン  • Content-Type: json 
リクエストパラメーター  • model: 使用するモデルの名前  • messages:   ◦ role: system, user, assistant  ◦ content: プロンプト内容  http.post( Uri.parse(endpoint), headers: { 'Content-Type': 'application/json', 'Authorization': 'Bearer $apiKey', }, body: jsonEncode( { "model": "gpt-3.5-turbo", "messages": [ { "role": "user", "content": prompt, } ], }, ), );

レスポンス  • choices:   ◦ message: 返信内容  ◦ finish_reason: 終了した理由 
▪ stop: 正常終了  ▪ length: トークン上限に達した為   ▪ content_filter: 不適切な内容の為  ▪ null: 処理中 or なんらかの不具合  • usage:  ◦ prompt_tokens: 入力completion_tokens: 出力  ◦ total_tokens: 合計  { "id": "chatcmpl-123", "object": "chat.completion", "created": 1677652288, "choices": [ { "index": 0, "message": { "role": "assistant", "content": "\n\nHello there!" }, "finish_reason": "stop" } ], "usage": { "prompt_tokens": 9, "completion_tokens": 12, "total_tokens": 21 } }

{ "model": "gpt-3.5-turbo", "messages": [ {"role": "system", "content": "You are
a helpful assistant."}, {"role": "user", "content": "Who won the world series in 2020?"}, {"role": "assistant", "content": "Dodgers won in 2020."}, {"role": "user", "content": "Where was it played?"} ], }, Chat APIの挙動  • 会話履歴を全て投げているだけ  • 過去のチャット内容を保存しているわけではない 

a helpful assistant."}, {"role": "user", "content": "Who won the world series in 2020?"}, {"role": "assistant", "content": "Dodgers won in 2020."}, {"role": "user", "content": "Where was it played?"} ], }, role: system  • 最初に記述  • 挙動を制御する 

a helpful assistant."}, {"role": "user", "content": "Who won the world series in 2020?"}, {"role": "assistant", "content": "Dodgers won in 2020."}, {"role": "user", "content": "Where was it played?"} ], }, role: user  • ユーザーの質問 

a helpful assistant."}, {"role": "user", "content": "Who won the world series in 2020?"}, {"role": "assistant", "content": "Dodgers won in 2020."}, {"role": "user", "content": "Where was it played?"} ], }, role: assistant  • GPTからの返答 

GPTモデルの課題  • 最新の情報を知らない (2021年6月までのデータ)  • Webサイトにアクセス出来ない 

GPTを限界突破させるのが... 

ざっくりLangChain 

LangChainとは  🦜⛓  大規模言語モデルを効果的に使う為のPythonライブラリ  • Models  • Prompts  • Indexes 
• Memory  • Chains  • Agents 

Models  • 様々なLLMを呼び出すインターフェース群  • OpenAIのAPIを含む様々なLLMのAPIを呼び出すラッパーメソッド    • LLMs  ◦ Text
Completion APIなど単発のやり取りをするAPI用のインターフェース  • Chat Models  ◦ Chat APIなどチャット形式のやり取りをするAPI用のインターフェース  • Text Embeddings Models  ◦ Embeddings APIなどEmbedding(埋め込み)を行うAPI用のインターフェース 

Prompts  • プロンプト設定を行う為のインターフェース群    • Prompt Templates   ◦ 単発プロンプトの事前プロンプトを定義するクラス 
• Chat Prompt Templates   ◦ 対話の事前プロンプトを定義するクラス  • Example Selectors  ◦ Few-shotプロンプトを定義するクラス  • Output Parsers  ◦ 出力結果を変換するクラス 

Indexes  • ベクトルストア(ベクトル化したデータ用のDB)と連携する為のインターフェース群    • Document Loaders  ◦ 様々な形式の媒体(PDF、webサイト、Git Repository)からテキストデータを抽出するクラス 
• Text Splitters  ◦ 抽出されたテキストデータをトークンサイズに分割するクラス  • Vectorstores  ◦ ChromaやPineconeなどのベクトルストアにデータを保存する為のクラス  • Retrivers  ◦ ベクトルストアからデータを取得する為のクラス 

Memory  • 対話履歴を管理する為のインターフェース  • ChatModelsに渡すメッセージのラッパークラス 

Chains  • 連続的な対話を行う為のインターフェース  • 一回の実行でLLMに対してシークエンシャルなAPIコールを定義可能 

Agents  • LangChainの最も強力な機能の1つ  • 自動的にタスクの判断と実行をするAgentを定義するインターフェース  • Agent自体がLLMを使って、どんなタスクをどの順番で行うかを定義    • Tools 
◦ Agentが外部サービス(API)を実行する為のインターフェース   • Agents  ◦ タスク実行とprompt実行を行うAIエージェントを定義する為のインターフェース   • Toolkits  ◦ 特定のタスクに特化したAIエージェント  

ざっくりAIエージェント 

BabyAGI  • 問いに対して、自動的にドンドン深掘ってくれるAIエージェント  • ざっくりとした問いに対しても深い内容の返答まで考察してくれる  • 開発者は日本人のyohei nakajimaさん (中島聡さんの息子) 

AutoGPT  • 要求したタスクに対して、必要なステップを自動で見積もり、それぞれのステップに必要なタスクを実行する  • 最終的に成果物を様々な形式でアウトプットしてくれる 

CAMEL  • 問いに対して、２つのAI同士で会話をさせて深掘りさせながらタスクを実行するAIエージェント 

ざっくりHugging Face 

Hugging Face  • 機械学習モデルやデータセット共有のプラットフォーム 

• Multimodalな出力や入力にも対応したモデルが存在する  ポイント 

テキスト  画像  動画  音声  テキスト  画像  動画  音声  入力  出力 

最後に... 

思ったこと  ・ボトルネックはいつでも自分だと感じた  ・何をしたいか？の解像度を高める必要がある  ・限られた選択肢から良いと思うものを選ばされてきた  ・自分が本当に求めているものは何か分かっていますか？  ・内省しよう 

おまけ 

Flutterエンジニアにも  役立ちそうなAIツール&サービス 

Github Copilot tips  • コメントで生成して欲しいコードを先に記述する  • コメント内でQ&A形式で対話する 

Github Copilot Labs  • Explain  • Language Translations  • Brushes 
• Test Generation 

phind  • AI駆動検索エンジン  • 質問内容を検索し、要約してくれる  • Webサイトに実際にアクセスするのでリアルタイムな情報にも対応 

• PDFチャットサービス  • PDFを読み込み、対話可能にしてくれるサービス  ChatPDF 

• ソースコードチャットサービス  • Git Repositoryやコードを読み込み、対話可能にしてくれるサービス  Adrenaline 

Tome  • Text-to-Slide サービス  • テキスト内容に応じてスライドを自動生成  • 画像もDALL-Eを使って生成してくれる 

Rewind  • PCの操作を全て記憶し、検索可能にするデスクトップ用アプリケーション  • 自分がいつ何をやって、どこに置いたかを対話できる 

flutterエンジニアの為のざっくりAI

flutterエンジニアの為のざっくりAI

More Decks by heyhey1028

Other Decks in Technology

Featured

Transcript