TypeScriptでもLLMアプリケーション開発 / LLM Application In Typescript

Slide 1

Slide 1 text

Slide 2

Slide 2 text

2 新卒で入社したヤフー株式会社で、 ID連携システムの開発に従事。その後、2022年に株式会社ログラスに入社。ソフトウェアエンジニアとしてマスタ管理機能等の開発、イネーブルメントチームの一員として開発生産性向上に取り組んだのち、現在は生成AI/LLMチームの立ち上げを行う。 X: @ry0_kaga 株式会社ログラス r-kagaya

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

8 ©2024 Loglass Inc. 今⽇の内容 Pythonに馴染みがない方も、TypeScriptでLLMアプリ開発に挑戦してみて欲しい！   ● LLMアプリケーション/プロダクトにLLMを組み込むのにライブラリは必須ではない   ○ しばらくはLLM APIをコールするだけで十分なケースも多いだろう   ● 一方で、TypeScriptはライブラリもそれなりに揃っており、比較的開発しやすい   ○ 体感だが、ライブラリ等の充実度は Pythonの次がTypeScript  ● 最も有名なライブラリであるLangChainのTS実装がLangChain.js   ● 将来的にもTypeScriptはLLMアプリケーションを開発する環境として有望かもしれない  

Slide 9

Slide 9 text

Slide 10

Slide 10 text

10 ©2024 Loglass Inc. TypeScriptを取り巻くLLMアプリ開発の状況 Pythonに加えて、TypeScriptもサポートされているライブラリもあり、手を出しやすい (もちろんPythonと比べると数もドキュメントも事例も少ない ) LangChain.js 最も著名なFWである LangChainのJS/TS版 LlamaIndex.TS LangChainと同じく最初期から存在する主にRAG用のFWのJS/TS版 ollama-js ローカルLLMの実行ツール。2023年の調査ではOSSモデルの実行ツールとしては3番目に多く使われている LangGraph.js マルチエージェントアプリケーションを構築するためのライブラリ Vercel AI SDK React、Next.js、V等でAIを活用したアプリケを構築するためのライブラリ PromptLayer プロンプト管理ツール。テンプレートでバージョン管理や、出力結果のトレーシング

Slide 11

Slide 11 text

11 ©2024 Loglass Inc. TypeScriptで開発して感じる利点(主観) シンプルにWebアプリケーションエンジニアにとっては圧倒的に馴染み深い   ● Webアプリ開発においてはTypeScritp/JavaScriptのエコシステムの方が充実している   ● PythonよりTypeScriptが書ける開発者を探す方が容易   ● 単純にTypeScriptで書けるなら、PythonよりはTypeScriptで書きたい（個人的には）    （自分がPythonを知らないだけ・覚えればいい問題ではあるかも）      

Slide 12

Slide 12 text

Slide 13

Slide 13 text

13 ©2024 Loglass Inc. LangChain.jsとは ● LLMと連携するアプリ開発のためのライブラリ   ● 最も著名なLLMアプリ開発ライブラリであるLangChainのTypeScript実装    ●   Model I/O RAG Memory LLM推論の実行。プロンプトテンプレート等のユーティリティも外部データソース/ドキュメントを元に LLMに回答させる過去のやりとりに関する情報を保存 (ベータ版) Agent モデル自体が次にどのようなアクションをとるかを判断、実行 (注: Pythonと機能差分・欠けてる機能はあり) 

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

18 ©2024 Loglass Inc. AIのプロダクトへの組み込みを専⾨分野とする「AIエンジニア」出典：The Rise of the AI Engineer（https://www.latent.space/p/ai-engineer）出典：The Rise of the AI Engineer（https://www.latent.space/p/ai-engineer） MLエンジニア・データサイエンティストとフルスタックエンジニアの間に位置する、 AIをプロダクトに組み込むことを専門とするAIエンジニアの誕生を主張   

Slide 19

Slide 19 text

19 ©2024 Loglass Inc. AIのプロダクトへの組み込みを専⾨分野とする「AIエンジニア」 ● 従来のMLやデータエンジニアリングとは異なるバックグラウンドを持ち、 AIのプロダクトへの組み込みを専門分野とする「AIエンジニア」が生まれつつある  ● データ/AI領域はPython中心のため、LangChain、LlamaIndexのような最初のAIライブラリ・ツールはPythonから生まれた  ● JS/TS開発者のボリュームを踏まえると、 JS/TSがAIエンジニアの主要なスキルセットの一つになると主張    -> 名称はともかく、TypeScriptでLLMアプリ開発を行うエコシステムは発展するかもしれない       出典：The Rise of the AI Engineer（https://www.latent.space/p/ai-engineer）

Slide 20

Slide 20 text

20 ©2024 Loglass Inc. まとめ Pythonに馴染みがない方も、TypeScriptでLLMアプリ開発に挑戦してみて欲しい！   ● LLMアプリケーション/プロダクトにLLMを組み込むのにライブラリは必須ではない   ○ しばらくはLLM APIをコールするだけで十分なケースも多いだろう   ● 一方で、TypeScriptはライブラリもそれなりに揃っており、比較的開発しやすい   ○ 体感だが、ライブラリ等の充実度は Pythonの次がTypeScript  ● 最も有名なライブラリであるLangChainのTS実装がLangChain.js   ● 将来的にもTypeScriptはLLMアプリケーションを開発する環境として有望かもしれない  

Slide 21

Slide 21 text

Slide 22

Slide 22 text