AWSの生成AI「Amazon Bedrock」入門＆LT会！ Bun & Honoで始めるAmazon Bedrock入門 -完全版- 2023/10/27 渡邉 洋平 1

自己紹介 渡邉 洋平(watany) 所属とか： NTTテクノクロス株式会社 JAWS-UG東京 最近の悩み： 今回軽い気持ちで参加したけど、これ二週間後のJAWS-UG横浜用 のネタや 2

Bedrock GA！ Full-Managedな基盤モデルのサービス PlaygroundやWorkshopは実施しましたか？ 君たちはどう実装するか(画像略) ChatGPT likeなシステム システムにAPIとして組み込む ←今回 3

LLM + AWS王道構成 Python + Langchain 右の本は神 Bedrock Claude2、AWS Integration API Gateway + Lambda 王道のサーバレスAPI構成 4

王道構成……実は気になるとこ ※別に対立煽りではない Python 環境構築や型システム周りに不満はないか？ Langchain アプデ早過ぎ。商用に耐えられるか？ API Gateway 実は設定が複雑で変に時間を取られないか？ Lambda ＋API Gatewayだと30秒しか持たない…… Functions URLはWAFがなァ 5

新たな選択肢を増やしてみよう 言語：Typescript 強めの型システム＋利用者の多さ 対BedrockはあえてのSDK ローレベルでLLMを操作する人はLangchain剝がしてることも フレームワーク：AWS CDK ＆ Hono どちらもTypescriptで一本化 IaC: AWS CDK Web API : Hono インフラ：App Runner + Docker WAFもドメイン周りも大幅強化の2023年 Dockerを載せて公開するだけなら、ほぼサーバレスAPI(諸説あり) 6

まあポジショントークなので話半分に 聞いてください 自己紹介で書いてなかったこと CDK Contributer(50件くらい) Hono Contributer(20件くらい) 最近の趣味記事 右記 Zennで公開した、この記事を下敷きにして います。 Bun & Honoで始めるAmazon Bedrock入門 https://zenn.dev/watany/articles/ b82029522c762c 7

それでは……実装 8

Bun TypeScript/JavaScript Runtime Typescriptネイティブの実行環境を爆速で作れる。 環境に限らずすべてが速い。 かわいい 9

Bun 環境の作り方 Node18以降が苦手なAmazon Linux2でも動く(重要) 10

Hono Small, Simple, and Ultrafast web framework. Express ライクで使いやすい Adaptorという仕組みで、動くRuntime/Platformが多い。 AWS Lambdaでも、Lambda@Edgeでも 私も色々パッチ入れてる 11

Hono の基本形 これが基本形。 importとエントリポイントを変えれば、可搬性が高い 12

SDK (InvokeModel) 注：PropmtのI/Fが適当 13

SDK (InvokeModelWithResponseStream) いわゆる「ヌルヌル返すやつ」 14

Bun + Docker 公式ImageでDistroless化も簡単 15

App Runner CDKでスッと書く 16

Bedrockを扱うためのAPI……完成！ ここまで書いた素材で基本動く。 省いた詳細はこれ読もう Bun & Honoで始めるAmazon Bedrock入門 https://zenn.dev/watany/articles/b82029522c762c Docker(App Runner)+Honoなら、BunでもDenoでもNode.jsでも動く https://zenn.dev/watany/articles/194e31331a25be 17

想定問答 Bunはまだ使うの怖い Nodejs or Denoでどうか？ App Runnerに抵抗感がある 実はStreamサポートはアンオフィシャル HonoならLambdaでもLambda@EdgeでもECSでも動く 18

まとめ JavaScript/TypeScript主戦場の人でもBedrockできる。 App RunnerもLambdaも選択肢になる。 みんなの非「王道構成」も、アウトプットして！！ 19

出典 ChatGPT/LangChainによるチャットシステム構築［実践］入門 https://gihyo.jp/book/2023/978-4-297-13839-4 Bun https://bun.sh/ Hono https://hono.dev/ 20