Slide 21
Slide 21 text
どうやって大規模言語モデル向けに使う? 21
TGIコンテナを使うことによりOpenAI互換APIで実行が可能
import os
os.environ["OPENAI_BASE_URL"] = "http://{ロードバランサーのDNS名}/v1"
os.environ["OPENAI_API_KEY"] = "dummy"
from openai import OpenAI
client = OpenAI()
stream = client.chat.completions.create(
model="hogehoge",
messages=[
{"role": "system", "content": "あなたは親切なアシスタントです。" },
{"role": "user", "content": "今日の献立を考えてください。"}
],
max_tokens=1024, temperature=0.3, top_p=0.3, stream=True
)
for chunk in stream:
print(chunk.choices[0].delta.content or "", end="")
今日の献立は、鶏の照り焼き、ほうれん草のおひたし、味噌汁、白米、フルーツです。
鶏の照り焼きは、鶏もも肉を醤油、みりん、砂糖、酒、生姜で味付けし、フライパンで焼いて、
照り焼きソースを絡めて作ります。
...