Slide 6
Slide 6 text
takemikami’s note – http://takemikami.com/
PolyCoderによるコード生成 1/2
• モデルのロード
• 生成処理
Copyright (C) Takeshi Mikami. All rights reserved. 6
PolyCoderの紹介およびコード生成
PolyCoderによるコード生成のイメージを紹介します
PolyCoderによるコード生成のイメージを紹介します
import transformers
from transformers import AutoTokenizer, AutoModelForCausalLM
from packaging import version
assert version.parse(transformers.__version__) >= version.parse("4.23.0")
tokenizer = AutoTokenizer.from_pretrained("NinedayWang/PolyCoder-2.7B")
model = AutoModelForCausalLM.from_pretrained("NinedayWang/PolyCoder-2.7B")
prompt = '''def binarySearch(arr, left, right, x):
mid = (left +'''
input_ids = tokenizer.encode(prompt, return_tensors='pt')
result = model.generate(input_ids, max_length=50, num_beams=4, num_return_sequences=4)
for res in result:
print(f"---- candidate #{idx + 1}")
print(tokenizer.decode(res))
引用元: https://github.com/VHellendoorn/Code-LMs のREADMEより
Tokenizer, Modelのロード
入力のコード