# PyTorchを利用
import torch
# Transformersを利用
from transformers import AutoTokenizer, AutoModelForCausalLM

# ローカルに保存したモデルのフォルダーのパス
model_path = "./llm-jp-3-3.7b-instruct3"

# トークナイザーとモデルの読み込み
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path)

# GPUが使えるのなら利用
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model = model.to(device)

# プロンプト
prompt = "Pythonの特徴を簡潔に教えてください。"

# トークナイズ
inputs = tokenizer(prompt, return_tensors="pt", padding=True)
input_ids = inputs["input_ids"].to(device)
attention_mask = inputs["attention_mask"].to(device)

# 推論
with torch.no_grad():
  output_ids = model.generate(
    input_ids=input_ids,
    attention_mask=attention_mask,
    max_length=250,
    do_sample=True,
    top_k=50,
    top_p=0.95,
    temperature=1.0,
    pad_token_id=tokenizer.pad_token_id,
  )

# 結果表示
generated_tokens = output_ids[0][input_ids.shape[1]:]
generated_text = tokenizer.decode(generated_tokens, skip_special_tokens=True)
print(generated_text)
