import random
# llama-cpp-pythonを利用
from llama_cpp import Llama

# ローカルに保存したモデルのフォルダーのパス
model_path = "./llm-jp-3-3.7b-instruct3-Q6_K.gguf"

# モデルをロード
llm = Llama(
  model_path=model_path,
  n_ctx=4096,
  n_threads=4,
  seed=random.randint(0, 2**31 - 1),
  verbose=False
)

# プロンプト
prompt = "Pythonの特徴を簡潔に教えてください。"

# 推論
output = llm(
  prompt,
  max_tokens=300,
  top_k=50,
  top_p=0.95,
  temperature=1.0,
  echo=False
)

# 結果表示
print(output["choices"][0]["text"])
