21 2 days ago

FROM ./Qwen2.5-Coder-3B-Instruct-Q4_K_M.gguf TEMPLATE """{{ .Prompt }}""" PARAMETER temperature 0.4 PARAMETER top_p 0.9 PARAMETER top_k 40 PARAMETER repeat_penalty 1.15 PARAMETER mirostat 2 PARAMETER mirostat_eta 0.2 PARAMETER mirostat_tau 5.0 PARAMETER

tools
56bb8bd477a5 · 96B
{
"stop": [
"<|start_header_id|>",
"<|end_header_id|>",
"<|eot_id|>"
]
}