21  Downloads Updated  2 days ago

FROM ./Qwen2.5-Coder-3B-Instruct-Q4_K_M.gguf TEMPLATE """{{ .Prompt }}""" PARAMETER temperature 0.4 PARAMETER top_p 0.9 PARAMETER top_k 40 PARAMETER repeat_penalty 1.15 PARAMETER mirostat 2 PARAMETER mirostat_eta 0.2 PARAMETER mirostat_tau 5.0 PARAMETER