bimo-4b

基于 Qwen3-4B 微调（general.finetune = Style）的 4B 规模中文文本生成模型，Q8_0 量化，4.3 GB，声明 256K 上下文。使用自有高质量中文语料进行微调，擅长文学评论、随笔散文、社会现象批评等文科方向。

快速开始

ollama run yizhicharles/bimo-4b

因为该模型使用提示直通，推荐用 generate 接口而非 chat 接口：

curl http://localhost:11434/api/generate -d '{
  "model": "yizhicharles/bimo-4b",
  "prompt": "什么是理想主义？",
  "stream": false,
  "options": { "temperature": 0.8, "top_p": 0.9, "num_ctx": 8192 }
}'

import ollama

resp = ollama.generate(
    model="yizhicharles/bimo-4b",
    prompt="什么是理想主义？",
    options={"temperature": 0.8, "top_p": 0.9, "num_ctx": 8192},
)
print(resp["response"])

模型规格

推理参数

Modelfile 内置默认值：

PARAMETER temperature 0.8
PARAMETER top_p 0.9
PARAMETER num_ctx 8192

GGUF 权重自带的上游建议为 temperature 0.7 / top_k 20 / top_p 0.8，偏保守、更适合事实型叙述；内置默认值（0.8 / 0.9）更放开，适合风格化写作。二者都在可用区间，按场景选：

使用说明

1. 上下文与显存：默认 num_ctx=8192，单卡 8 GB 级别即可运行；拉到 256K 需要数十 GB 级 KV 缓存，实际部署建议 32K–64K 起步再上调。
2. 语言：主要面向中文，配 temperature 偏低时英文输出可用但不保证风格一致。

训练信息

• 基座权重：在 Qwen3-4B-Base 上训练 LoRA，再将 ΔW 合并进 Qwen3-4B-Instruct-2507。
• 微调方法：4-bit NF4 QLoRA，LoRA r=64 / α=128，序列长度上限 2048，学习率 1e-4 余弦退火，386 步（batch 1 × 梯度累积 16）。
• 数据构成：语料约 800 万字，涵盖文艺评论、学术讲义、随笔与时评、中外文学名著。序列长度上限 2048。
• 训练目标：风格迁移。让 4B 基座习得中文文艺评论与书面随笔的语感——长句铺陈、破折号与引号密度、书面语词汇偏好，同时保留 instruct 版本的指令跟随与常识能力。
• 已知局限：① 低温（<0.6）或长文后段易出现复读与句式自我重复；② 风格语料中的用词偏好会被放大，事实性陈述需人工核对；③ 4B 容量下复杂推理、代码、数学能力有限；④ 训练语料带文体标签，在 chat 接口配自定义 system 时可能被诱发输出标签前缀，建议用 generate 接口，或在 system 中显式禁止；⑤ 日常口语对话腔不自然，整体偏书面。

局限与注意事项

• 4B 规模模型在复杂推理、代码、数学任务上能力有限，不应作为通用助手使用。
• 风格微调模型可能放大训练语料中的用词偏好与事实错误，生成内容需人工复核。
• 模型输出不代表发布者观点；用于生产环境前请自行评测。

许可

Apache-2.0。基座 Qwen3-4B 采用 Apache-2.0 协议，本微调权重沿用同一协议发布，使用时请同时遵守上游 Qwen3 的许可条款。