A Chinese writing model fine-tuned from Qwen3-4B with 4.3 GB weights, 256K context. The model was trained on an in-house Chinese corpus, with a strength in literary criticism, personal essays, and commentary on social phenomena.

bimo-4b

基于 Qwen3-4B 微调（general.finetune = Style）的 4B 规模中文文本生成模型，Q8_0 量化，4.3 GB，声明 256K 上下文。使用自有高质量中文语料进行微调，擅长文学评论、随笔散文、社会现象批评等文科方向。

快速开始

ollama run yizhicharles/bimo-4b

因为该模型使用提示直通，推荐用 generate 接口而非 chat 接口：

curl http://localhost:11434/api/generate -d '{
  "model": "yizhicharles/bimo-4b",
  "prompt": "什么是理想主义？",
  "stream": false,
  "options": { "temperature": 0.8, "top_p": 0.9, "num_ctx": 8192 }
}'

import ollama

resp = ollama.generate(
    model="yizhicharles/bimo-4b",
    prompt="什么是理想主义？",
    options={"temperature": 0.8, "top_p": 0.9, "num_ctx": 8192},
)
print(resp["response"])

模型规格

项目	值
架构	Qwen3（Dense）
参数量	4B（36 层，hidden 2560，32 查询头 / 8 KV 头，GQA）
量化	Q8_0（GGUF file_type 7）
文件体积	4.3 GB
上下文长度	262,144（256K），Modelfile 默认 `num_ctx = 8192`
词表 / 分词	Qwen2 BPE，144K 级词表，EOS 151645，`add_bos = false`
输入输出	纯文本
内嵌元数据	`general.name = Qwen3 4B Style v1`，`version = v1`，`finetune = Style`

推理参数

Modelfile 内置默认值：

PARAMETER temperature 0.8
PARAMETER top_p 0.9
PARAMETER num_ctx 8192

GGUF 权重自带的上游建议为 temperature 0.7 / top_k 20 / top_p 0.8，偏保守、更适合事实型叙述；内置默认值（0.8 / 0.9）更放开，适合风格化写作。二者都在可用区间，按场景选：

场景	建议
风格化创作、长文铺陈	内置默认 0.8 / 0.9
信息叙述、需要稳定复现	0.7 / 0.8，并固定 `seed`
长上下文（>32K）	显式设置 `num_ctx`；Q8_0 下 KV 缓存随 `num_ctx` 线性增长，需留足显存

使用说明

上下文与显存：默认 num_ctx=8192，单卡 8 GB 级别即可运行；拉到 256K 需要数十 GB 级 KV 缓存，实际部署建议 32K–64K 起步再上调。
语言：主要面向中文，配 temperature 偏低时英文输出可用但不保证风格一致。

训练信息

基座权重：在 Qwen3-4B-Base 上训练 LoRA，再将 ΔW 合并进 Qwen3-4B-Instruct-2507。
微调方法：4-bit NF4 QLoRA，LoRA r=64 / α=128，序列长度上限 2048，学习率 1e-4 余弦退火，386 步（batch 1 × 梯度累积 16）。
数据构成：语料约 800 万字，涵盖文艺评论、学术讲义、随笔与时评、中外文学名著。序列长度上限 2048。
训练目标：风格迁移。让 4B 基座习得中文文艺评论与书面随笔的语感——长句铺陈、破折号与引号密度、书面语词汇偏好，同时保留 instruct 版本的指令跟随与常识能力。
已知局限：① 低温（<0.6）或长文后段易出现复读与句式自我重复；② 风格语料中的用词偏好会被放大，事实性陈述需人工核对；③ 4B 容量下复杂推理、代码、数学能力有限；④ 训练语料带文体标签，在 chat 接口配自定义 system 时可能被诱发输出标签前缀，建议用 generate 接口，或在 system 中显式禁止；⑤ 日常口语对话腔不自然，整体偏书面。

局限与注意事项

4B 规模模型在复杂推理、代码、数学任务上能力有限，不应作为通用助手使用。
风格微调模型可能放大训练语料中的用词偏好与事实错误，生成内容需人工复核。
模型输出不代表发布者观点；用于生产环境前请自行评测。

许可

Apache-2.0。基座 Qwen3-4B 采用 Apache-2.0 协议，本微调权重沿用同一协议发布，使用时请同时遵守上游 Qwen3 的许可条款。