WSAI-Heart
基于心理类数据集与 Qwen3.5-0.8B 全精度 LoRA 微调的心理支持对话模型
ModelScope
关于这个项目
WSAI-Heart 是一个利用课余时间由一名中学生独立完成的模型微调项目。作为一个对 AI 充满好奇心的中学生，我尝试在有限的硬件条件下完成了一次 LoRA 微调。
模型信息
| 项目 |
详情 |
| 基座模型 |
Qwen3.5-0.8B |
| 模型架构 |
Qwen3.5 (Hybrid Linear + Full Attention) |
| 参数量 |
~0.8B |
| 精度 |
bfloat16 |
| 微调方式 |
全精度 LoRA |
| LoRA 训练层数 |
2 层 |
| 训练轮数 |
855 epochs |
| 训练硬件 |
纯 CPU |
| 训练时长 |
约 4-5 天 |
| 训练数据集 |
心理类对话数据集 |
主要用途
- 心理支持对话：提供情感陪伴、情绪疏导和心理安慰
- 通用对话：日常聊天与问答（心理数据增强了模型的共情能力）
- 多模态能力：模型保留了基座模型的视觉理解能力（微调时冻结了VLM能力）
训练细节
本次微调使用 LlamaFactory 框架完成，采用全精度 LoRA 对 Qwen3.5-0.8B 进行微调。由于条件限制，整个训练过程在 CPU 上完成，共训练 855 轮，耗时约 4-5 天。
我的发现与反思
在这次微调实验中，我得到了一些有价值的观察：
1. 模型参数量与能力的关系
模型参数越少，其综合能力一般越弱。0.8B 参数量的模型在复杂推理、长文本理解和知识广度上存在明显不足，这是模型规模的固有瓶颈。
2. LoRA 训练层数不足的影响
由于资源限制，LoRA 仅训练了 2 层，导致以下问题：
- 最终 Loss 仍然偏高：模型未能充分拟合训练数据
- 数据拟合度下降：回复质量和专业性受到限制
- 泛化能力受限：过少的可训练参数量难以捕捉心理类对话的细微模式
3. CPU 训练的现实
纯 CPU 训练虽然可行，但训练效率极低。855 轮训练耗时 4-5 天。这也间接限制了可尝试的训练参数组合和策略。
局限性
- 模型规模小：0.8B 参数量的模型能力有限，在复杂场景下可能产生不准确或无意义的回复
- 训练不充分：LoRA 仅覆盖 2 层，Loss 偏高，模型对心理类数据的拟合度不足
- 非专业替代：本模型 不能替代专业心理咨询或医疗建议，仅供参考和娱乐
- 中文为主：训练数据以中文为主，其他语言的能力未经验证
- 可能产生不当内容：小型模型存在幻觉问题，可能给出不恰当的建议
亮点
- 极致轻量：仅 ~0.8B 参数，模型文件约 1.6GB，是极少数可以在个人设备上流畅运行的心理对话模型
- 零门槛端侧部署：无需 GPU，纯 CPU 即可推理运行，适合树莓派、老旧笔记本等资源受限设备
- 一键安装：支持 Ollama 一行命令部署，开箱即用，无需复杂的环境配置
- 隐私安全：完全本地运行，对话数据不会上传到任何服务器，适合涉及个人隐私的心理倾诉场景
- 低资源占用：内存占用小，推理速度快，不影响设备正常使用
- 多模态能力：保留了基座模型 Qwen3.5 的视觉理解能力，支持图像输入分析
- 共情能力增强：基于心理类对话数据集微调，相比原始基座模型在情感理解和倾听方面有明显提升
- 完全免费开源：CC BY-NC-SA 4.0 许可证，免费使用、修改和分享
快速开始
Ollama 一键部署（推荐）
ollama pull wangshen/wsai-heart
ollama run wangshen/wsai-heart
致谢
许可证
本项目采用 CC BY-NC-SA 4.0 许可证。
- 署名：使用时请注明原作者
- 非商用：本模型及其衍生作品不得用于商业用途
- 相同方式共享：基于本作品的衍生作品须采用相同的许可证
⚠️ 请注意：作为 Qwen3.5 的衍生模型，使用时还需遵守 Qwen 原始模型的相关许可协议。