WSAI-Heart

基于心理类数据集与 Qwen3.5-0.8B 全精度 LoRA 微调的心理支持对话模型

ModelScope

关于这个项目

WSAI-Heart 是一个利用课余时间由一名中学生独立完成的模型微调项目。作为一个对 AI 充满好奇心的中学生，我尝试在有限的硬件条件下完成了一次 LoRA 微调。

模型信息

主要用途

• 心理支持对话：提供情感陪伴、情绪疏导和心理安慰
• 通用对话：日常聊天与问答（心理数据增强了模型的共情能力）
• 多模态能力：模型保留了基座模型的视觉理解能力（微调时冻结了VLM能力）

训练细节

本次微调使用 LlamaFactory 框架完成，采用全精度 LoRA 对 Qwen3.5-0.8B 进行微调。由于条件限制，整个训练过程在 CPU 上完成，共训练 855 轮，耗时约 4-5 天。

我的发现与反思

在这次微调实验中，我得到了一些有价值的观察：

1. 模型参数量与能力的关系

模型参数越少，其综合能力一般越弱。0.8B 参数量的模型在复杂推理、长文本理解和知识广度上存在明显不足，这是模型规模的固有瓶颈。

2. LoRA 训练层数不足的影响

由于资源限制，LoRA 仅训练了 2 层，导致以下问题：

• 最终 Loss 仍然偏高：模型未能充分拟合训练数据
• 数据拟合度下降：回复质量和专业性受到限制
• 泛化能力受限：过少的可训练参数量难以捕捉心理类对话的细微模式

3. CPU 训练的现实

纯 CPU 训练虽然可行，但训练效率极低。855 轮训练耗时 4-5 天。这也间接限制了可尝试的训练参数组合和策略。

局限性

• 模型规模小：0.8B 参数量的模型能力有限，在复杂场景下可能产生不准确或无意义的回复
• 训练不充分：LoRA 仅覆盖 2 层，Loss 偏高，模型对心理类数据的拟合度不足
• 非专业替代：本模型 不能替代专业心理咨询或医疗建议，仅供参考和娱乐
• 中文为主：训练数据以中文为主，其他语言的能力未经验证
• 可能产生不当内容：小型模型存在幻觉问题，可能给出不恰当的建议

亮点

• 极致轻量：仅 ~0.8B 参数，模型文件约 1.6GB，是极少数可以在个人设备上流畅运行的心理对话模型
• 零门槛端侧部署：无需 GPU，纯 CPU 即可推理运行，适合树莓派、老旧笔记本等资源受限设备
• 一键安装：支持 Ollama 一行命令部署，开箱即用，无需复杂的环境配置
• 隐私安全：完全本地运行，对话数据不会上传到任何服务器，适合涉及个人隐私的心理倾诉场景
• 低资源占用：内存占用小，推理速度快，不影响设备正常使用
• 多模态能力：保留了基座模型 Qwen3.5 的视觉理解能力，支持图像输入分析
• 共情能力增强：基于心理类对话数据集微调，相比原始基座模型在情感理解和倾听方面有明显提升
• 完全免费开源：CC BY-NC-SA 4.0 许可证，免费使用、修改和分享

快速开始

Ollama 一键部署（推荐）

ollama pull wangshen/wsai-heart
ollama run wangshen/wsai-heart

致谢

• Qwen Team — 提供优秀的 Qwen3.5 基座模型
• LlamaFactory — 简洁高效的微调框架

许可证

本项目采用 CC BY-NC-SA 4.0 许可证。

• 署名：使用时请注明原作者
• 非商用：本模型及其衍生作品不得用于商业用途
• 相同方式共享：基于本作品的衍生作品须采用相同的许可证

⚠️ 请注意：作为 Qwen3.5 的衍生模型，使用时还需遵守 Qwen 原始模型的相关许可协议。