中文羊驼大模型三期项目v2.0出品,模型来源:https://hf-mirror.com/hfl/llama-3-chinese-8b-instruct-v2-gguf,基于Meta-Llama-3-8B-Instruct

8b

1,474 6 months ago

Readme

Llama-3-Chinese-8B-Instruct-v2 Q4_0(from 中文羊驼大模型三期 v2.0)

2024-5-19

Llama3-Chinese必要性: Llama3对中文支持并不好,经常会出现中文问题给出英文答案,本人收集了市场上Llama3的中文微调版本,量化并适配了modelfile,现分享给大家。

以下来自https://github.com/ymcui/Chinese-LLaMA-Alpaca-3

[2024/05/08] 发布Llama-3-Chinese-8B-Instruct-v2版指令模型,直接采用500万条指令数据在 Meta-Llama-3-8B-Instruct 上进行精调。详情查看:📚v2.0版本发布日志

[2024/05/07] 添加预训练脚本、指令精调脚本。详情查看:📚v1.1版本发布日志

[2024/04/30] 发布Llama-3-Chinese-8B基座模型和Llama-3-Chinese-8B-Instruct指令模型。详情查看:📚v1.0版本发布日志

[2024/04/19] 🚀 正式启动Chinese-LLaMA-Alpaca-3项目

本项目基于Meta最新发布的新一代开源大模型Llama-3开发,是Chinese-LLaMA-Alpaca开源大模型相关系列项目(一期、二期)的第三期。本项目开源了中文Llama-3基座模型和中文Llama-3-Instruct指令精调大模型。这些模型在原版Llama-3的基础上使用了大规模中文数据进行增量预训练,并且使用精选指令数据进行精调,进一步提升了中文基础语义和指令理解能力,相比二代相关模型获得了显著性能提升。

主要内容 🚀 开源Llama-3-Chinese基座模型和Llama-3-Chinese-Instruct指令模型 🚀 开源了预训练脚本、指令精调脚本,用户可根据需要进一步训练或微调模型 🚀 开源了alpaca_zh_51k, stem_zh_instruction, ruozhiba_gpt4 (4o/4T) 指令精调数据 🚀 提供了利用个人电脑CPU/GPU快速在本地进行大模型量化和部署的教程 🚀 支持🤗transformers, llama.cpp, text-generation-webui, vLLM, Ollama等Llama-3生态

本项目推出了基于Meta Llama-3的中文开源大模型Llama-3-Chinese以及Llama-3-Chinese-Instruct。主要特点如下:

📖 使用原版Llama-3词表 Llama-3相比其前两代显著扩充了词表大小,由32K扩充至128K,并且改为BPE词表 初步实验发现Llama-3词表的编码效率与我们扩充词表的中文LLaMA-2相当,效率约为中文LLaMA-2词表的95%(基于维基百科数据上的编码效率测试) 结合我们在中文Mixtral上的相关经验及实验结论1,我们并未对词表进行额外扩充 🚄 长上下文长度由二代4K扩展至8K Llama-3将原生上下文窗口长度从4K提升至8K,能够进一步处理更长的上下文信息 用户也可通过PI、NTK、YaRN等方法对模型进行长上下文的扩展,以支持更长文本的处理 ⚡ 使用分组查询注意力机制 Llama-3采用了Llama-2中大参数量版本应用的分组查询注意力(GQA)机制,能够进一步提升模型的效率 🗒 全新的指令模板 Llama-3-Instruct采用了全新的指令模板,与Llama-2-chat不兼容,使用时应遵循官方指令模板

image.png

详情请见:https://github.com/ymcui/Chinese-LLaMA-Alpaca-3 https://hf-mirror.com/hfl/llama-3-chinese-8b-instruct-v2-gguf

QQ:83649263