scomper / llama3-zh-inst

Llama-3-Chinese-8B-Instruct-v3（指令模型），融合了v1、v2以及Meta原版Instruct模型，在中文任务上大幅超越v1/v2版，英文任务上与Meta原版保持持平，主观体验效果显著提升。

509 5 months ago

1 Tag

Readme

简介

[2024/05/30]Llama-3-Chinese-8B-Instruct-v3 版指令模型，相比v1/v2在下游任务上获得显著提升。英文任务上与Meta原版保持持平，主观体验效果显著提升。

[2024/05/08] Llama-3-Chinese-8B-Instruct-v2 版指令模型，直接采用500万条指令数据在 Meta-Llama-3-8B-Instruct 上进行精调。沿用原版Llama-3-Instruct的指令模板。以下是一组对话示例：

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

You are a helpful assistant. 你是一个乐于助人的助手。<|eot_id|><|start_header_id|>user<|end_header_id|>

你好<|eot_id|><|start_header_id|>assistant<|end_header_id|>

你好！有什么可以帮助你的吗？<|eot_id|>

客观效果

Llama-3-Chinese-8B-Instruct-v2 使用的初始化模型为Meta-Llama-3-8B-Instruct（其效果比非Instruct版高），相关下游任务指标相比v1均有显著提升，部分指标上超过原版。

对比项 Instruct-v2 Instruct-v3
发布时间 2024/5/8 2024/5/30
基模型 原版Meta-Llama-3-8B-Instruct （见训练方式）
训练方式 直接使用500万指令数据精调 使用inst-v1, inst-v2, inst-meta进行模型融合，并经过少量指令数据（~5K条）的精调得到
中文能力[1] 51.6 / 51.6 55.2 / 54.8 👍🏻
英文能力[1] 66.68 66.81 👍🏻
长文本能力[1] 46.4 👍🏻 40.5
大模型竞技场胜率 / Elo评分 66.1% / 1559 83.6% / 1627 👍🏻

开始聊天

输入以下命令进入聊天程序

ollama run scomper/llama3-zh-inst

引用

GitHub 项目：Chinese-LLaMA-Alpaca-3

🤗Hugging Face