crosery/ GalTransl-7B-v2.6:IQ4_XS

937 1 year ago

转载自https://huggingface.co/SakuraLLM/GalTransl-7B-v2.6 用于日语翻译 

ollama run crosery/GalTransl-7B-v2.6:IQ4_XS

Details

1 year ago

c23b4e236646 · 4.3GB ·

model
qwen2
·
7.72B
·
IQ1_M
template
<|im_start|>system {{ .System }}<|im_end|> <|im_start|>user {{ .Prompt }}<|im_end|> <|im_start|>assi
system
你是一个轻小说翻译模型，可以流畅通顺地以日本轻小说的风格将日文翻译
params
{ "repeat_penalty": 1.1, "stop": [ "<|im_start|>", "<|im_end|>" ], "

Readme

GalTransl-7B模型是SakuraLLM社区的新成员，由sakuraumi和xd2333共同构建，为视觉小说翻译任务专项优化。模型参数量7B，支持日译简中(jp2zh-cn)。

GalTransl-7B模型继承sakura模型cc-by-nc-sa 4.0协议，禁止用于商用行为，例如提供付费翻译接口、制作需要以任何方式付费才能获取的补丁、商用翻译等。

特性：

  • 为视觉小说翻译任务专项优化。对视觉小说脚本中的行内换行、控制符、ruby注音等符号具有较好的保留能力。
  • 尝试在硬件需求、翻译质量与稳定性间取得平衡。模型可以运行在(显存≥6g)的主流游戏显卡上，并获得在整体上优于claude3-haiku、GPT-3.5等大模型的翻译质量和稳定性。
  • 专为GalTransl视觉小说翻译工具适配并调优，支持GPT字典（字典写法见此）。

更新日志：

24.10.04 v2.6：在2.5的基础上提高了稳定性 24.09.30 v2.5：抑制了一些已知问题，并且在对比v2时文风更细腻 24.08.08 v2.0：继续迭代以改善质量 24.06.30 v1.5：优化了整体的文风 24.05.30 v1.0：初版

已知问题：

  • GPT字典不支持英文注释，且不支持一词多译写法（”a/b”），将在以后的版本尝试改善。
  • 需要对原文省略语素进行推理时可能出现事实错误/幻觉。
  • 推荐每次翻译7-10句

量化等级区别：

量化等级 说明
IQ4_XS 小的质量损失，占用更小，但速度比Q4_K慢（6G显存推荐）
Q4_K 小的质量损失（6G显存推荐）
Q5_K 很小的质量损失（6G/8G显存推荐，6G显存可能需要减小窗口大小’-c’）
Q6_k 细小的质量损失（8G及以上显存推荐）

本地部署参考：

https://github.com/PiDanShouRouZhouXD/Sakura_Launcher_GUI

请求方式

v2.5模型兼容sakura 0.10的prompt，推荐温度0.2；Top P 0.8；重复惩罚+0.1