Tanuki-8B is a LLM with about 8B parameters that was pre-trained with about 1.3T tokens using full-scratch training.
3,139 Pulls Updated 5 months ago
Readme
!!!!注意!!!!
本モデルは、性能低下のため非推奨となっているGGUF版を使用しています。性能低下を踏まえた上で、体験版として提供するものです。
NFKC正規化がサポートされていないため、全角英数字や半角カナが認識できません。入力しないようにご注意ください。
!!!! WARNING !!!!
This model uses the GGUF version, which is no longer recommended due to performance degradation. It is provided as a trial version based on this performance degradation.
Since NFKC normalization is not supported, full-width alphanumeric characters and half-width kana cannot be recognized. Please be careful not to enter them.
Tanuki-8Bは、フルスクラッチで約1.3Tトークン事前学習を行った約8Bパラメータの大規模言語モデルです。Tanuki-8x8B-dpo-v1.0は、SFTおよびDPOにより対話用に調整されています。
Tanuki-8B is a large-scale language model with about 8B parameters that was pre-trained with about 1.3T tokens using full-scratch training. Tanuki-8x8B-dpo-v1.0 has been tuned for dialogue using SFT and DPO.
Links
Original:
GGUF (UNRECOMMENDED):
References:
- https://zenn.dev/matsuolab/articles/2857bf0feeeb5d
- https://x.com/Aratako_LM/status/1833704721938542793
- https://zenn.dev/7shi/articles/c405f396a360d8
Modelfile
FROM Tanuki-8B-dpo-v1.0-Q6_K.gguf
SYSTEM "以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。"
TEMPLATE """{{ if .System }}<s>{{ .System }}
{{ end }}{{ if .Prompt }}### 指示:
{{ .Prompt }}
{{ end }}### 応答:
{{ .Response }}"""
LICENSE "Apache License 2.0"