Tanuki-8B is a LLM with about 8B parameters that was pre-trained with about 1.3T tokens using full-scratch training.

8B

920 Pulls Updated 2 weeks ago

Readme

!!!!注意!!!!

本モデルは、性能低下のため非推奨となっているGGUF版を使用しています。性能低下を踏まえた上で、体験版として提供するものです。

!!!!CAUTION!!!!

This model uses the GGUF version, which is no longer recommended due to performance degradation. It is provided as a trial version based on the performance degradation.


Tanuki-8Bは、フルスクラッチで約1.3Tトークン事前学習を行った約8Bパラメータの大規模言語モデルです。Tanuki-8x8B-dpo-v1.0は、SFTおよびDPOにより対話用に調整されています。

Tanuki-8B is a large-scale language model with about 8B parameters that was pre-trained with about 1.3T tokens using full-scratch training. Tanuki-8x8B-dpo-v1.0 has been tuned for dialogue using SFT and DPO.

Links

Original:

GGUF (UNRECOMMENDED):

Modelfile

FROM Tanuki-8B-dpo-v1.0-Q6_K.gguf

SYSTEM "以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。"

TEMPLATE """{{ if .System }}<s>{{ .System }}

{{ end }}{{ if .Prompt }}### 指示:
{{ .Prompt }}

{{ end }}### 応答:
{{ .Response }}"""

LICENSE "Apache License 2.0"