Areku/
Llama-3.2-1B-Instruct-QA-v4-q4km:latest

10 1 month ago

Fine-tuned meta-llama/Llama-3.2-1B for English QA tasks. use llama.cpp quantization q4_k_m

1 month ago

61265b691c54 · 808MB

model
llama
·
1.24B
·
Q4_K_M
template
<|begin_of_text|>{{ if .System }}<|start_header_id|>system<|end_header_id|> {{ .System }}<|eot_id|>
system
You are a helpful assistant.
params
{ "num_ctx": 4096, "stop": [ "<|end_of_text|>", "<|eot_id|>" ], "tem

Readme

モデル情報

「meta-llama/Llama-3.2-1B」をベースにInstruction-Tuningを実施し、llama.cppでgguf化したモデルをq4_k_mに量子化しました

(https://github.com/ggml-org/llama.cpp/releases/tag/b6020)

HuggingFaceからもダウンロードが可能です

https://huggingface.co/ArekuNoimar/Llama-3.2-1B-Instruct-QA-v4-q4km-gguf

下記の2種のライセンス要件を継承します

  • Llama 3.2 Community License　

  • CC BY‑NC 4.0　

データセット

訓練・検証データセット

  • データソース: https://github.com/tatsu-lab/stanford_alpaca
  • データ件数: 52,002件
  • 言語: 英語
  • データ形式:
    • instruction: モデルが実行すべきタスクで、データセット内部にあるinstructionはそれぞれ一意 str型
    • input: タスクのオプションのコンテキストまたは入力。データ件数のうち約40%に入力がある str型
    • output: text-davinci-003によって生成された、instructionに対する答え str型
  • ライセンス: CC BY NC 4.0

評価データセット

  • データソース: https://huggingface.co/datasets/tatsu-lab/alpaca_eval/blob/main/alpaca_eval.json
  • データ件数: 805件
  • 言語: 英語
  • データ形式:
    • instruction: モデルが実行すべきタスクで、データセット内部にあるinstructionはそれぞれ一意 str型
    • input: タスクのオプションのコンテキストまたは入力。データ件数のうち約40%に入力がある str型
    • output: text-davinci-003によって生成された、instructionに対する答え str型
  • ライセンス: CC BY NC 4.0