162 7 months ago

LoRA-finetuned Qwen3 8B model for Czech language.

tools
ollama run lukasplevac/Qwen3-CZ

Details

7 months ago

e5b650990774 · 5.0GB ·

qwen3
·
8.19B
·
Q4_K_M
{ "min_p": 0, "repeat_penalty": 1, "stop": [ "<|im_end|>", "<|im_start|>
{{- if .Messages }} {{- if or .System .Tools }}<|im_start|>system {{- if .System }} {{ .System }} {{

Readme

Czech Qwen3

AI model natrénovaný pro konverzaci v českém jazyce.
Rozumí a komunikuje česky a podporuje instruct styl interakcí. Optimalizovaný pro běh na 8GB VRAM GPU.


Schopnosti

  • Přirozená komunikace v češtině
  • Základní logické a konverzační úkoly
  • Základní matematické úkoly
  • Základní programovací schopnosti
  • Základní korekční schopnosti
  • Základní překladatelské schopnosti

Tréninková data

Model byl vytrénován na veřejně dostupných datech:

Dataset / Zdroj Účel Odkaz
Stanford Alpaca (čištěný) Obecné porozumění instrukcím https://huggingface.co/datasets/saillab/alpaca-czech-cleaned

Reference

  • Upadhayay, B., & Behzadan, V. (2024). TaCo: Enhancing Cross-Lingual Transfer for Low-Resource Languages in LLMs through Translation-Assisted Chain-of-Thought Processes. In 5th Workshop on Practical ML for Limited/Low Resource Settings, ICLR. https://openreview.net/forum?id=02MLWBj8HP

Technické informace

Parametr Hodnota
Typ tréninku LoRA fine-tuning
GPU (trénink) NVIDIA RTX A4000 (16 GB)
GPU (inference - použití) NVIDIA Tesla P4 (8 GB)
Doba tréninku ~24 hodin
Počet epoch 2