12 2 weeks ago

LoRA-finetuned Qwen3 8B model for Czech language.

tools

Models

View all →

Readme

🇨🇿 Czech Qwen3

AI model natrénovaný pro konverzaci v českém jazyce.
Rozumí a komunikuje česky a podporuje instruct styl interakcí. Optimalizovaný pro běh na 8GB VRAM GPU.


🧠 Schopnosti

  • Přirozená komunikace v češtině
  • Základní logické a konverzační úkoly
  • Základní matematické úkoly
  • Základní programovací schopnosti
  • Základní korekční schopnosti
  • Základní překladatelské schopnosti

🗂 Tréninková data

Model byl vytrénován na kombinaci veřejně dostupných a kurátorovaných dat:

Dataset / Zdroj Účel Odkaz
Stanford Alpaca (čištěný) Obecné porozumění instrukcím https://huggingface.co/datasets/saillab/alpaca-czech-cleaned

🔗 Reference

  • Upadhayay, B., & Behzadan, V. (2024). TaCo: Enhancing Cross-Lingual Transfer for Low-Resource Languages in LLMs through Translation-Assisted Chain-of-Thought Processes. In 5th Workshop on Practical ML for Limited/Low Resource Settings, ICLR. https://openreview.net/forum?id=02MLWBj8HP

⚙️ Technické informace

Parametr Hodnota
Typ tréninku LoRA fine-tuning
GPU (trénink) NVIDIA Tesla L4 (22 GB)
GPU (inference - použití) NVIDIA Tesla P4 (8 GB)
Doba tréninku ~20 hodin