TNDTVN/ dthu-bot:latest

40 2 months ago

Mô hình AI tư vấn được tinh chỉnh (fine-tuned) từ mô hình Qwen2.5-7B-Instruct với định dạng tối ưu q4_k_m 

ollama run TNDTVN/dthu-bot

Details

2 months ago

ec64d3ce927d · 4.7GB ·

model
qwen2
·
7.62B
·
Q4_K_M
template
{{ if .System }}<|im_start|>system {{ .System }}<|im_end|> {{ end }}{{ if .Prompt }}<|im_start|>user
params
{ "num_ctx": 4096, "stop": [ "<|im_start|>", "<|im_end|>", "[H]"

Readme

🎓 Model DTHU Chat Bot

Đây là mô hình ngôn ngữ lớn được tinh chỉnh chuyên biệt nhằm hỗ trợ xây dựng website tư vấn tuyển sinh cho Trường Đại học Đồng Tháp (DTHU).

🛠 Thông tin kỹ thuật

  • [cite_start]Base Model (Mô hình gốc): Qwen/Qwen2.5-7B-Instruct
  • [cite_start]Phương pháp huấn luyện: Fine-tuning bằng LoRA thông qua thư viện Unsloth (tối ưu hóa trên GPU Tesla T4).
  • [cite_start]Dữ liệu huấn luyện: Tập dữ liệu đặc tả tuyển sinh nội bộ (cleaned_tuyen_sinh_data.jsonl).
  • Định dạng (Format): GGUF
  • [cite_start]Lượng tử hóa (Quantization): q4_k_m - Giúp tối ưu hóa dung lượng (chỉ khoảng 4.7GB) mà vẫn giữ được độ chính xác cao khi chạy cục bộ trên máy tính cá nhân.
  • Context Window: 32K.

🚀 Hướng dẫn cài đặt & sử dụng

Mô hình đã được đóng gói sẵn trên Ollama. Bạn có thể kéo (pull) và chạy trực tiếp bằng Terminal/Command Prompt trên máy tính đã cài đặt Ollama:

Chạy trực tiếp qua CLI

ollama run TNDTVN/dthu-bot