vi-ocr-hwr:3b

Qwen2.5-VL 3B LoRA fine-tune cho OCR chữ viết tay tiếng Việt. Base qwen25vl-3b-vi-hwr-lora-Q4_K_M.gguf + projector mmproj-qwen25vl-3b-vi-hwr-lora-f16.gguf.

• temperature 0.1, num_ctx 8192
• System: trích xuất chính xác văn bản tiếng Việt viết tay, giữ nguyên chính tả / dấu câu / xuống dòng.

1. Cài đặt

ollama pull tranhuythang9999/vi-ocr-hwr:3b
ollama run tranhuythang9999/vi-ocr-hwr:3b

2. Test nhanh với ảnh mẫu

Ảnh mẫu: https://raw.githubusercontent.com/tranhuy67896262-creator/vi_ocr_handwritten/main/assets/vi-handwriting-sample-2.png

Cách A — CLI (1 dòng, khuyên dùng, bash / PowerShell chung)

ollama run tranhuythang9999/vi-ocr-hwr:3b "Trích xuất chính xác toàn bộ văn bản tiếng Việt viết tay trong ảnh. Giữ nguyên chính tả, dấu câu và xuống dòng." --image https://raw.githubusercontent.com/tranhuy67896262-creator/vi_ocr_handwritten/main/assets/vi-handwriting-sample-2.png

Nếu bản Ollama cũ không nhận --image, dùng chế độ interactive:

ollama run tranhuythang9999/vi-ocr-hwr:3b
>>> Trích xuất văn bản trong ảnh này: .\vi-handwriting-sample-2.png

Kết quả mong đợi (nội dung chính):

Kế hoạch KSK tổng quát
1. Khám nội tổng quát (150.000 VNĐ)
2. Chụp Xquang (150.000 VNĐ)
3. Siêu âm ổ bụng (300.000 VNĐ)
4. Siêu âm tuyến giáp (250.000 VNĐ)
5. Xét nghiệm (12 danh mục) (980.000 VNĐ)
Tổng = 1.830.000 VNĐ
=> Phương Đông đang giảm còn 910K

Cách B — API (curl / PowerShell)

$imgB64 = [Convert]::ToBase64String([IO.File]::ReadAllBytes(".\vi-handwriting-sample-2.png"))

$body = @{
  model = "tranhuythang9999/vi-ocr-hwr:3b"
  prompt = "Trích xuất chính xác văn bản tiếng Việt viết tay trong ảnh. Chỉ trả về văn bản, giữ nguyên xuống dòng."
  images = @($imgB64)
  stream = $false
} | ConvertTo-Json -Depth 5

Invoke-RestMethod -Uri "http://localhost:11434/api/generate" -Method Post -Body $body -ContentType "application/json" | Select-Object -ExpandProperty response

Cách C — Python (dùng link ảnh trực tiếp)

import base64, requests

IMAGE_URL = "https://raw.githubusercontent.com/tranhuy67896262-creator/viet-handwriting-ocr-dataset/master/co_so_viet_tay_1.jpg"

img_b64 = base64.b64encode(requests.get(IMAGE_URL, timeout=30).content).decode()

r = requests.post("http://localhost:11434/api/generate", json={
    "model": "tranhuythang9999/vi-ocr-hwr:3b",
    "prompt": "Trích xuất chính xác toàn bộ văn bản tiếng Việt viết tay trong ảnh. Giữ nguyên chính tả, dấu câu và cấu trúc dòng.",
    "images": [img_b64],
    "stream": False
}, timeout=180)
print(r.json()["response"])

3. Prompt gợi ý

Trích xuất chính xác toàn bộ văn bản tiếng Việt viết tay trong ảnh.
Giữ nguyên chính tả, dấu câu và xuống dòng. Không giải thích thêm.

4. Modelfile

FROM ./qwen25vl-3b-vi-hwr-lora-Q4_K_M.gguf
ADAPTER ./mmproj-qwen25vl-3b-vi-hwr-lora-f16.gguf
TEMPLATE """{{ if .System }}<|im_start|>system
{{ .System }}<|im_end|>
{{ end }}{{ if .Prompt }}<|im_start|>user
{{ .Prompt }}<|im_end|>
{{ end }}<|im_start|>assistant
{{ .Response }}<|im_end|>"""
SYSTEM """Bạn là một trợ lý AI chuyên gia về OCR. Nhiệm vụ của bạn là trích xuất chính xác văn bản tiếng Việt viết tay từ hình ảnh. Giữ nguyên chính tả, dấu câu và cấu trúc dòng."""
PARAMETER temperature 0.1
PARAMETER num_ctx 8192