TCYZ/ TEDLLM:0.6b

21 Downloads Updated 3 weeks ago

0.6b

ollama run TCYZ/TEDLLM:0.6b

curl http://localhost:11434/api/chat \
  -d '{
    "model": "TCYZ/TEDLLM:0.6b",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

from ollama import chat

response = chat(
    model='TCYZ/TEDLLM:0.6b',
    messages=[{'role': 'user', 'content': 'Hello!'}],
)
print(response.message.content)

import ollama from 'ollama'

const response = await ollama.chat({
  model: 'TCYZ/TEDLLM:0.6b',
  messages: [{role: 'user', content: 'Hello!'}],
})
console.log(response.message.content)

Details

Updated 3 weeks ago

3 weeks ago

7acf02573b7c · 2.7GB ·

model

archllama

·

parameters679M

2.7GB

params

{ "repeat_last_n": 64, "repeat_penalty": 2, "stop": [ "</s>", "<|user|>"

154B

template

<|user|> {{ .Prompt }} <|assistant|>

37B

Readme

🚀TEDLLM 600M: Yerli ve Özgün Dil Modeli

TEDLLM, Türkiye Cumhuriyeti Açık Kaynaklı Yapay Zeka (TCYZ) projesi vizyonuyla, Llama mimarisi temel alınarak sıfırdan (from scratch) eğitilmiş, kompakt ve yüksek performanslı bir dil modelidir.

🛠 Teknik Özellikler

Model, verimlilik ve hız odaklı bir mimari üzerine inşa edilmiştir:

Özellik	Değer
Model Mimarisi	Llama tabanlı (Causal LM)
Context Window	4096 (4K) Token
Hidden Size	512
Intermediate Size	2048
Katman Sayısı	12
Dikkat Kafaları	8 (Query) / 2 (KV - Grouped Query Attention)
Vocabulary Size	5000 (Türkçe Optimize)
Eğitim Cihazı	Google TPU v5

🌟 Öne Çıkan Özellikler

GQA (Grouped Query Attention): 8K context desteği sunarken bellek kullanımını minimize eder.
RoPE (Rotary Positional Embeddings): Uzun metinlerde kelime sırasını ve bağlamı kaybetmez.
Özel Token Yapısı: <|user|> ve <|assistant|> etiketleriyle optimize edilmiş diyalog yeteneği.
Hafif ve Hızlı: Sadece 512 hidden size ile mobil cihazlarda ve yerel bilgisayarlarda (Ollama vb.) ışık hızında çalışır.

📂 Veri Seti ve Eğitim

TEDLLM, 15 temel bilgi düğümünün 1000 kat genişletilmesiyle oluşturulan 15.000 satırlık sentetik bir veri setiyle eğitilmiştir. Bu eğitim, modelin temel Türkçe dil yapısını, soru-cevap mantığını ve kurumsal kimliğini içselleştirmesini sağlamıştır.

🚀 Kurulum ve Kullanım

Modeli yerelinizde çalıştırmak için aşağıdaki adımları izleyebilirsiniz:

pip install TCYZ/tedllm

# 🚀TEDLLM 600M: Yerli ve Özgün Dil Modeli

**TEDLLM**, Türkiye Cumhuriyeti Açık Kaynaklı Yapay Zeka (TCYZ) projesi vizyonuyla, Llama mimarisi temel alınarak **sıfırdan (from scratch)** eğitilmiş, kompakt ve yüksek performanslı bir dil modelidir.

## 🛠 Teknik Özellikler

Model, verimlilik ve hız odaklı bir mimari üzerine inşa edilmiştir:

| Özellik | Değer |
| :--- | :--- |
| **Model Mimarisi** | Llama tabanlı (Causal LM) |
| **Context Window** | 4096 (4K) Token |
| **Hidden Size** | 512 |
| **Intermediate Size** | 2048 |
| **Katman Sayısı** | 12 |
| **Dikkat Kafaları** | 8 (Query) / 2 (KV - Grouped Query Attention) |
| **Vocabulary Size** | 5000 (Türkçe Optimize) |
| **Eğitim Cihazı** | Google TPU v5 |

## 🌟 Öne Çıkan Özellikler

* **GQA (Grouped Query Attention):** 8K context desteği sunarken bellek kullanımını minimize eder.
* **RoPE (Rotary Positional Embeddings):** Uzun metinlerde kelime sırasını ve bağlamı kaybetmez.
* **Özel Token Yapısı:** `<|user|>` ve `<|assistant|>` etiketleriyle optimize edilmiş diyalog yeteneği.
* **Hafif ve Hızlı:** Sadece 512 hidden size ile mobil cihazlarda ve yerel bilgisayarlarda (Ollama vb.) ışık hızında çalışır.

## 📂 Veri Seti ve Eğitim

TEDLLM, 15 temel bilgi düğümünün 1000 kat genişletilmesiyle oluşturulan **15.000 satırlık** sentetik bir veri setiyle eğitilmiştir. Bu eğitim, modelin temel Türkçe dil yapısını, soru-cevap mantığını ve kurumsal kimliğini içselleştirmesini sağlamıştır.

## 🚀 Kurulum ve Kullanım

Modeli yerelinizde çalıştırmak için aşağıdaki adımları izleyebilirsiniz:

`pip install TCYZ/tedllm`

Paste, drop or click to upload images (.png, .jpeg, .jpg, .svg, .gif)