---
license: apache-2.0
tags:
- Turkish
- CausalLM
- FlashAttention2
- RoPE
- Function Calling
- Transformer
- Crispy
library_name: transformers
language:
- tr
---

# 🐺 Crispy LLM — Türkçe Dil Modeli

<p align="center">
  <img src="./crispy_llm_logo.png" width="220"/>
</p>

**Crispy LLM**, sıfırdan yazılmış, bireysel çabayla geliştirilen bir Türkçe dil modelidir.  
Transformer mimarisi üzerine kurulmuş bu model, FlashAttention v2, Rotary Positional Embedding (RoPE), Function Calling desteği ve Hugging Face uyumluluğu içerir.

> 🧠 *“Tek başına yazıldı, zekasıyla parlıyor.” — Crispy*

---

## 📌 Özellikler

- 💡 **Türkçe odaklı causal language model (CausalLM)**
- ⚡ **FlashAttention v2** desteğiyle hızlı eğitim ve inference
- 🔄 **RoPE** (Rotary Positional Embedding) ile pozisyonel bilgi
- 🧪 **Function Calling** uyumlu çıktı desteği (`Unsloth` ile test edilmiştir)
- 🤖 Hugging Face `transformers` uyumludur
- 🧵 Quantization (`bitsandbytes`) ve Gradient Checkpointing desteklenir

---

## 📥 Kullanım

### 🔧 Kurulum

```bash
pip install transformers accelerate
```

### 🧪 Inference Örneği

```python
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "hosmankarabulut/crispy-llm"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto")

input_text = "Türkiye'nin başkenti neresidir?"
inputs = tokenizer(input_text, return_tensors="pt").to(model.device)

outputs = model.generate(**inputs, max_new_tokens=50)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
```

---

## 📂 Eğitim Bilgileri

| Özellik          | Değer                         |
|------------------|-------------------------------|
| Eğitim Dili      | Türkçe                        |
| Eğitim Türü      | Causal Language Modeling      |
| Batch Size       | 128 (gradient accumulation)   |
| Donanım          | NVIDIA RTX 3090               |
| Süre             | 30 Gün                        |
| FlashAttention   | v2                            |
| RoPE             | Var (manual cache)            |
| Quantization     | Yok                           |

---

## 🙋‍♂️ Geliştirici

- 👤 **Osman Karabulut**  
- 🔗 GitHub: [osmankrblt](https://github.com/osmankrblt)  
- 🤝 Hugging Face: [hosmankarabulut](https://huggingface.co/hosmankarabulut)
- 🤝 Linkedin: [hosmankarabulut](https://www.linkedin.com/in/hosmankarabulut/)

> Tek başına, sıfırdan yazılan özgün bir Türkçe LLM'dir.

---

## 📜 Lisans

Apache-2.0 Lisansı ile açık kaynak sunulmuştur.