Text Classification
Laya
Safetensors
Turkish
English
decision-model
calibration
turkish
choice
noul
score
Instructions to use hayriyigit/laya-tr-karar with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Laya
How to use hayriyigit/laya-tr-karar with Laya:
# No code snippets available yet for this library. # To use this model, check the repository files and the library's documentation. # Want to help? PRs adding snippets are welcome at: # https://github.com/huggingface/huggingface.js
- Notebooks
- Google Colab
- Kaggle
Card: technical terms in English
Browse files
README.md
CHANGED
|
@@ -41,10 +41,10 @@ from 0.443 to 0.686 and ECE from 0.282 to 0.083. Compared with
|
|
| 41 |
|
| 42 |
Bu model, [Laya](https://github.com/NandhaKishorM/laya)'nın çok dilli kontrol noktası
|
| 43 |
[`convaiinnovations/laya-multilingual`](https://huggingface.co/convaiinnovations/laya-multilingual) (mmBERT tabanlı) üzerine
|
| 44 |
-
Türkçe karar verisiyle
|
| 45 |
SQuAD 2.0'ın Türkçe çevirisi eklendi, böylece model bir belgenin bir soruyu gerçekten cevaplayıp cevaplayamadığına
|
| 46 |
(cevaplanabilirlik) daha iyi karar veriyor. Laya metin üretmez: bir metin (state) ve tipli sorular alır, her soru
|
| 47 |
-
için tek
|
| 48 |
|
| 49 |
- **choice:** seçeneklerden biri (ör. hangi departman, hangi niyet),
|
| 50 |
- **noul:** bir ifadenin doğru olma olasılığı (evet/hayır),
|
|
@@ -82,15 +82,15 @@ Bu modelin bu örnekteki cevabı:
|
|
| 82 |
| iade | evet | 0,909 |
|
| 83 |
| memnuniyet | Çok memnuniyetsiz (seviye 0) | 0,791 |
|
| 84 |
|
| 85 |
-
Her cevapta tüm seçeneklerin olasılıkları (`probabilities`) ve
|
| 86 |
|
| 87 |
Soru başına bağlam 8.192 token (soru ve seçenekler için 768); kısa girdiler yalnızca kendi uzunlukları kadar
|
| 88 |
-
işlenir.
|
| 89 |
|
| 90 |
## Değerlendirme
|
| 91 |
|
| 92 |
Test kararlarının hiçbiri eğitimde görülmedi; metni bir test satırında da geçen eğitim satırları, İngilizce orijinaller
|
| 93 |
-
üzerinden eşleştirilerek eğitimden çıkarıldı (aşağıda). "Önce" sütunu
|
| 94 |
|
| 95 |
### Kaynağa göre
|
| 96 |
|
|
@@ -127,7 +127,7 @@ train farklı Vikipedi makalelerinden gelir.
|
|
| 127 |
| **Bu model (v2)** | 0,703 | 0,794 | 0,869 | 0,537 | 0,783 / 0,465 |
|
| 128 |
|
| 129 |
Model artık iki tür soruyu ayırt ediyor, ama hâlâ kolay "evet" diyor: cevaplanamaz soruların yaklaşık yarısını yakalıyor.
|
| 130 |
-
|
| 131 |
|
| 132 |
### Önceki sürümle karşılaştırma
|
| 133 |
|
|
@@ -143,12 +143,12 @@ Eşik 0,5 yerine 0,790 alınırsa doğruluk 0,722 olur. Cevaplanabilirlik kararl
|
|
| 143 |
| SQuAD 2.0 dev, cevaplanabilirlik (makine çevirisi) | – | 0,703 | – | 0,133 |
|
| 144 |
|
| 145 |
v1'in test setinde SQuAD yoktu; SQuAD için v1 değeri yukarıdaki tablodadır (aynı soru ve aynı dev seti). Toplam ECE v1'de
|
| 146 |
-
0,070, v2'de 0,083:
|
| 147 |
sonuç gürültülüdür; en çok `score` sorularının kalibrasyonu kötüleşti.
|
| 148 |
|
| 149 |
### Nasıl okunmalı
|
| 150 |
|
| 151 |
-
- **Kalibrasyon** en büyük kazanç: ECE 0,282 → 0,083. Modelin verdiği olasılıklar
|
| 152 |
kullanılabilir hale geldi.
|
| 153 |
- **İngilizce unutulmadı**: eğitime İngilizce orijinallerin ~%25'i karıştırıldı; bev ve jev-bench'in İngilizce testlerinde de
|
| 154 |
doğruluk arttı. Diğer diller ölçülmedi.
|
|
@@ -213,9 +213,9 @@ sonuç gürültülüdür; en çok `score` sorularının kalibrasyonu kötüleşt
|
|
| 213 |
banking77 (77) ve clinc150 (150 seçenek) gibi çok seçenekli sorularda seçenekler 768 tokenlık soru bütçesine
|
| 214 |
sığmak için kısalır; bu, Laya'nın bilinen bir sınırıdır ([#394](https://github.com/NandhaKishorM/laya/issues/394)).
|
| 215 |
|
| 216 |
-
### Eğitim sırasında
|
| 217 |
|
| 218 |
-
Eğitimden ayrılan, metne göre gruplanmış 1.571 Türkçe karar (
|
| 219 |
|
| 220 |
| Epoch | Doğruluk | NLL | Brier | ECE |
|
| 221 |
|---:|---:|---:|---:|---:|
|
|
@@ -233,13 +233,13 @@ Eğitimden ayrılan, metne göre gruplanmış 1.571 Türkçe karar (sıcaklık k
|
|
| 233 |
| MASSIVE tr-TR train (ana dili Türkçe) | 5.000 | 5.000 | 5.000 / 0 / 0 |
|
| 234 |
| XNLI Türkçe validation (insan çevirisi) | 2.490 | 2.490 | 2.490 / 0 / 0 |
|
| 235 |
| beyazperde film yorumları train (ana dili Türkçe) | 5.000 | 5.000 | 0 / 0 / 5.000 |
|
| 236 |
-
| SQuAD 2.0-tr train, cevaplanabilirlik (makine çevirisi, 130K satırdan
|
| 237 |
| **Toplam** | **169.533** | **307.812** | |
|
| 238 |
|
| 239 |
Bunlardan metne göre gruplanmış 1.571 Türkçe karar doğrulama ve kalibrasyon için ayrıldı; bu kararların
|
| 240 |
İngilizce ikizleri de eğitimden çıkarıldı. Eğitimde 305.812 karar kullanıldı.
|
| 241 |
|
| 242 |
-
- **Hedefler:**
|
| 243 |
cevaba 0,9; `score` sorularında kalan pay komşu seviyelere). Laya'nın eğitim yöntemi (RLCD) bu dağılımları hedefler.
|
| 244 |
- **Alan dengesi:** Türkçenin sinyal taşımadığı ya da etiketlerin gürültülü olduğu bev alanlarından eğitim satırlarının
|
| 245 |
bir kısmı tutuldu:
|
|
@@ -251,7 +251,7 @@ Bunlardan metne göre gruplanmış 1.571 Türkçe karar doğrulama ve kalibrasyo
|
|
| 251 |
| Browser interaction | 0,3 | 3.202 |
|
| 252 |
| Engagement and ranking | 0,2 | 3.318 |
|
| 253 |
|
| 254 |
-
- **
|
| 255 |
|
| 256 |
| Eğitim kaynağı | Test kaynağı | Çıkarılan eğitim satırı |
|
| 257 |
|---|---|---:|
|
|
@@ -264,7 +264,7 @@ Bunlardan metne göre gruplanmış 1.571 Türkçe karar doğrulama ve kalibrasyo
|
|
| 264 |
| MASSIVE tr-TR | MASSIVE tr-TR | 16 |
|
| 265 |
| beyazperde | beyazperde | 76 |
|
| 266 |
|
| 267 |
-
- **
|
| 268 |
başka bir seçenekle aynı göründüğü için çıkarılmadı. Eğitim kararlarının token uzunluğu: medyan 188,
|
| 269 |
%90 521, %99 1.474, en fazla 7.430.
|
| 270 |
|
|
@@ -277,10 +277,10 @@ SQuAD 2.0'ın yalnızca paragraf ve soruları çevrildi; etiket `answers`'ın bo
|
|
| 277 |
|
| 278 |
| | |
|
| 279 |
|---|---|
|
| 280 |
-
|
|
| 281 |
| Yöntem | Laya'nın RLCD tarifi: gürültülü logit örnekleri üzerinde proper scoring ödülüyle policy gradient + yumuşak cross-entropy |
|
| 282 |
| Epoch / güncelleme | 2 / 19.114 (her güncellemede 32 karar) |
|
| 283 |
-
|
|
| 284 |
| Hassasiyet | bf16, gradient checkpointing |
|
| 285 |
| Bağlam | max_len 8.192, head_max_len 768 |
|
| 286 |
| Donanım ve süre | 1 × NVIDIA GeForce RTX 5090 (32 GB); eğitim ~1 sa 34 dk, veri hazırlığı ve değerlendirmeyle ~1 sa 42 dk |
|
|
@@ -293,8 +293,8 @@ Eğitim config'i, eğitim kaydı ve veri manifest'i [`training/`](training/) kla
|
|
| 293 |
- Eğitim verisinin çoğu **makine çevirisidir**; model çeviri dilinin izlerini taşıyabilir. Ana dili Türkçe veri sınırlıdır
|
| 294 |
(~12 bin satır).
|
| 295 |
- Kod, teknik tanımlayıcılar ve web sayfası öğeleri eğitimde İngilizce kaldı; bu tür girdilerde karışık dil beklenir.
|
| 296 |
-
- Yalnızca Türkçe ve İngilizce değerlendirildi; diğer dillerdeki performans
|
| 297 |
-
- Kalibrasyon Türkçe veriyle yapıldı; farklı bir alanda kullanmadan önce kendi verinizle
|
| 298 |
- 77'den fazla seçenekli sorularda seçenek açıklamaları kısalır.
|
| 299 |
- **Cevaplanabilirlik:** Konusu soruyla aynı olan ama istenen bilgiyi hiç içermeyen belgelerde model hâlâ yüksek olasılıkla
|
| 300 |
"evet" diyebilir. Örneğin "Türksat 6A hangi tarihte fırlatıldı?" sorusuna, fırlatma tarihini içermeyen ya da yalnızca başka
|
|
@@ -302,5 +302,5 @@ Eğitim config'i, eğitim kaydı ve veri manifest'i [`training/`](training/) kla
|
|
| 302 |
|
| 303 |
## Lisans
|
| 304 |
|
| 305 |
-
|
| 306 |
Ticari kullanımdan önce kontrol edin.
|
|
|
|
| 41 |
|
| 42 |
Bu model, [Laya](https://github.com/NandhaKishorM/laya)'nın çok dilli kontrol noktası
|
| 43 |
[`convaiinnovations/laya-multilingual`](https://huggingface.co/convaiinnovations/laya-multilingual) (mmBERT tabanlı) üzerine
|
| 44 |
+
Türkçe karar verisiyle fine-tune edilmiş halidir. [`hayriyigit/laya-tr`](https://huggingface.co/hayriyigit/laya-tr)'in ikinci sürümüdür: aynı veriye
|
| 45 |
SQuAD 2.0'ın Türkçe çevirisi eklendi, böylece model bir belgenin bir soruyu gerçekten cevaplayıp cevaplayamadığına
|
| 46 |
(cevaplanabilirlik) daha iyi karar veriyor. Laya metin üretmez: bir metin (state) ve tipli sorular alır, her soru
|
| 47 |
+
için tek forward pass'te kalibre edilmiş olasılıklar döndürür.
|
| 48 |
|
| 49 |
- **choice:** seçeneklerden biri (ör. hangi departman, hangi niyet),
|
| 50 |
- **noul:** bir ifadenin doğru olma olasılığı (evet/hayır),
|
|
|
|
| 82 |
| iade | evet | 0,909 |
|
| 83 |
| memnuniyet | Çok memnuniyetsiz (seviye 0) | 0,791 |
|
| 84 |
|
| 85 |
+
Her cevapta tüm seçeneklerin olasılıkları (`probabilities`) ve threshold koymak için `answer_confidence` da döner.
|
| 86 |
|
| 87 |
Soru başına bağlam 8.192 token (soru ve seçenekler için 768); kısa girdiler yalnızca kendi uzunlukları kadar
|
| 88 |
+
işlenir. Temperature değerleri (choice, score, noul) eğitimde görülmemiş Türkçe kararlarda kalibre edildi: 0,898, 1,078, 0,950.
|
| 89 |
|
| 90 |
## Değerlendirme
|
| 91 |
|
| 92 |
Test kararlarının hiçbiri eğitimde görülmedi; metni bir test satırında da geçen eğitim satırları, İngilizce orijinaller
|
| 93 |
+
üzerinden eşleştirilerek eğitimden çıkarıldı (aşağıda). "Önce" sütunu fine-tune öncesi `laya-multilingual`'dır.
|
| 94 |
|
| 95 |
### Kaynağa göre
|
| 96 |
|
|
|
|
| 127 |
| **Bu model (v2)** | 0,703 | 0,794 | 0,869 | 0,537 | 0,783 / 0,465 |
|
| 128 |
|
| 129 |
Model artık iki tür soruyu ayırt ediyor, ama hâlâ kolay "evet" diyor: cevaplanamaz soruların yaklaşık yarısını yakalıyor.
|
| 130 |
+
Threshold 0,5 yerine 0,790 alınırsa doğruluk 0,722 olur. Cevaplanabilirlik kararlarında yüksek bir threshold kullanın.
|
| 131 |
|
| 132 |
### Önceki sürümle karşılaştırma
|
| 133 |
|
|
|
|
| 143 |
| SQuAD 2.0 dev, cevaplanabilirlik (makine çevirisi) | – | 0,703 | – | 0,133 |
|
| 144 |
|
| 145 |
v1'in test setinde SQuAD yoktu; SQuAD için v1 değeri yukarıdaki tablodadır (aynı soru ve aynı dev seti). Toplam ECE v1'de
|
| 146 |
+
0,070, v2'de 0,083: temperature değerleri yalnızca 1.571 kararlık bir validation split'inde ayarlandığı için
|
| 147 |
sonuç gürültülüdür; en çok `score` sorularının kalibrasyonu kötüleşti.
|
| 148 |
|
| 149 |
### Nasıl okunmalı
|
| 150 |
|
| 151 |
+
- **Kalibrasyon** en büyük kazanç: ECE 0,282 → 0,083. Modelin verdiği olasılıklar threshold koymak için
|
| 152 |
kullanılabilir hale geldi.
|
| 153 |
- **İngilizce unutulmadı**: eğitime İngilizce orijinallerin ~%25'i karıştırıldı; bev ve jev-bench'in İngilizce testlerinde de
|
| 154 |
doğruluk arttı. Diğer diller ölçülmedi.
|
|
|
|
| 213 |
banking77 (77) ve clinc150 (150 seçenek) gibi çok seçenekli sorularda seçenekler 768 tokenlık soru bütçesine
|
| 214 |
sığmak için kısalır; bu, Laya'nın bilinen bir sınırıdır ([#394](https://github.com/NandhaKishorM/laya/issues/394)).
|
| 215 |
|
| 216 |
+
### Eğitim sırasında validation
|
| 217 |
|
| 218 |
+
Eğitimden ayrılan, metne göre gruplanmış 1.571 Türkçe karar (temperature kalibrasyonu öncesi):
|
| 219 |
|
| 220 |
| Epoch | Doğruluk | NLL | Brier | ECE |
|
| 221 |
|---:|---:|---:|---:|---:|
|
|
|
|
| 233 |
| MASSIVE tr-TR train (ana dili Türkçe) | 5.000 | 5.000 | 5.000 / 0 / 0 |
|
| 234 |
| XNLI Türkçe validation (insan çevirisi) | 2.490 | 2.490 | 2.490 / 0 / 0 |
|
| 235 |
| beyazperde film yorumları train (ana dili Türkçe) | 5.000 | 5.000 | 0 / 0 / 5.000 |
|
| 236 |
+
| SQuAD 2.0-tr train, cevaplanabilirlik (makine çevirisi, 130K satırdan sample) | 20.000 | 20.000 | 0 / 20.000 / 0 |
|
| 237 |
| **Toplam** | **169.533** | **307.812** | |
|
| 238 |
|
| 239 |
Bunlardan metne göre gruplanmış 1.571 Türkçe karar doğrulama ve kalibrasyon için ayrıldı; bu kararların
|
| 240 |
İngilizce ikizleri de eğitimden çıkarıldı. Eğitimde 305.812 karar kullanıldı.
|
| 241 |
|
| 242 |
+
- **Hedefler:** Label'lar sorulardan çıkarılıp target dağılımlarına çevrildi. Hard label'lara 0,1 label smoothing uygulandı (doğru
|
| 243 |
cevaba 0,9; `score` sorularında kalan pay komşu seviyelere). Laya'nın eğitim yöntemi (RLCD) bu dağılımları hedefler.
|
| 244 |
- **Alan dengesi:** Türkçenin sinyal taşımadığı ya da etiketlerin gürültülü olduğu bev alanlarından eğitim satırlarının
|
| 245 |
bir kısmı tutuldu:
|
|
|
|
| 251 |
| Browser interaction | 0,3 | 3.202 |
|
| 252 |
| Engagement and ranking | 0,2 | 3.318 |
|
| 253 |
|
| 254 |
+
- **Decontamination:** Bir test satırında da geçen metni içeren eğitim satırları çıkarıldı:
|
| 255 |
|
| 256 |
| Eğitim kaynağı | Test kaynağı | Çıkarılan eğitim satırı |
|
| 257 |
|---|---|---:|
|
|
|
|
| 264 |
| MASSIVE tr-TR | MASSIVE tr-TR | 16 |
|
| 265 |
| beyazperde | beyazperde | 76 |
|
| 266 |
|
| 267 |
+
- **Context budget:** Hiçbir eğitim kararı 8.192 tokena sığmadığı ya da doğru seçeneği kısaltılınca
|
| 268 |
başka bir seçenekle aynı göründüğü için çıkarılmadı. Eğitim kararlarının token uzunluğu: medyan 188,
|
| 269 |
%90 521, %99 1.474, en fazla 7.430.
|
| 270 |
|
|
|
|
| 277 |
|
| 278 |
| | |
|
| 279 |
|---|---|
|
| 280 |
+
| Base model | `convaiinnovations/laya-multilingual` (mmBERT-base encoder + Laya decision head) |
|
| 281 |
| Yöntem | Laya'nın RLCD tarifi: gürültülü logit örnekleri üzerinde proper scoring ödülüyle policy gradient + yumuşak cross-entropy |
|
| 282 |
| Epoch / güncelleme | 2 / 19.114 (her güncellemede 32 karar) |
|
| 283 |
+
| Learning rate | encoder 1e-5, decision head 1e-4; AdamW, cosine |
|
| 284 |
| Hassasiyet | bf16, gradient checkpointing |
|
| 285 |
| Bağlam | max_len 8.192, head_max_len 768 |
|
| 286 |
| Donanım ve süre | 1 × NVIDIA GeForce RTX 5090 (32 GB); eğitim ~1 sa 34 dk, veri hazırlığı ve değerlendirmeyle ~1 sa 42 dk |
|
|
|
|
| 293 |
- Eğitim verisinin çoğu **makine çevirisidir**; model çeviri dilinin izlerini taşıyabilir. Ana dili Türkçe veri sınırlıdır
|
| 294 |
(~12 bin satır).
|
| 295 |
- Kod, teknik tanımlayıcılar ve web sayfası öğeleri eğitimde İngilizce kaldı; bu tür girdilerde karışık dil beklenir.
|
| 296 |
+
- Yalnızca Türkçe ve İngilizce değerlendirildi; diğer dillerdeki performans fine-tune öncesine göre düşmüş olabilir.
|
| 297 |
+
- Kalibrasyon Türkçe veriyle yapıldı; farklı bir alanda kullanmadan önce kendi verinizle threshold'ları kontrol edin.
|
| 298 |
- 77'den fazla seçenekli sorularda seçenek açıklamaları kısalır.
|
| 299 |
- **Cevaplanabilirlik:** Konusu soruyla aynı olan ama istenen bilgiyi hiç içermeyen belgelerde model hâlâ yüksek olasılıkla
|
| 300 |
"evet" diyebilir. Örneğin "Türksat 6A hangi tarihte fırlatıldı?" sorusuna, fırlatma tarihini içermeyen ya da yalnızca başka
|
|
|
|
| 302 |
|
| 303 |
## Lisans
|
| 304 |
|
| 305 |
+
Base model Apache-2.0'dır. Eğitim verilerinin lisansları farklıdır; ayrıntılar [`LICENSE.md`](LICENSE.md)'de.
|
| 306 |
Ticari kullanımdan önce kontrol edin.
|