hayriyigit commited on
Commit
24e50b2
·
verified ·
1 Parent(s): ecd5356

Card: technical terms in English

Browse files
Files changed (1) hide show
  1. README.md +19 -19
README.md CHANGED
@@ -41,10 +41,10 @@ from 0.443 to 0.686 and ECE from 0.282 to 0.083. Compared with
41
 
42
  Bu model, [Laya](https://github.com/NandhaKishorM/laya)'nın çok dilli kontrol noktası
43
  [`convaiinnovations/laya-multilingual`](https://huggingface.co/convaiinnovations/laya-multilingual) (mmBERT tabanlı) üzerine
44
- Türkçe karar verisiyle ince ayar yapılmış halidir. [`hayriyigit/laya-tr`](https://huggingface.co/hayriyigit/laya-tr)'in ikinci sürümüdür: aynı veriye
45
  SQuAD 2.0'ın Türkçe çevirisi eklendi, böylece model bir belgenin bir soruyu gerçekten cevaplayıp cevaplayamadığına
46
  (cevaplanabilirlik) daha iyi karar veriyor. Laya metin üretmez: bir metin (state) ve tipli sorular alır, her soru
47
- için tek ileri geçişte kalibre edilmiş olasılıklar döndürür.
48
 
49
  - **choice:** seçeneklerden biri (ör. hangi departman, hangi niyet),
50
  - **noul:** bir ifadenin doğru olma olasılığı (evet/hayır),
@@ -82,15 +82,15 @@ Bu modelin bu örnekteki cevabı:
82
  | iade | evet | 0,909 |
83
  | memnuniyet | Çok memnuniyetsiz (seviye 0) | 0,791 |
84
 
85
- Her cevapta tüm seçeneklerin olasılıkları (`probabilities`) ve eşik koymak için `answer_confidence` da döner.
86
 
87
  Soru başına bağlam 8.192 token (soru ve seçenekler için 768); kısa girdiler yalnızca kendi uzunlukları kadar
88
- işlenir. Sıcaklıklar (choice, score, noul) eğitimde görülmemiş Türkçe kararlarda kalibre edildi: 0,898, 1,078, 0,950.
89
 
90
  ## Değerlendirme
91
 
92
  Test kararlarının hiçbiri eğitimde görülmedi; metni bir test satırında da geçen eğitim satırları, İngilizce orijinaller
93
- üzerinden eşleştirilerek eğitimden çıkarıldı (aşağıda). "Önce" sütunu ince ayar öncesi `laya-multilingual`'dır.
94
 
95
  ### Kaynağa göre
96
 
@@ -127,7 +127,7 @@ train farklı Vikipedi makalelerinden gelir.
127
  | **Bu model (v2)** | 0,703 | 0,794 | 0,869 | 0,537 | 0,783 / 0,465 |
128
 
129
  Model artık iki tür soruyu ayırt ediyor, ama hâlâ kolay "evet" diyor: cevaplanamaz soruların yaklaşık yarısını yakalıyor.
130
- Eşik 0,5 yerine 0,790 alınırsa doğruluk 0,722 olur. Cevaplanabilirlik kararlarında yüksek bir eşik kullanın.
131
 
132
  ### Önceki sürümle karşılaştırma
133
 
@@ -143,12 +143,12 @@ Eşik 0,5 yerine 0,790 alınırsa doğruluk 0,722 olur. Cevaplanabilirlik kararl
143
  | SQuAD 2.0 dev, cevaplanabilirlik (makine çevirisi) | – | 0,703 | – | 0,133 |
144
 
145
  v1'in test setinde SQuAD yoktu; SQuAD için v1 değeri yukarıdaki tablodadır (aynı soru ve aynı dev seti). Toplam ECE v1'de
146
- 0,070, v2'de 0,083: sıcaklıklar yalnızca 1.571 kararlık bir doğrulama diliminde ayarlandığı için
147
  sonuç gürültülüdür; en çok `score` sorularının kalibrasyonu kötüleşti.
148
 
149
  ### Nasıl okunmalı
150
 
151
- - **Kalibrasyon** en büyük kazanç: ECE 0,282 → 0,083. Modelin verdiği olasılıklar eşik koymak için
152
  kullanılabilir hale geldi.
153
  - **İngilizce unutulmadı**: eğitime İngilizce orijinallerin ~%25'i karıştırıldı; bev ve jev-bench'in İngilizce testlerinde de
154
  doğruluk arttı. Diğer diller ölçülmedi.
@@ -213,9 +213,9 @@ sonuç gürültülüdür; en çok `score` sorularının kalibrasyonu kötüleşt
213
  banking77 (77) ve clinc150 (150 seçenek) gibi çok seçenekli sorularda seçenekler 768 tokenlık soru bütçesine
214
  sığmak için kısalır; bu, Laya'nın bilinen bir sınırıdır ([#394](https://github.com/NandhaKishorM/laya/issues/394)).
215
 
216
- ### Eğitim sırasında doğrulama
217
 
218
- Eğitimden ayrılan, metne göre gruplanmış 1.571 Türkçe karar (sıcaklık kalibrasyonu öncesi):
219
 
220
  | Epoch | Doğruluk | NLL | Brier | ECE |
221
  |---:|---:|---:|---:|---:|
@@ -233,13 +233,13 @@ Eğitimden ayrılan, metne göre gruplanmış 1.571 Türkçe karar (sıcaklık k
233
  | MASSIVE tr-TR train (ana dili Türkçe) | 5.000 | 5.000 | 5.000 / 0 / 0 |
234
  | XNLI Türkçe validation (insan çevirisi) | 2.490 | 2.490 | 2.490 / 0 / 0 |
235
  | beyazperde film yorumları train (ana dili Türkçe) | 5.000 | 5.000 | 0 / 0 / 5.000 |
236
- | SQuAD 2.0-tr train, cevaplanabilirlik (makine çevirisi, 130K satırdan örneklem) | 20.000 | 20.000 | 0 / 20.000 / 0 |
237
  | **Toplam** | **169.533** | **307.812** | |
238
 
239
  Bunlardan metne göre gruplanmış 1.571 Türkçe karar doğrulama ve kalibrasyon için ayrıldı; bu kararların
240
  İngilizce ikizleri de eğitimden çıkarıldı. Eğitimde 305.812 karar kullanıldı.
241
 
242
- - **Hedefler:** Etiketler sorulardan çıkarılıp hedef olasılıklara çevrildi. Sert etiketler 0,1 ile yumuşatıldı (doğru
243
  cevaba 0,9; `score` sorularında kalan pay komşu seviyelere). Laya'nın eğitim yöntemi (RLCD) bu dağılımları hedefler.
244
  - **Alan dengesi:** Türkçenin sinyal taşımadığı ya da etiketlerin gürültülü olduğu bev alanlarından eğitim satırlarının
245
  bir kısmı tutuldu:
@@ -251,7 +251,7 @@ Bunlardan metne göre gruplanmış 1.571 Türkçe karar doğrulama ve kalibrasyo
251
  | Browser interaction | 0,3 | 3.202 |
252
  | Engagement and ranking | 0,2 | 3.318 |
253
 
254
- - **Örtüşme temizliği:** Bir test satırında da geçen metni içeren eğitim satırları çıkarıldı:
255
 
256
  | Eğitim kaynağı | Test kaynağı | Çıkarılan eğitim satırı |
257
  |---|---|---:|
@@ -264,7 +264,7 @@ Bunlardan metne göre gruplanmış 1.571 Türkçe karar doğrulama ve kalibrasyo
264
  | MASSIVE tr-TR | MASSIVE tr-TR | 16 |
265
  | beyazperde | beyazperde | 76 |
266
 
267
- - **Bağlam bütçesi:** Hiçbir eğitim kararı 8.192 tokena sığmadığı ya da doğru seçeneği kısaltılınca
268
  başka bir seçenekle aynı göründüğü için çıkarılmadı. Eğitim kararlarının token uzunluğu: medyan 188,
269
  %90 521, %99 1.474, en fazla 7.430.
270
 
@@ -277,10 +277,10 @@ SQuAD 2.0'ın yalnızca paragraf ve soruları çevrildi; etiket `answers`'ın bo
277
 
278
  | | |
279
  |---|---|
280
- | Taban model | `convaiinnovations/laya-multilingual` (mmBERT-base encoder + Laya karar başlığı) |
281
  | Yöntem | Laya'nın RLCD tarifi: gürültülü logit örnekleri üzerinde proper scoring ödülüyle policy gradient + yumuşak cross-entropy |
282
  | Epoch / güncelleme | 2 / 19.114 (her güncellemede 32 karar) |
283
- | Öğrenme hızı | encoder 1e-5, karar başlığı 1e-4; AdamW, cosine |
284
  | Hassasiyet | bf16, gradient checkpointing |
285
  | Bağlam | max_len 8.192, head_max_len 768 |
286
  | Donanım ve süre | 1 × NVIDIA GeForce RTX 5090 (32 GB); eğitim ~1 sa 34 dk, veri hazırlığı ve değerlendirmeyle ~1 sa 42 dk |
@@ -293,8 +293,8 @@ Eğitim config'i, eğitim kaydı ve veri manifest'i [`training/`](training/) kla
293
  - Eğitim verisinin çoğu **makine çevirisidir**; model çeviri dilinin izlerini taşıyabilir. Ana dili Türkçe veri sınırlıdır
294
  (~12 bin satır).
295
  - Kod, teknik tanımlayıcılar ve web sayfası öğeleri eğitimde İngilizce kaldı; bu tür girdilerde karışık dil beklenir.
296
- - Yalnızca Türkçe ve İngilizce değerlendirildi; diğer dillerdeki performans ince ayar öncesine göre düşmüş olabilir.
297
- - Kalibrasyon Türkçe veriyle yapıldı; farklı bir alanda kullanmadan önce kendi verinizle eşikleri kontrol edin.
298
  - 77'den fazla seçenekli sorularda seçenek açıklamaları kısalır.
299
  - **Cevaplanabilirlik:** Konusu soruyla aynı olan ama istenen bilgiyi hiç içermeyen belgelerde model hâlâ yüksek olasılıkla
300
  "evet" diyebilir. Örneğin "Türksat 6A hangi tarihte fırlatıldı?" sorusuna, fırlatma tarihini içermeyen ya da yalnızca başka
@@ -302,5 +302,5 @@ Eğitim config'i, eğitim kaydı ve veri manifest'i [`training/`](training/) kla
302
 
303
  ## Lisans
304
 
305
- Taban model Apache-2.0'dır. Eğitim verilerinin lisansları farklıdır; ayrıntılar [`LICENSE.md`](LICENSE.md)'de.
306
  Ticari kullanımdan önce kontrol edin.
 
41
 
42
  Bu model, [Laya](https://github.com/NandhaKishorM/laya)'nın çok dilli kontrol noktası
43
  [`convaiinnovations/laya-multilingual`](https://huggingface.co/convaiinnovations/laya-multilingual) (mmBERT tabanlı) üzerine
44
+ Türkçe karar verisiyle fine-tune edilmiş halidir. [`hayriyigit/laya-tr`](https://huggingface.co/hayriyigit/laya-tr)'in ikinci sürümüdür: aynı veriye
45
  SQuAD 2.0'ın Türkçe çevirisi eklendi, böylece model bir belgenin bir soruyu gerçekten cevaplayıp cevaplayamadığına
46
  (cevaplanabilirlik) daha iyi karar veriyor. Laya metin üretmez: bir metin (state) ve tipli sorular alır, her soru
47
+ için tek forward pass'te kalibre edilmiş olasılıklar döndürür.
48
 
49
  - **choice:** seçeneklerden biri (ör. hangi departman, hangi niyet),
50
  - **noul:** bir ifadenin doğru olma olasılığı (evet/hayır),
 
82
  | iade | evet | 0,909 |
83
  | memnuniyet | Çok memnuniyetsiz (seviye 0) | 0,791 |
84
 
85
+ Her cevapta tüm seçeneklerin olasılıkları (`probabilities`) ve threshold koymak için `answer_confidence` da döner.
86
 
87
  Soru başına bağlam 8.192 token (soru ve seçenekler için 768); kısa girdiler yalnızca kendi uzunlukları kadar
88
+ işlenir. Temperature değerleri (choice, score, noul) eğitimde görülmemiş Türkçe kararlarda kalibre edildi: 0,898, 1,078, 0,950.
89
 
90
  ## Değerlendirme
91
 
92
  Test kararlarının hiçbiri eğitimde görülmedi; metni bir test satırında da geçen eğitim satırları, İngilizce orijinaller
93
+ üzerinden eşleştirilerek eğitimden çıkarıldı (aşağıda). "Önce" sütunu fine-tune öncesi `laya-multilingual`'dır.
94
 
95
  ### Kaynağa göre
96
 
 
127
  | **Bu model (v2)** | 0,703 | 0,794 | 0,869 | 0,537 | 0,783 / 0,465 |
128
 
129
  Model artık iki tür soruyu ayırt ediyor, ama hâlâ kolay "evet" diyor: cevaplanamaz soruların yaklaşık yarısını yakalıyor.
130
+ Threshold 0,5 yerine 0,790 alınırsa doğruluk 0,722 olur. Cevaplanabilirlik kararlarında yüksek bir threshold kullanın.
131
 
132
  ### Önceki sürümle karşılaştırma
133
 
 
143
  | SQuAD 2.0 dev, cevaplanabilirlik (makine çevirisi) | – | 0,703 | – | 0,133 |
144
 
145
  v1'in test setinde SQuAD yoktu; SQuAD için v1 değeri yukarıdaki tablodadır (aynı soru ve aynı dev seti). Toplam ECE v1'de
146
+ 0,070, v2'de 0,083: temperature değerleri yalnızca 1.571 kararlık bir validation split'inde ayarlandığı için
147
  sonuç gürültülüdür; en çok `score` sorularının kalibrasyonu kötüleşti.
148
 
149
  ### Nasıl okunmalı
150
 
151
+ - **Kalibrasyon** en büyük kazanç: ECE 0,282 → 0,083. Modelin verdiği olasılıklar threshold koymak için
152
  kullanılabilir hale geldi.
153
  - **İngilizce unutulmadı**: eğitime İngilizce orijinallerin ~%25'i karıştırıldı; bev ve jev-bench'in İngilizce testlerinde de
154
  doğruluk arttı. Diğer diller ölçülmedi.
 
213
  banking77 (77) ve clinc150 (150 seçenek) gibi çok seçenekli sorularda seçenekler 768 tokenlık soru bütçesine
214
  sığmak için kısalır; bu, Laya'nın bilinen bir sınırıdır ([#394](https://github.com/NandhaKishorM/laya/issues/394)).
215
 
216
+ ### Eğitim sırasında validation
217
 
218
+ Eğitimden ayrılan, metne göre gruplanmış 1.571 Türkçe karar (temperature kalibrasyonu öncesi):
219
 
220
  | Epoch | Doğruluk | NLL | Brier | ECE |
221
  |---:|---:|---:|---:|---:|
 
233
  | MASSIVE tr-TR train (ana dili Türkçe) | 5.000 | 5.000 | 5.000 / 0 / 0 |
234
  | XNLI Türkçe validation (insan çevirisi) | 2.490 | 2.490 | 2.490 / 0 / 0 |
235
  | beyazperde film yorumları train (ana dili Türkçe) | 5.000 | 5.000 | 0 / 0 / 5.000 |
236
+ | SQuAD 2.0-tr train, cevaplanabilirlik (makine çevirisi, 130K satırdan sample) | 20.000 | 20.000 | 0 / 20.000 / 0 |
237
  | **Toplam** | **169.533** | **307.812** | |
238
 
239
  Bunlardan metne göre gruplanmış 1.571 Türkçe karar doğrulama ve kalibrasyon için ayrıldı; bu kararların
240
  İngilizce ikizleri de eğitimden çıkarıldı. Eğitimde 305.812 karar kullanıldı.
241
 
242
+ - **Hedefler:** Label'lar sorulardan çıkarılıp target dağılımlarına çevrildi. Hard label'lara 0,1 label smoothing uygulandı (doğru
243
  cevaba 0,9; `score` sorularında kalan pay komşu seviyelere). Laya'nın eğitim yöntemi (RLCD) bu dağılımları hedefler.
244
  - **Alan dengesi:** Türkçenin sinyal taşımadığı ya da etiketlerin gürültülü olduğu bev alanlarından eğitim satırlarının
245
  bir kısmı tutuldu:
 
251
  | Browser interaction | 0,3 | 3.202 |
252
  | Engagement and ranking | 0,2 | 3.318 |
253
 
254
+ - **Decontamination:** Bir test satırında da geçen metni içeren eğitim satırları çıkarıldı:
255
 
256
  | Eğitim kaynağı | Test kaynağı | Çıkarılan eğitim satırı |
257
  |---|---|---:|
 
264
  | MASSIVE tr-TR | MASSIVE tr-TR | 16 |
265
  | beyazperde | beyazperde | 76 |
266
 
267
+ - **Context budget:** Hiçbir eğitim kararı 8.192 tokena sığmadığı ya da doğru seçeneği kısaltılınca
268
  başka bir seçenekle aynı göründüğü için çıkarılmadı. Eğitim kararlarının token uzunluğu: medyan 188,
269
  %90 521, %99 1.474, en fazla 7.430.
270
 
 
277
 
278
  | | |
279
  |---|---|
280
+ | Base model | `convaiinnovations/laya-multilingual` (mmBERT-base encoder + Laya decision head) |
281
  | Yöntem | Laya'nın RLCD tarifi: gürültülü logit örnekleri üzerinde proper scoring ödülüyle policy gradient + yumuşak cross-entropy |
282
  | Epoch / güncelleme | 2 / 19.114 (her güncellemede 32 karar) |
283
+ | Learning rate | encoder 1e-5, decision head 1e-4; AdamW, cosine |
284
  | Hassasiyet | bf16, gradient checkpointing |
285
  | Bağlam | max_len 8.192, head_max_len 768 |
286
  | Donanım ve süre | 1 × NVIDIA GeForce RTX 5090 (32 GB); eğitim ~1 sa 34 dk, veri hazırlığı ve değerlendirmeyle ~1 sa 42 dk |
 
293
  - Eğitim verisinin çoğu **makine çevirisidir**; model çeviri dilinin izlerini taşıyabilir. Ana dili Türkçe veri sınırlıdır
294
  (~12 bin satır).
295
  - Kod, teknik tanımlayıcılar ve web sayfası öğeleri eğitimde İngilizce kaldı; bu tür girdilerde karışık dil beklenir.
296
+ - Yalnızca Türkçe ve İngilizce değerlendirildi; diğer dillerdeki performans fine-tune öncesine göre düşmüş olabilir.
297
+ - Kalibrasyon Türkçe veriyle yapıldı; farklı bir alanda kullanmadan önce kendi verinizle threshold'ları kontrol edin.
298
  - 77'den fazla seçenekli sorularda seçenek açıklamaları kısalır.
299
  - **Cevaplanabilirlik:** Konusu soruyla aynı olan ama istenen bilgiyi hiç içermeyen belgelerde model hâlâ yüksek olasılıkla
300
  "evet" diyebilir. Örneğin "Türksat 6A hangi tarihte fırlatıldı?" sorusuna, fırlatma tarihini içermeyen ya da yalnızca başka
 
302
 
303
  ## Lisans
304
 
305
+ Base model Apache-2.0'dır. Eğitim verilerinin lisansları farklıdır; ayrıntılar [`LICENSE.md`](LICENSE.md)'de.
306
  Ticari kullanımdan önce kontrol edin.