Model Kartı Sahteciliği: Doğrulanamayan Yapay Zeka İddialarını Ölçen MKS-8 Çerçevesi
Şeffaflık belgesini denetlenebilir kanıta çeviren 8 kriterli rubrik
Bir model kartı, ne kadar cilalı görünürse görünsün, iddialarını doğrulayamıyorsanız pazarlama broşüründen farksızdır. MKS-8, bir model kartının güvenilirliğini 8 kritere ayırıp 0-24 arasında puanlayan, herkesin uygulayabileceği bir Türkçe denetim rubriğidir.
Model Kartı Nedir ve Neden Bir Güvenlik Konusudur?
Model kartı (model card), bir makine öğrenmesi modelinin ne için tasarlandığını, hangi veriyle eğitildiğini, hangi metriklerde nasıl performans gösterdiğini, bilinen sınırlarını ve etik/güvenlik değerlendirmelerini yapılandırılmış biçimde belgeleyen bir şeffaflık raporudur. Kavram, model raporlamayı standartlaştırmak için önerilen akademik çalışmayla (Mitchell ve ark.) yerleşmiş, ardından Hugging Face ve Google gibi platformların model kartı formatlarıyla endüstri pratiği hâline gelmiştir. Bugün bir modeli indirdiğinizde onunla birlikte gelen README veya model-card dosyası çoğunlukla bu belgedir.
Model kartının güvenlik boyutu, onu bir tedarik zinciri belgesi olarak okuduğunuzda ortaya çıkar. Kurumsal bir yapay zeka sisteminde kullandığınız her model, üçüncü taraf bir bileşendir; tıpkı bir yazılım bağımlılığı gibi güven varsayımı taşır. Model kartı, bu bileşenin risk profilini değerlendirmek için elinizdeki birincil belgedir: hangi veriyle eğitildi (veri zehirlenmesi ve telif riski), hangi güvenlik testlerinden geçti (jailbreak ve enjeksiyon direnci), hangi sürüme karşılık geliyor (model değişimi riski). Sorun şudur: model kartı bir iddialar bütünüdür, kanıt değildir. Kartı yazan, kendi modelini pazarlayan taraftır. İşte bu asimetri, doğrulanamayan iddiaların şeffaflık kisvesi altında tedarik zincirine sızmasına zemin hazırlar.
İddia Şişirme: Şeffaflığın Sahtesi
Model kartı sahteciliği, çoğu zaman düpedüz yalanla değil, doğrulanamayan iddiaların cilalanmasıyla işler. Belge şeffaf görünür, tablolar doludur, ama hiçbir satır bağımsız olarak sınanamaz. Bu kalıpları soyut bir tehdit olarak değil, kendi deneyimimizden biliyoruz: AltaySec ekosistemindeki ürün sayfalarını iç denetimden geçirdiğimizde, kendi anlattığımız kapasite sayılarının gerçekleşen kod ölçümlerine göre yer yer 3-5 kat şişirilmiş olduğunu tespit edip düzelttik. Kimse yalan söyleme niyetiyle yazmamıştı; iyimser yuvarlama, eski hedefin güncel gerçek gibi kalması ve "gösterişli sayı" refleksi birikince belge, ölçümden koptu. Bu iç dürüstlük denetimi (AltaySec'in kendi metodolojisi), aşağıdaki iddia şişirme kalıpları listesinin kaynağıdır.
- Bağlamsız üstünlük metriği: "%95 doğruluk" yazar ama hangi veri setinde, hangi bölmede, hangi ölçüm koşulunda olduğu belirtilmez; reprodüksiyon imkânsızdır.
- Seçilmiş kıyas (cherry-picking): Modelin öne çıktığı iki benchmark gösterilir, zayıf kaldığı beşi belgeye hiç girmez.
- Benchmark şişirme / kontaminasyon: Test setinin eğitim verisine sızmış olması, gerçek performansı olduğundan yüksek gösterir; kart bunu ele almaz.
- Yuvarlanmış hedefin gerçeğe dönüşmesi: Planlanan kapasite, sanki ölçülmüş gerçekmiş gibi yazılır.
- Güvenlik tiyatrosu: "Güvenlik testlerinden geçti" cümlesi vardır ama hangi testler, hangi tehdit modeli, hangi başarısızlık oranı belgelenmez.
Bu kalıpların ortak paydası tektir: iddia var, doğrulama yolu yok. MKS-8 tam olarak bu boşluğu ölçmek için tasarlandı.
MKS-8: Model Kartı Sağlamlık Skoru
MKS-8 (Model Kartı Sağlamlık Skoru), AltaySec'in önerdiği bir denetim çerçevesidir; kabul görmüş bir endüstri standardı değil, kendi iç denetim pratiğimizden damıtılmış açık bir rubriktir. Amacı bir modelin "iyi" olup olmadığını söylemek değil, model kartının iddialarına ne kadar güvenilebileceğini ölçmektir. Kart, sekiz kritere göre değerlendirilir; her kriter 0-3 arası puanlanır, toplam 0-24 arasında bir skor verir.
| # | Kriter | Ne aranır? | Maks. |
|---|---|---|---|
| 1 | Eval reprodüksiyon komutu | Belirtilen metriği yeniden üretecek çalıştırılabilir komut/betik ve ortam | 3 |
| 2 | Veri seti kaynağı | Eğitim/değerlendirme verisinin kökeni, lisansı ve toplanma yöntemi | 3 |
| 3 | Lisans netliği | Model ve türev kullanım haklarının belirsizlik bırakmayacak biçimde tanımı | 3 |
| 4 | Sınırlılık beyanı | Modelin başarısız olduğu senaryoların ve kapsam dışı kullanımın açıkça yazılması | 3 |
| 5 | Güvenlik testi kanıtı | Tehdit modeli, uygulanan testler ve başarısızlık/blok oranlarının belgelenmesi | 3 |
| 6 | Sürüm/hash bağı | Kartın belirli bir ağırlık dosyasına (sürüm + kriptografik özet) bağlanması | 3 |
| 7 | Üçüncü taraf doğrulama | İddiaların bağımsız bir tarafça sınanabildiği/sınandığına dair kanıt | 3 |
| 8 | Geri çekme politikası | Model kusurlu bulunduğunda geri çekme/kullanımdan kaldırma süreci | 3 |
Yorumlama basittir: 18-24 aralığı iddiaların büyük ölçüde doğrulanabilir olduğunu; 10-17 temkinli güven ve ek doğrulama gereğini; 0-9 ise belgenin kanıttan çok anlatı olduğunu, yani ayrı bir tedarik zinciri riski sınıfına girdiğini gösterir.
Her Kriter 0-3: Puanlama Rubriği
Skorun tekrarlanabilir olması için her kriter aynı dört kademeli ölçekle değerlendirilir. Böylece farklı denetçiler aynı karta yakın skorlar verir.
| Puan | Anlamı |
|---|---|
| 0 | Yok — kriterle ilgili hiçbir bilgi belgede geçmiyor. |
| 1 | İddia var, kanıt yok — cümle mevcut ama sınanabilir değil ("güvenli", "yüksek doğruluk"). |
| 2 | Kısmi kanıt — bilgi var ama eksik; komut var ortam yok, kaynak var lisans yok gibi. |
| 3 | Bağımsız doğrulanabilir — üçüncü bir taraf belgedeki bilgiyle iddiayı yeniden üretebilir. |
Örneğin bir eval reprodüksiyon kriteri için ideal (3 puan) durum, kartın şuna benzer bir bloğu içermesidir:
# Eval reprodüksiyonu (Kriter 1 — 3 puan)
# Model: acme-tr-7b sürüm: v2.3.1 sha256: 9f2c...a41
# Veri: TR-QA-bench v1 (lisans: CC-BY-4.0, kaynak URL sabit)
git checkout v2.3.1
python eval.py --dataset tr-qa-bench --split test --seed 42
# Beklenen: exact_match = 0.71 (±0.01)Bu blok üç kriteri aynı anda güçlendirir: reprodüksiyon komutu (1), veri seti kaynağı (2) ve sürüm/hash bağı (6). Buna karşılık "Modelimiz Türkçe soru-cevapta sektör lideri doğruluğa ulaşır" cümlesi, hiçbir kriterde 1 puandan fazlasını hak etmez.
MKS-8'i Denetime Nasıl Oturtursunuz?
MKS-8, tek seferlik bir puan üretmekten çok, model alım sürecine yerleştirilecek bir kapıdır. Pratik akış şöyledir:
- Kartı olduğu gibi puanlayın. Belgede yazmayana puan vermeyin; "muhtemelen test etmişlerdir" varsayımı MKS-8'in tam olarak engellemeye çalıştığı şeydir.
- Eşik belirleyin. Üretim ortamına giren modeller için asgari bir toplam skor (örneğin 16) ve hiçbir kriterin 0 olmaması gibi bir taban kural tanımlayın.
- Boşlukları talebe çevirin. Düşük puanlı kriterler, tedarikçiden istenecek somut belgelerin listesidir: "Kriter 1 için reprodüksiyon betiği", "Kriter 6 için ağırlık hash'i".
- Güvenlik kriterini kendiniz doğrulayın. 5. kriter (güvenlik testi kanıtı) çoğu kartta en zayıf noktadır. Türkçe girdilerde jailbreak ve prompt injection direnci, İngilizce sonuçlardan bağımsızdır; bunu kendi ortamınızda ölçmek gerekir. AltaySec'in kendi ölçümlerinde aynı saldırının Türkçe ve İngilizce varyantları farklı sonuç verebildiğini gördük, dolayısıyla kartın İngilizce güvenlik iddiası tek başına yeterli kanıt değildir.
- Çalışma zamanında güvenceye alın. Skor ne olursa olsun, üçüncü taraf bir modelin iddialarına tam güvenmek yerine, girdi/çıktıyı bir LLM güvenlik duvarı katmanının arkasına koymak, kart doğrulamasının bıraktığı kalan riski sınırlar.
MKS-8 Ne Değildir?
Çerçeveyi dürüstçe konumlandırmak, onun kendi ölçtüğü ilkeye sadık kalmasını gerektirir. MKS-8 model kalitesini ölçmez; yalnızca kartın iddialarının doğrulanabilirliğini ölçer. Yüksek skorlu bir kart, kötü bir modeli dürüstçe belgeliyor olabilir; düşük skorlu bir kart, aslında güçlü bir modeli özensiz anlatıyor olabilir. Skor, güven için bir ön koşuldur, güvenin kendisi değil.
Ayrıca MKS-8 bir endüstri standardı, sertifikasyon şeması veya uyum zorunluluğu değildir. NIST Yapay Zeka Risk Yönetimi Çerçevesi veya OWASP LLM Top 10 gibi kaynakların yerine geçmez; onların şeffaflık ve tedarik zinciri ilkelerini pratik, sayılabilir bir denetim adımına indirger. Türkçe konuşan ekiplerin, dış bir standardı beklemeden bugün uygulayabileceği ortak bir dil sağlamayı hedefler. Ağırlıkların basit ve eşit tutulması (her kriter 0-3) bilinçli bir tercihtir: karmaşık ağırlıklandırma, rubriğin en önemli avantajı olan tekrarlanabilirliği zayıflatırdı. Kurumlar kendi risk iştahlarına göre eşiği yükseltebilir veya belirli kriterleri zorunlu taban hâline getirebilir.
Sonuç: Belgeye Değil, Doğrulanabilirliğe Güvenin
Model kartı, yapay zeka tedarik zincirinde en çok okunan ama en az sorgulanan belgedir. Cilalı bir kart, güvenlik hissi verir; oysa güven, cümlelerden değil, o cümleleri bağımsız olarak sınayabilme imkânından doğar. Kendi ekosistem denetimimizde gördüğümüz gibi, iddia şişirme çoğu zaman kötü niyetle değil, ölçümden kopmuş iyimser anlatıyla oluşur; ve tam da bu yüzden dışarıdan fark edilmesi zordur.
MKS-8'in katkısı, bu görünmezliği sayıya çevirmesidir. Bir kartı 0-24 arasında puanlayınca, "güzel yazılmış" ile "doğrulanabilir" arasındaki fark ölçülebilir hâle gelir. Türkçe ekipler için bunun pratik değeri açıktır: dış bir denetim standardını beklemeden, bugün, indirdikleri her modelin kartını aynı sekiz soruyla sınayabilirler. Şeffaflık iddia etmek kolaydır; MKS-8, o iddiayı kanıt istemeye zorlar.