LLM Operasyon Güvenliği

Model Drift İzleme: Üretimde Model ve Veri Kayması

Model drift izleme ile üretimdeki LLM sisteminde girdi, yanıt ve güvenlik metriklerinin kaymasını ölçün, eşik koyun ve sağlayıcı değişikliklerini yakalayın.

Fevzi Ege YurtsevenlerYapay Zekâ Güvenliği Araştırmacısı · AltaySec Kurucusu

13 Ekim 2026 · altaysec.com.tr

Model drift izleme, üretimdeki bir LLM sisteminin girdilerinin ve davranışının zamanla nasıl değiştiğini ölçmek ve bu değişimin güvenlik katmanlarını zayıflatıp zayıflatmadığını görmektir. Üç adımdan oluşur: girdi, yanıt ve güvenlik sinyallerini bir referans dönemle karşılaştırmak, eşik aşıldığında insan incelemesini tetiklemek ve sabit bir değerlendirme kümesini düzenli yeniden çalıştırmak. Güvenlik testi yapıldığı günün fotoğrafıdır. İzleme, o fotoğrafın ne zaman eskidiğini söyler.

Model drift nedir, güvenliği nasıl etkiler?

Veri kayması, modele gelen girdilerin dağılımının değişmesidir. Model kayması ise modelin ya da çevresindeki sistemin davranışının değişmesidir. Güvenlik açısından ikisi de aynı sonuca varır: koruma katmanlarının tanıdığı dünya ile gerçek dünya arasındaki fark açılır.

Kaymanın başlıca nedenleri şunlardır:

Kullanıcı kitlesi değişir: yeni bir pazar, yeni bir dil ya da yeni bir kullanım biçimi gelir.
Saldırı kalıpları evrilir: eskiden yakalanan kalıpların yerini yenileri alır.
Sağlayıcı tarafı değişir: takma ad yeni bir modele yönlenir ya da sunum altyapısı güncellenir.
Talimat, araç ya da belge deposu güncellenir.
Kampanya dönemleri ve gündem olayları girdi dağılımını geçici olarak kaydırır.

Sağlayıcı tarafındaki değişim gerçek ve belgelenmiştir. Chen, Zaharia ve Zou'nun 2023 çalışması, GPT-4'ün Mart ve Haziran 2023 sürümlerini karşılaştırdı. Asal sayı tanıma görevinde doğruluk yüzde 84'ten yüzde 51'e düştü. Model hassas sorulara yanıt vermeye daha az istekli hale geldi. Yazarların vardığı sonuç, aynı LLM hizmetinin kısa sürede ciddi biçimde değişebileceği ve sürekli izlemenin gerektiğidir.

Kayma yalnız saldırı tarafında sorun yaratmaz. Koruma katmanı yeni bir meşru kullanım biçimini engellemeye başlarsa kullanıcılar zarar görür. Ekip şikâyetlerle karşılaşınca korumayı gevşetir ve bu kez gerçek saldırılar geçer. İzleme iki yönü birlikte görmelidir.

Model drift izleme hangi sinyallerle yapılır?

Sinyaller üç gruba ayrılır. Girdi sinyalleri "ne geliyor", yanıt sinyalleri "ne dönüyor", güvenlik sinyalleri "koruma çalışıyor mu" sorusunu yanıtlar.

Grup	Sinyal	Neyi gösterir
Girdi	Uzunluk dağılımı, dil karışımı, konu dağılımı	Kullanıcı kitlesi ya da kullanım değişimi
Girdi	Bilinen saldırı kalıplarına benzerlik oranı	Saldırı yoğunluğundaki değişim
Yanıt	Yanıt uzunluğu, ret oranı, boş yanıt oranı	Model ya da talimat davranış değişimi
Yanıt	Araç çağrı sıklığı ve türleri	Ajan davranışında sapma
Güvenlik	Koruma katmanının engelleme oranı	Katman duyarlılığı
Güvenlik	Canary belirteci tetiklenmeleri	Sızıntı girişimleri
Güvenlik	Aşırı red şikâyetleri	Yanlış engelleme

Her sinyalin bir referans değeri olmalıdır. Referans olmadan gelen sayı yorumlanamaz. Günlükler bu işin hammaddesidir. Girdi ve çıktıları kişisel veriyi maskeleyerek saklamak, hem izleme hem olay incelemesi için gerekir. Oturuma özel canary belirteçleriyle sızıntıyı ispatlanabilir hale getirme yöntemi LLM loglama ve canary token yazısında anlatılır.

Kayma nasıl ölçülür?

Kayma ölçümü iki dönemin dağılımlarını karşılaştırmaktır. Referans dönem, sistemin sağlıklı olduğu ve güvenlik testinden geçtiği dönemdir. Güncel dönem ise son gün ya da haftadır.

Sağlıklı bir referans dönemi seçin ve ölçümleri saklayın.
Aynı ölçümleri güncel dönem için hesaplayın.
Kategorik dağılımlar için (dil, konu, ret nedeni) popülasyon kararlılık endeksi ya da Jensen-Shannon uzaklığı gibi bir dağılım farkı ölçüsü kullanın.
Anlam kayması için girdilerin gömme vektörlerini karşılaştırın, örneğin iki dönemin ortalama vektörleri arasındaki uzaklığı izleyin.
Skoru zaman serisi olarak izleyin, tek sıçramaya değil eğilime bakın.
Eşik aşılınca örnek girdileri insan gözüyle inceleyin ve bulunan nedeni kayda yazın.

Gömme tabanlı karşılaştırma, kelime dağılımının göremediği kaymayı yakalar. Ancak gömme modeli de bir bileşendir. Değişirse ölçüm değişir. Ölçüm aracını sabit tutun ya da değiştiğinde yeni referans oluşturun.

Türkçe hizmet veren sistemlerde dil karışımını ayrıca izleyin. Türkçe ile İngilizcenin karıştığı girdilerin oranı arttığında, yalnız tek dilde sınanmış koruma kuralları daha az isabetli çalışabilir.

Skorun sınırını bilin. Kayma skoru "bir şey değişti" der, "kötü bir şey oldu" demez. Ürünün yeni bir kitleye ulaşması da yüksek skor üretir. Bu yüzden skor bir alarm değil, inceleme tetikleyicisidir.

Uyarı eşikleri nasıl belirlenir?

Eşik, referans dönemdeki normal dalgalanmadan türetilir. Uyarı yorgunluğu gerçek bir risktir. Çok sayıda anlamsız uyarı gerçek olanı gömer.

Bilgi, uyarı ve kritik olmak üzere kademeli düzeyler kullanın.
Tek ölçüme değil ardışık ölçümlere bakın, geçici sıçramaları süzün.
Güvenlik sinyallerine kalite sinyallerinden daha sıkı eşik koyun.
Her uyarının bir sahibi ve bir ilk müdahale adımı olsun.
Eşikleri üç ayda bir gözden geçirin, ürün büyüdükçe "normal" değişir.
Yanlış alarmları kayda geçirin ve eşiği bu kayda göre ayarlayın.

Uyarıyı doğru ekibe yönlendirin: güvenlik kayması güvenlik ekibine, kalite kayması ürün ekibine, altyapı kayması operasyon ekibine. Uyarı kurallarını test edilebilir biçimde yazma yaklaşımı LLM detection engineering yazısında işlenir.

Sağlayıcı kaynaklı değişiklikler nasıl yakalanır?

Kendi tarafınızda hiçbir şey değişmediği halde davranış değişebilir. Anthropic belgeleri bunu açıkça yazar: 4.6 kuşağından itibaren her model kimliği sabit bir anlık görüntüdür ve ağırlıklar o kimlik boyunca değişmez. Ancak yönlendirici, güvenlik sınıflandırıcıları ve örnekleme mantığı gibi sunum altyapısı zamanla değişebilir ve gözlenen davranışta küçük farklar doğurabilir. Daha eski modellerdeki takma adlar ise en son tarihli anlık görüntüye yönlenir.

Bu yüzden üç kontrol gerekir:

Üretimde sabit model kimliği kullanın, takma ada güvenmeyin.
Küçük bir "nöbetçi" değerlendirme kümesini, örneğin her gün sabit saatte, üretim yapılandırmasıyla çalıştırın. Kendi değişikliğiniz yokken skor değişirse sağlayıcı tarafına bakın.
Sağlayıcının değişiklik, kullanımdan kaldırma ve emeklilik duyurularını izleyin.

Talimat ve model sürümünü her yanıtın kaydına yazmak, bir sapmanın kendi değişikliğinizden mi yoksa dışarıdan mı geldiğini ayırmanın tek yoludur. Bu kayıt düzeni prompt sürümleme yazısında anlatılır.

Kayma tespit edilince yeniden değerlendirme nasıl yapılır?

Yeniden değerlendirme, güvenlik testlerini güncel koşullarda tekrar çalıştırıp sonucu referansla karşılaştırmaktır.

Uyarıyı doğrulayın: ölçüm hatası ya da geçici bir sıçrama olabilir.
Zaman çizelgesine bakın: kayma ne zaman başladı, o tarihte ne değişti?
Örnek girdileri inceleyin: yeni bir kullanıcı grubu mu, yeni bir saldırı kalıbı mı?
Güvenlik değerlendirme kümesini yeniden çalıştırın ve önceki sonuçla karşılaştırın.
Yeni saldırı kalıbını değerlendirme kümesine ekleyin.
Düzeltmeyi uygulayın ve aşırı red oranını bozmadığını doğrulayın.
Olayı ve dersi kayda alın.

Değerlendirme kümesini birleştirme isteklerine ve zamanlanmış çalıştırmalara bağlayan altyapı için LLM eval harness ve güvenlik regresyonu yazısına bakın.

NIST AI RMF izleme beklentisini nasıl tanımlar?

NIST'in Yapay Zekâ Risk Yönetimi Çerçevesi (AI RMF 1.0) gönüllü bir çerçevedir ve sertifika vermez. Yine de izleme sürecini adlandırmak ve yönetime raporlamak için yararlı bir sözlük sunar. MEASURE 2.4, yapay zekâ sisteminin ve bileşenlerinin işlevi ile davranışının üretimde izlenmesini ister. MEASURE 3.1, beklenen ve gerçek başarıma dayanarak mevcut, beklenmeyen ve yeni ortaya çıkan risklerin düzenli olarak belirlenip izlenmesini tanımlar. MANAGE 4.1 ise kullanıcı geri bildirimi, olay müdahalesi, kurtarma ve değişiklik yönetimini kapsayan dağıtım sonrası izleme planlarını ele alır.

Yönetime giden özet raporda kayma sinyallerinin eğilimini, açılan inceleme sayısını ve düzeltme sürelerini gösterin. Tek bir sayıdan çok yön önemlidir.

Asgari bir izleme kurulumu nasıl olur?

Küçük bir ekip bile şu düzenle başlayabilir. Karmaşık araçlar sonradan eklenir.

Girdi ve çıktıları maskeleyerek, talimat ve model sürümüyle birlikte günlüğe yazın.
Ret oranını, yanıt uzunluğunu ve koruma katmanı engelleme oranını günlük hesaplayın.
Sağlıklı bir dönemden referans alın ve saklayın.
Her sinyal için bilgi ve kritik eşik tanımlayın.
Nöbetçi değerlendirme kümesini her gün, tam güvenlik kümesini her ay ve her değişiklikte çalıştırın.
Haftada bir uyarıları ve örnek girdileri gözden geçirin.

İlk aşamada elle inceleme yeterlidir. Sonra otomatik skorlar, ardından olay yönetimine bağlanan uyarılar gelir. Önemli olan izlemenin bir proje değil, sürekli bir süreç olduğunu kabul etmektir.

Sık Sorulan Sorular

Model kayması ile veri kayması aynı şey mi?

Hayır. Veri kayması, modele gelen girdilerin dağılımının zamanla değişmesidir. Model kayması ise modelin ya da çevresindeki sistemin davranışının değişmesidir. Veri kayması çoğu zaman model başarımını düşürür, ama sağlayıcının sunum altyapısındaki bir değişiklik de girdiler aynı kalırken davranışı değiştirebilir. İkisini ayrı izleyin, çünkü nedenleri ve çözümleri farklıdır.

Güvenlik açısından kayma neden önemlidir?

Kayma koruma katmanlarını sessizce zayıflatabilir. Yeni bir kullanıcı kitlesi, yeni bir dil karışımı ya da yeni bir saldırı kalıbı, eskiden yakalanan girdileri yakalanmaz hale getirir. Ters yönde, aşırı red oranı artarsa kullanıcı deneyimi bozulur ve ekipler korumayı gevşetmeye yönelir. İzleme iki yönü birlikte görmelidir, yoksa biri düzeltilirken diğeri bozulur.

Uyarı eşikleri nasıl belirlenir?

Eşik, sistemin sağlıklı olduğu bir referans döneminin ölçümlerinden türetilir. Normal dalgalanma aralığını bulun, bunun dışına çıkan ve ardışık ölçümlerde süren sapmalar için uyarı kurun. Çok dar eşik yanlış alarm üretir, çok geniş eşik gerçek kaymayı kaçırır. Bilgi, uyarı ve kritik olmak üzere kademeli düzeyler kullanın, her uyarıya bir sahip atayın.

Kayma tespit edilince ne yapılır?

Önce sapmanın gerçek olup olmadığını doğrulayın, sonra kaynağını arayın: girdi mi değişti, model ya da talimat mı güncellendi, yoksa koruma kuralı mı bozuldu? Ardından güvenlik değerlendirme kümesini yeniden çalıştırın, gerekiyorsa eşikleri, kuralları ya da talimatı güncelleyin. Düzeltmenin aşırı red oranını bozmadığını doğrulayın ve olayı kayda alın.

Kaynaklar

İlgili Yazılar

Bu yazı, Türkiye odaklı Yapay Zekâ Güvenliği Rehberi'nin destek makalelerinden biridir.