Yapay Zekâ Güvenliği KPI Seti: CISO İçin Ölçüm Rehberi

Yapay zekâ güvenliği KPI seti neyi ölçmeli?

KPI seti, ekibin yaptığı işin kapsamını, hızını ve kalitesini ölçer. Riskin kendisini kurula anlatmak ayrı bir iştir. Kurul düzeyindeki risk göstergeleri için yönetim kurulu AI risk raporlaması yazısındaki KRI seti kullanılır. Buradaki KPI seti onun bir alt katmanıdır: KRI'ları besleyen operasyonel ölçümler.

Klasik güvenlik metrikleri yapay zekâ sistemlerinin davranışını yakalamaz. Yama oranı, bir asistanın dolaylı istem enjeksiyonuna açık olup olmadığını göstermez. Model güncellenir, istem şablonu değişir, ajan yeni bir araca bağlanır ve önceki test geçersiz kalır. Bu nedenle ölçüm yalnızca bileşenlere değil, sistemin davranışına ve değişim hızına da bakmalıdır.

NIST AI RMF 1.0'ın MEASURE işlevi bu yaklaşımı destekler. MEASURE 1.1, ölçüm yöntemlerinin ve metriklerin en önemli risklerden başlayarak seçilmesini, ölçülemeyen risklerin de belgelenmesini ister. MEASURE 1.2 ise metriklerin uygunluğunun düzenli olarak yeniden değerlendirilmesini öngörür. Bir KPI seti bu iki ilkeyi uygulamanın en pratik yoludur.

Hangi sekiz gösterge ilk sette yer almalı?

Sekiz gösterge, görünürlük, doğrulama, düzeltme, savunma kalitesi, insan kontrolü ve gerçekleşen zarar alanlarını kapsar. Daha fazlası veri toplama yükünü artırır ve ilk yılda güvenilir bir veri akışı kurmayı zorlaştırır. Aşağıdaki tablo her gösterge için formülü ve sorumluyu verir.

Sahipsiz metrik, kimsenin düzeltmediği metriktir. Sahip veriyi toplar, değer kötüleştiğinde nedenini açıklar ve aksiyonu başlatır. Tablodaki öncelikler, OWASP listesinin yöneticiye çevrilmiş hali olan OWASP LLM Top 10 2026 CISO özeti ile birlikte okunabilir: envanter ve en az yetki orada da ilk sıradadır.

Envanter ve test kapsamının paydası nasıl belirlenir?

Kapsam oranlarında asıl iş paydadır. Bilinmeyen sistemler kayıt defterinde görünmez, bu yüzden payda keşiften gelmelidir. Keşif yöntemi yazılı değilse oran yanıltıcı biçimde yüksek çıkar ve her ay farklı bir şeyi ölçer.

Keşif için dört kaynak birlikte kullanılır:

• Bulut hesaplarında yapay zekâ hizmeti ve model uç noktası kullanımı.
• Proxy ve DNS kayıtlarında bilinen model sağlayıcılarının alan adları.
• Satın alma ve kurumsal kart harcamalarında yapay zekâ abonelikleri.
• Kod depolarında model istemcisi kitaplıkları ve API anahtarı tanımları.

Yeni keşif yöntemi eklendiğinde oran düşer. Bu kötü haber değildir, gerçek durum görünür hale gelmiştir. Raporda bu kırılmayı not edin ve seriyi o tarihten itibaren yeniden başlatın.

Test kapsamında "güncel" kelimesini tanımlayın. Önerilen kural şudur: model sürümü, sistem istemi, bağlı araç listesi ya da erişilen veri kaynağı değiştiyse önceki test geçersiz sayılır. Bu kural yazılmazsa eski testler kapsamı olduğundan yüksek gösterir. Kapsamı da risk ağırlıklı verin. Müşteriye açık bir ajan ile iç kullanımdaki bir özetleme aracı aynı ağırlıkta değildir. Önce yüksek riskli sistemlerde yüzde yüze yaklaşmak, genel oranı yükseltmekten daha değerlidir.

Bulgu kapanma süresi nasıl hesaplanır?

Kapanma süresi, bulgunun kayda geçtiği andan düzeltmenin doğrulandığı ana kadar geçen süredir. Önem derecesine göre ayrı hesaplanır ve medyan ile doksanıncı yüzdelik birlikte verilir. Ortalama tek başına kullanılmaz, çünkü uzun süre açık kalan kritik bulguları gizler.

Önem dereceleri için ortak bir ölçek gerekir. FIRST'ün CVSS v4.0 belirtiminde nitel ölçek şöyledir: 0.1-3.9 düşük, 4.0-6.9 orta, 7.0-8.9 yüksek, 9.0-10.0 kritik. Yapay zekâya özgü bulgularda, örneğin istem enjeksiyonuyla araç kötüye kullanımında, CVSS her zaman uygun düşmez. Bu durumda kurum kendi derecelendirme tablosunu yazar ve CVSS bantlarına eşler. Önemli olan, aynı bulgunun her çeyrekte aynı dereceyi almasıdır.

Saatin başlangıç ve bitiş noktası tanımda yazılmalıdır. Aşağıdaki örnek bir metrik tanım kartıdır:

kpi: kritik_bulgu_kapanma_suresi
tanim: "Kritik bulgunun kayıttan doğrulanmış kapanışa kadar geçen gün"
baslangic: "bulgunun takip sistemine girildiği an"
bitis: "yeniden testin bulguyu kapalı doğruladığı an"
rapor: ["medyan", "p90"]
ayrim: ["onem_derecesi", "sistem_risk_sinifi"]
hedef_gun: { kritik: 15, yuksek: 30 }
eslesik_kalite_gostergesi: "yeniden_acilan_bulgu_orani"
sahip: "urun_guvenligi"

Hedef gün değerleri örnektir. Kurum kendi risk iştahına göre belirler. Eşlenik kalite göstergesi, kapanma süresinin yüzeysel düzeltmelerle kısaltılmasını önler.

Ajan ve guardrail göstergeleri nasıl okunur?

Saldırı başarı oranı tek başına raporlanmaz. Savunma sıkılaştıkça meşru istekler de reddedilir ve sistem kullanılmaz hale gelir. Bu yüzden saldırı başarı oranı ile aşırı red oranı aynı satırda, aynı test kümesiyle ve her sürümde ölçülür. Paydanın nasıl kurulacağı ve güven aralığının nasıl verileceği saldırı başarı oranı (ASR) ölçümü yazısında ayrıntılı anlatılır.

Ajan onay kuyruğu ise yapay zekâya özgü bir insan kontrolü göstergesidir. Ajan kritik bir işlemden önce insan onayı bekliyorsa üç değer izlenir: onay isteği sayısı, medyan bekleme süresi ve zaman aşımına uğrayan isteklerin oranı. Birikme iki soruna işaret eder. Ya onaylayanlar yetişemiyor ve kör onay başlıyordur, ya da ajan gereğinden fazla onay istiyordur. Onay tasarımı için ajan işlemlerinde insan onay kapısı yazısına bakabilirsiniz.

Zaman aşımı davranışı da ölçülmelidir. Onay gelmediğinde işlem iptal mi olur, yoksa kendiliğinden mi devam eder? Kendiliğinden devam eden bir tasarım insan kontrolünü anlamsız kılar. Bu durum metrikte ayrı bir sayaçla görünmelidir.

Veri olayları ve tespit süresi nasıl izlenir?

Veri olayı göstergesi gecikmeli bir göstergedir, zarar oluştuktan sonra ölçülür. Asıl yönetilebilir değer tespit süresidir: olayın başladığı an ile fark edildiği an arasındaki süre. Uzun süre fark edilmeyen sızıntı daha fazla kişiyi ve daha fazla veriyi etkiler.

Olay tanımı kurum bağlamına göre yazılır. Tipik başlıklar şunlardır: bir kullanıcıya başka bir kullanıcının verisinin gösterilmesi, sistem isteminin ya da gizli bağlamın ifşası, araç çağrısıyla yetkisiz veri aktarımı ve çalışanın hassas veriyi onaysız bir araca girmesi. Her olay için etkilenen kişi sayısı, veri sınıfı, tespit süresi ve kapanış süresi kaydedilir.

Kişisel veri ihlalinde süre kısıtlıdır. 6698 sayılı Kanun'un 12. maddesinin beşinci fıkrası ihlalin "en kısa sürede" ilgilisine ve Kurul'a bildirilmesini ister. Kurul, 24.01.2019 tarihli ve 2019/10 sayılı kararıyla bu süreyi, veri sorumlusunun ihlali öğrendiği andan itibaren en geç 72 saat olarak yorumlamıştır. Tespitten bildirime kadar geçen süreyi de bu nedenle ayrı bir değer olarak izleyin.

Sıfır olay, güvenli olmak demek değildir. Tespit yeteneği zayıfsa olay görünmez. Olay sayısını kayıt kapsamı, uyarı kuralı sayısı ve tatbikat sonuçlarıyla birlikte okuyun.

KPI panosu hangi ritimle ve kime raporlanır?

Rapor ritmi göstergenin değişim hızına uyar. Haftalık toplantıda ekip kapanma süresine, süresi aşan bulgulara ve onay kuyruğuna bakar. Aylık CISO raporunda kapsam oranları, onaysız kullanım ve olay özeti yer alır. Çeyreklik kurul raporunda ise yalnızca eşiği aşan göstergeler KRI olarak görünür.

Her raporda şu kurallar uygulanır:

1. Göstergenin tanımı, kaynağı ve sahibi raporla birlikte durur.
2. Tek değer yerine son altı dönemin eğilimi gösterilir.
3. Kötüleşen gösterge saklanmaz, nedeni ve aksiyonu yazılır.
4. Tanım ya da keşif yöntemi değiştiyse seri kırılması işaretlenir.
5. Yönetim özetinde istenen karar tek cümleyle yazılır.

Pano kurmak için ayrı bir araç gerekmez. Bulgu takip sistemi, test hattı ve olay kayıtlarından alınan veriler bir tabloda birleştirilebilir. Önemli olan, sayının elle değil kaynaktan üretilmesidir.

Hedef değerler nasıl konur ve metrik oyunu nasıl önlenir?

Hedef değer, risk iştahına ve sistemin kritikliğine göre konur. Evrensel bir eşik yoktur. İlk çeyrekte ölçüm alın, ikinci çeyrekte hedef koyun. Olgunluk düzeyinizi belirlemek için AI güvenlik olgunluk modeli bir başlangıç çerçevesi sunar.

Ölçülen şey hedef haline geldiğinde davranış değişir. Kapanma süresi baskı altındaysa bulgular yüzeysel kapatılır. Test kapsamı hedeflenirse kolay sistemler önce test edilir. Bunu önlemenin yolu her hız göstergesini bir kalite göstergesiyle eşlemektir.

Üç ayda bir, kapanmış bulgulardan rastgele bir örnek bağımsız biri tarafından yeniden test edilsin. Sonuç, panodaki sayılara ne kadar güvenilebileceğini gösterir. Sayılar iyileşirken olaylar artıyorsa sorun ekipte değil tanımdadır.

Sık Sorulan Sorular

Yapay zekâ güvenliği KPI seti ile yönetim kurulu KRI seti arasındaki fark nedir?

KPI seti, güvenlik ekibinin programı ne kadar iyi yürüttüğünü haftalık ya da aylık ölçer: kapsam, hız, kuyruk. KRI seti ise riskin bir eşiğe yaklaştığını kurula haber verir ve çeyreklik okunur. KPI'lar KRI'ları besler. Örneğin süresi aşan kritik bulgu sayısı ekipte bir KPI'dır, belirli bir eşiği geçtiğinde kurul raporunda risk göstergesi olarak görünür.

Envanter kapsamının paydası nasıl bulunur?

Payda, kayıt defterinden değil keşiften gelir. Bulut hesaplarındaki yapay zekâ hizmeti kullanımı, proxy ve DNS kayıtlarında bilinen sağlayıcı alan adları, satın alma ve kurumsal kart harcamaları ile kod depolarındaki model istemcisi bağımlılıkları birlikte taranır. Keşif yöntemi değişirse oran karşılaştırılamaz hale gelir. Bu yüzden yöntemi metrik tanımına yazın ve değiştiğinde seriyi yeniden başlatın.

Bulgu kapanma süresi neden ortalama ile verilmemeli?

Ortalama, birkaç hızlı kapanan düşük önemli bulguyla iyi görünürken aylardır açık duran kritik bulguları saklar. Süreyi önem derecesine göre ayırın, medyanı ve doksanıncı yüzdeliği birlikte verin. Saatin ne zaman başlayıp ne zaman durduğunu da tanımlayın. Kapanış, düzeltmenin yeniden testle doğrulandığı an olmalıdır, ekibin bileti kapattığı an değil.

KPI hedefleri ilk dönemde nasıl belirlenir?

İlk çeyrekte hedef koymayın, ölçüm alın. Mevcut değeri olduğu gibi raporlayın ve veri kaynağının güvenilirliğini doğrulayın. İkinci çeyrekte yüksek riskli sistemler için sıkı, düşük riskli sistemler için gevşek hedefler koyun. Bir gösterge sürekli hedefin çok üzerindeyse hedef gevşek ya da ölçüm yüzeysel olabilir. Her iki durumda da tanımı yeniden inceleyin.

Metrik oyununun önüne nasıl geçilir?

Her hız göstergesini bir kalite göstergesiyle eşleyin. Kapanma süresinin yanında yeniden açılan bulgu oranını, saldırı başarı oranının yanında aşırı red oranını, test kapsamının yanında yüksek riskli sistemlerin kapsamını izleyin. Rastgele seçilen kapanmış bulguları üç ayda bir bağımsız biri yeniden test etsin. Sayılar iyileşirken olaylar artıyorsa tanımı değiştirin.

Kaynaklar

• NIST: Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1
• NIST: Generative Artificial Intelligence Profile, NIST AI 600-1
• FIRST: CVSS v4.0 Specification Document
• KVKK: Veri İhlali Bildirimi ve 2019/10 sayılı Kurul Kararı

İlgili Yazılar

• Yönetim Kuruluna Yapay Zeka Risk Raporlaması CISO için 12 göstergelik KRI seti ve tek sayfalık rapor şablonu
• OWASP LLM Top 10 2026 — CISO Özeti Yöneticiler İçin 1 Sayfalık Karar Rehberi
• AI Güvenlik Olgunluk Modeli: Kurumunuzun Yapay Zeka Güvenliği Hangi Seviyede? 5 seviye x 6 boyut: AltaySec çerçevesiyle öz-değerlendirme
• Saldırı Başarı Oranı (ASR) Nedir? Ölçüm ve Raporlama