Yapay Zekâ Olay Tatbikatı: Masa Başı Senaryolar

Yapay zekâ olay tatbikatı neden klasik tatbikattan ayrı yapılır?

Masa başı tatbikat, sistemlere dokunmadan yapılan, tartışmaya dayalı bir provadır. NIST SP 800-84, bilgi teknolojisi planlarının bu tür tatbikatlarla düzenli olarak sınanmasını önerir. Yapay zekâ bileşeni için ayrı bir senaryo gerekir, çünkü üç şey farklıdır.

Birincisi, kanıtın yeri. Kullanıcı girdisi, sistem istemi, geri getirilen belge parçaları, model yanıtı, araç çağrısı ve araç sonucu farklı sistemlerde durabilir. İkincisi, zararın biçimi. Olay yalnızca veri sızıntısı değil, müşteriye verilen yanlış bir taahhüt ya da ajanın yetkisiz bir işlemi olabilir. Üçüncüsü, belirsizlik. Aynı girdi her seferinde aynı çıktıyı vermez, bu yüzden olayı yeniden üretmek zordur.

Bu soruların cevabı olay anında aranırsa saatler kaybolur. ABD'de CISA da yapay zekâ olaylarına özel iki masa başı tatbikat düzenlemiş, yaklaşık 150 uzmanın katıldığı bu çalışmaların ardından Ocak 2025'te bir bilgi paylaşım rehberi yayımlamıştır. Müdahalenin kendisi için saat saat bir plan arıyorsanız AI olay müdahale playbook'u yazısına bakın. Tatbikat, o planın gerçekten çalışıp çalışmadığını sınar.

Masada hangi roller olmalı?

Masada en az altı rol bulunur ve her rol için bir yedek belirlenir. Gerçek olay mesai saatinde çıkmayabilir ve ilk aranan kişi ulaşılamaz olabilir.

Tatbikatı yöneten kişi bu rollerden birini üstlenmez. Yalnızca senaryoyu ilerletir ve bilgi kartlarını açar. Katılımcılar gerçek görevleriyle oturur, çünkü bir yöneticinin teknik sorumlunun yerine konuşması gerçek boşlukları gizler.

Hangi senaryolarla başlanmalı?

İlk yıl için dört senaryo yeterlidir. Her biri farklı bir karar zincirini sınar. Senaryoyu genel tutmayın. Kendi ürününüzdeki gerçek bir asistanı, gerçek bir veri kaynağını ve gerçek bir aracı seçin.

Senaryo bir: müşteri verisi sızıntısı

Destek asistanı, başka bir müşterinin sipariş bilgisini içeren bir yanıt verir. Bir kullanıcı ekran görüntüsünü sosyal medyada paylaşır. Kanıtı nereden toplarsınız? Asistanı tamamen mi kapatırsınız, yoksa yalnızca ilgili veri kaynağını mı devre dışı bırakırsınız? 6698 sayılı Kanun'un 12. maddesinin beşinci fıkrası ihlalin "en kısa sürede" Kurul'a bildirilmesini ister. Kurul, 2019/10 sayılı kararıyla bu süreyi ihlalin öğrenilmesinden itibaren en geç 72 saat olarak yorumlamıştır. Saatin hangi anda başladığına kim karar verecek?

Senaryo iki: asistanın yanlış taahhüdü

Asistan, var olmayan bir iade hakkını müşteriye yazılı olarak taahhüt eder. Yanıt kurum adına bağlayıcı sayılır mı, müşteriyle nasıl iletişim kurulur? Kanada'da Moffatt v. Air Canada (2024 BCCRT 149) kararında havayolu, sitesindeki sohbet robotunun verdiği yanlış bilgiden sorumlu tutulmuştur. Ayrıntılar için Air Canada chatbot vakası yazısına bakın.

Senaryo üç: ajanın yetkisiz işlemi

Bir ajan, dışarıdan gelen bir belgedeki gizli talimatı izleyerek bir müşteri listesini e-postayla dışarı gönderir. Ajanın anahtarlarını kim iptal eder? Hangi işlemler geri alınabilir? Kayıtlar, eylemin ajandan mı kullanıcıdan mı geldiğini ayırabiliyor mu? Bu senaryonun mantığı için ölümcül üçlü (lethal trifecta) kavramı iyi bir başlangıçtır.

Senaryo dört: sağlayıcı kaynaklı olay

Model sağlayıcınız bir güvenlik olayı duyurur ya da hizmet saatlerce kesilir. Sağlayıcının destek kanalı kimde? Yedek model ya da bozulmuş çalışma modu var mı? Kesinti senaryosu için sağlayıcı kesintisinde iş sürekliliği yazısı tamamlayıcıdır.

Karar noktaları ve bilgi kartları nasıl tasarlanır?

Karar noktası, ekibi eksik bilgiyle seçim yapmaya zorlayan bir durma yeridir. Senaryoyu hikâye gibi akıtmak yerine her 15 ile 20 dakikada bir yeni bilgi kartı açın. Her kart yeni bir baskı getirir ve bir karar ister.

Birinci senaryo için örnek kart akışı:

Olayın ilan ölçütü ve önem derecesi için yapay zekâ olay sınıflandırma ve triyaj matrisi kullanılabilir. Her karar noktasında "bilmediğimiz şey ne?" sorusunu da sorun. Cevap çoğu zaman "kayıtlarda yok" olur ve bu, tatbikatın en değerli bulgusudur.

Kanıt ve kayıt tarafında hangi sorular sorulur?

Tatbikatta kayıtların yapay zekâ olayını yeniden kurmaya yetip yetmediği sınanır. Şu soruları her senaryoda sorun:

• Olay anında hangi model sürümü ve hangi sistem istemi sürümü çalışıyordu?
• Kullanıcı girdisi, geri getirilen belge parçaları, yanıt ve araç çağrıları ayrı ayrı kayıtlı mı?
• Kayıtlar ne kadar süre tutuluyor ve olay sırasında silinmeleri nasıl durdurulur?
• Kayıtlara kimler erişebiliyor? Kişisel veri içeren kayıtlara geniş erişim yeni bir ihlal yaratır mı?
• Sağlayıcı tarafındaki kayıtlara ulaşmak için hangi kanal kullanılır?

Model ve istem sürümü kayda geçmiyorsa olay yeniden üretilemez, düzeltmenin etkisi de ölçülemez. Bu tek bulgu bile tatbikatın maliyetini karşılar.

Tatbikat nasıl yürütülür ve raporlanır?

Tatbikat hazırlık, uygulama ve rapor olmak üzere üç aşamada yürür. CISA'nın masa başı tatbikat paketleri bu aşamalar için şablon sunar: hedefler, senaryolar, tartışma soruları, rol tanımları ve tatbikat sonrası rapor şablonu. Kendi senaryonuzu bu iskelete oturtabilirsiniz.

Uygulama adımları:

1. Kuralları anlatın: yargılama yok, amaç boşluk bulmak.
2. Senaryonun başlangıcını okuyun ve ilk kararı isteyin.
3. Her kararı, kimin verdiğini ve ne kadar sürdüğünü yazın.
4. Bilgi kartlarını sırayla açın, baskıyı artırın.
5. Son yarım saatte bulguları gruplayın ve aksiyonları atayın.

Rapor iskeleti:

Raporda kişilerin adı yerine rollerin adı geçer. Katılımcılar yargılandığını hissederse sonraki turda boşlukları saklar.

Başarı nasıl ölçülür, hangi hatalar sık yapılır?

Tatbikatın başarısı doğru cevap sayısıyla değil, bulunan boşluk sayısı ve kapanan aksiyonlarla ölçülür. Her turda şu değerleri karşılaştırın: olayın ilan edilmesine kadar geçen süre, kapatma yetkisi olan kişiye ulaşma süresi, model ve istem sürümünün kayıttan okunup okunamadığı ve ilk müşteri açıklamasının onay süresi. Rakam uydurmayın, kendi ilk tatbikatınızdan başlangıç değeri alın.

Sık yapılan hatalar şunlardır:

• Senaryoyu gerçek üründen koparıp genel bir hikâye anlatmak.
• Yalnızca teknik ekibi masaya çağırmak. Gecikmelerin çoğu hukuk ve iletişim onayında yaşanır.
• "Bizde bu olmaz" diyerek karar noktasını geçmek. Yönetici "olduğunu varsayalım, ilk saat ne yapılır?" diye yönlendirmelidir.
• Bulguları yazıp aksiyon sahibi atamamak.
• Tatbikatı bir kez yapıp unutmak.

Tatbikatı yılda en az bir kez ve her büyük model ya da ajan değişikliğinden sonra tekrarlayın. Hiçbir plan maddesi değişmediyse ya senaryo yeterince zor değildir ya da bulgular kayda geçmemiştir.

Sık Sorulan Sorular

Masa başı tatbikat ne kadar sürmelidir?

Tek senaryo için iki ile üç saat yeterlidir. İlk yarım saat kuralları ve senaryonun başlangıcını anlatmaya, son yarım saat bulguları gruplayıp aksiyon atamaya ayrılır. Aradaki süre dört ya da beş bilgi kartıyla ilerler. Aynı oturuma ikinci bir senaryo eklemek dikkati dağıtır. Büyük kurumlar senaryoları ayrı günlere yayarak katılımı yüksek tutar.

Tatbikata kimler katılmalı?

Olay yöneticisi, yapay zekâ bileşenini işleten teknik sorumlu, ürün sahibi, hukuk ya da kişisel veri sorumlusu, kurumsal iletişim ve bir kayıt tutucu masada olmalıdır. Model sağlayıcısıyla ilişkiyi yöneten kişi de davet edilir. Katılımcılar gerçek görevleriyle oturur. Kıdemli birinin başkasının rolünü üstlenmesi, gerçek olayda ortaya çıkacak yetki boşluklarını gizler.

Yapay zekâ olayı ile klasik güvenlik olayı arasındaki fark nedir?

Yapay zekâ olayında kanıt, kullanıcı girdisinde, sistem isteminde, geri getirilen belge parçalarında, model yanıtında ve araç çağrılarında dağınık durur. Aynı girdi her seferinde aynı çıktıyı vermediği için kök neden belirsiz kalabilir. Zarar yalnızca veri sızıntısı değil, yanlış taahhüt ya da yetkisiz işlem biçiminde de ortaya çıkar. Bu yüzden kanıt ve sınıflandırma adımları ayrıca planlanır.

Tatbikat sonunda hangi çıktı üretilmeli?

Kısa bir tatbikat raporu üretilir: senaryo özeti, karar zaman çizelgesi, gecikmeler, eksik kayıtlar, yetki ve iletişim boşlukları ve her biri için sahibi ve son tarihi belli aksiyonlar. Rapor yönetime sunulur. Bir sonraki tatbikat, önceki raporun aksiyonlarının kapanıp kapanmadığı kontrol edilerek başlar. Kapanmayan aksiyon, gerçek olayda aynı gecikmeyi üretir.

Küçük bir ekip bu tatbikatı nasıl uyarlar?

Küçük ekip tek senaryo ve dört kişiyle çalışabilir. Roller birleşebilir, ancak karar veren kişi ile kayıt tutan kişi ayrı olmalıdır. Senaryoyu gerçek ürününüzden seçin, çünkü genel örnekler gerçek anahtarları, araçları ve bağımlılıkları göstermez. Bilgi kartlarını önceden yazın ve tatbikatı yöneten kişi tartışmaya katılmadan yalnızca senaryoyu ilerletsin.

Kaynaklar

• CISA: Tabletop Exercise Packages (CTEP)
• CISA: JCDC AI Cybersecurity Collaboration Playbook duyurusu
• NIST: SP 800-84, Guide to Test, Training, and Exercise Programs for IT Plans and Capabilities
• KVKK: Veri İhlali Bildirimi ve 2019/10 sayılı Kurul Kararı

İlgili Yazılar

• AI Incident Response Playbook LLM Olaylarında Saat-Saat Müdahale
• Yapay Zeka Güvenlik Olayı Sınıflandırması: Önem Derecesi ve Triyaj Matrisi AI-SEV: SEV0-SEV4 önem derecesi ve ASI Top10 eşlemesi
• LLM Adli Analizi: Yapay Zeka Olayı Sonrası İnceleme Rehberi Prompt-yanıt artefakt zinciri ve delil-değeri tablosu
• Yapay Zekâ Sağlayıcısı Kesintisinde İş Sürekliliği