GenAI Sistem Keşfinde
Dokuz Kategoriyle Kanıt Toplama
Sistem keşfi, modele “kendini anlat” demek değildir. Amaç; dokuz ayrı güven sınırını aynı yöntemle yoklamak, yanıtı temkinli sınıflandırmak ve insan incelemesine taşınabilecek kanıt üretmektir.
Sömürüden Önce Neden Sistem Keşfi?
Bir GenAI uygulamasını test etmeye doğrudan jailbreak veya veri çıkarma denemeleriyle başlamak iki soruna yol açar. İlk olarak testçi sistemin sınırlarını bilmediği için rastgele payload üretir. İkinci olarak bulunan davranışın hangi bileşenden kaynaklandığını ayıramaz: model mi, RAG katmanı mı, araç yönlendiricisi mi, uygulama politikası mı?
Sistem keşfi bu belirsizliği azaltır. Yetkili değerlendirmede amaç gizli bilgi toplamak değil; uygulamanın hangi yetenekleri açıkladığını, hangi araç ve veri kaynaklarına işaret ettiğini, hangi politika sınırlarını görünür kıldığını ve bu açıklamaların güvenlik açısından inceleme gerektirip gerektirmediğini belirlemektir.
Dokuz Kategori Tek Bir Soruya İndirgenemez
| Kategori | İncelenen sınır | Blue team karşılığı |
|---|---|---|
| Yetenek | Sistem hangi işleri yapabildiğini söylüyor? | Ürün envanteri ve abuse case |
| Araç | Hangi dış eylemler mümkün? | Allowlist, scope ve onay |
| Veri kaynağı | Yanıt hangi kaynaklardan besleniyor? | Lineage ve erişim kontrolü |
| Kimlik | Kullanıcı ve servis rolleri nasıl ayrılıyor? | IAM ve tenant sınırı |
| Politika | Uygulama hangi davranışı kısıtlıyor? | Policy-as-code ve enforcement |
| Talimat | Talimat katmanları nasıl öncelikleniyor? | Prompt isolation |
| Bellek | Durum ne kadar ve nerede tutuluyor? | Retention ve poisoning kontrolü |
| Mimari | Bileşenler hangi güven sınırlarında? | Threat model |
| Provenance | Model, veri ve artefakt kökeni izlenebilir mi? | Supply-chain kanıtı |
Bu ayrım sayesinde bir açıklama “genel olarak fazla bilgi” şeklinde raporlanmaz. Hangi varlığa ve hangi savunma kontrolüne bağlandığı görülür.
İki Dilli Probe Tasarımı Çeviri Değildir
İngilizce bir sorguyu kelime kelime Türkçeye çevirmek aynı testi üretmeyebilir. Türkçede özne düşmesi, eklerle kurulan yetki dili ve dolaylı rica biçimleri modelin farklı davranmasına yol açabilir. Bu nedenle iki dildeki probe’lar aynı güvenlik niyetini korumalı ama her dilde doğal okunmalıdır.
PR #50 envanteri 12 İngilizce ve 12 Türkçe sorgudan oluşur; her kategori iki dilde kapsanır ve doğrudan/dolaylı yaklaşımlar dengelenir. Buradaki amaç dil üstünlüğü karşılaştırması yapmak değil, tek dilli bir keşif kampanyasının oluşturduğu kör noktayı kapatmaktır.
Triage Sinyali Bulguyla Aynı Şey Değildir
Bir yanıtta mimari terim, localhost adresi veya politika cümlesi geçmesi otomatik zafiyet kanıtı değildir. Uygulama zaten bu bilgiyi kamuya açık biçimde sunuyor olabilir. Bu nedenle sınıflandırıcı sonucu potential_disclosure gibi bir inceleme sinyali üretmeli; “vulnerable” hükmü vermemelidir.
Rapor, eşleşen kanıt parçasını, dili, kategoriyi, çalışma durumunu ve ham yanıtı birlikte sakladığında insan incelemesi mümkün olur. Güvenlik otomasyonu burada karar verici değil, tutarlı bir triage yardımcısıdır.
Rapor Tasarımında Tekrar Üretilebilirlik
İyi bir keşif modülü dil ve kategori filtresi, dry-run, prompt bazlı hata izolasyonu ve gerektiğinde fail-fast davranışı sunar. Dry-run seçilen envanteri model çağrısı yapmadan gösterir; böylece kapsam testten önce incelenebilir. JSONL makine işlemesini, Markdown ise saha incelemesini kolaylaştırır.
Her rapor satırında prompt kimliği, kategori, dil, varyant, durum, değerlendirme, eşleşen kanıt ve hata alanı bulunmalıdır. Bu kayıt yapısı olmadan iki çalışma arasındaki farkı ölçmek zorlaşır.
Kuruma Uyarlama Kontrol Listesi
- Yalnızca sahibi olduğunuz veya açıkça yetkili olduğunuz sistemlerde çalışın.
- Kategori envanterini kurumun gerçek mimarisiyle eşleyin; kullanılmayan araçları test planından çıkarın.
- İki dilde doğal ve aynı güvenlik niyetini taşıyan probe çiftleri oluşturun.
- Otomatik etiketi bulgu değil inceleme sinyali olarak tanımlayın.
- Raporların hassas mimari ve politika bilgisi taşıyabileceğini varsayın.
- Keşif sonucunu sonraki saldırı testleri ve blue team kontrolleri için sistem haritasına dönüştürün.
Kaynaklar ve Kanıt Sınırı
- GenAI Red Team Lab — merge edilen PR #50
- Reliable Bilingual System Reconnaissance — DOI
- Reconnaissance Before Exploitation
Bu yazı Enes Deniz tarafından hazırlanmış bağımsız bir teknik değerlendirmedir. Bağlantılı upstream proje veya standart kuruluşu tarafından yayımlanmış ya da onaylanmış bir metin değildir. Merge, test ve kapsam iddiaları yukarıdaki birincil kayıtlara bağlanmıştır.