AI Pentest RFP Şablonu: Yapay Zeka Sızma Testi Şartnamesi Kontrol Listesi
Her madde OWASP LLM Top 10 ve Agentic Top 10'a eşlenmiş tedarik dili
Bir yapay zeka sistemi için sızma testi satın alırken en pahalı hata, geleneksel web pentest şartnamesini kopyalayıp içine "LLM" kelimesini serpiştirmektir. Bu rehber, teklif isteme (RFP) belgenizi OWASP LLM Top 10 (2025) ve OWASP Agentic Top 10 (ASI01-ASI10) kategorilerine madde madde eşleyen, indirilebilir bir şartname kontrol listesi sunar.
Yapay zeka sızma testi şartnamesi (AI pentest RFP) nedir?
Yapay zeka sızma testi şartnamesi (AI pentest RFP), bir dil modeli (LLM) veya yapay zeka ajanı içeren sistemin hangi bileşenlerinin, hangi tehdit kategorilerine karşı, hangi yöntem ve kabul kriterleriyle bağımsız olarak test edileceğini tanımlayan tedarik belgesidir. Klasik bir web veya altyapı pentest şartnamesinden farkı, saldırı yüzeyinin yalnızca kod ve ağ değil; model davranışı, sistem promptu, bağlam penceresi, alma-artırılmış üretim (RAG) veri kaynakları, araç/eklenti çağrıları ve ajan otonomisi olmasıdır.
Bir başka deyişle: geleneksel şartname "bu uç noktaya kimlik doğrulaması olmadan erişilebiliyor mu?" diye sorar. AI pentest şartnamesi ise buna ek olarak "model, ikna edildiğinde yetkisi olmayan bir aracı çağırır mı, başka bir kullanıcının verisini sızdırır mı, sistem promptunu ifşa eder mi?" diye sorar. Bu davranışsal saldırı yüzeyini kapsama almayan bir şartname, parası ödenmiş ama yanlış şeyi test eden bir rapor üretir.
Bu rehberin farkı, her şartname maddesini iki açık standarda bağlamasıdır: OWASP LLM Top 10 (2025) ve 9 Aralık 2025'te yayımlanan OWASP Agentic Top 10 (ASI01-ASI10). Böylece hem tedarikçi teklifleri aynı çerçevede karşılaştırılabilir hem de rapor sonunda "neyi test etmediniz" boşlukları görünür kalır.
Neden geleneksel pentest şartnamesi yetmez?
Geleneksel sızma testi şartnamesini bir yapay zeka projesine uygularken üç sistematik boşluk oluşur:
- Deterministik olmayan davranış. Aynı saldırı iki denemede farklı sonuç verebilir. Şartname, tek denemeyi değil, tekrar sayısı ve varyasyon üretimini (dil, kodlama, roleplay) belirtmelidir.
- Veri katmanı saldırı yüzeyi. RAG mimarilerinde tehdit yalnızca uygulama değil; vektör veritabanına yerleştirilmiş dolaylı enjeksiyon içeriği, kiracı izolasyonu ve belge kaynak doğrulamasıdır.
- Ajan otonomisi. Model artık yalnızca metin üretmiyor; e-posta gönderiyor, veritabanı sorguluyor, başka ajanları tetikliyor. Bu "aşırı yetki" boyutu klasik OWASP Web Test Kılavuzu'nda yoktur.
Bu yüzden şartnamenizin kapsam bölümü, ürettiğiniz sistemin mimarisine göre üç profilden birini net olarak seçmelidir: (1) yalın LLM uç noktası / sohbet asistanı, (2) RAG tabanlı bilgi asistanı, (3) araç kullanan otonom ajan veya çok-ajanlı sistem. Her profil farklı OWASP kümelerini zorunlu kılar. Kapsam profilini belirsiz bırakan bir RFP, tekliflerin fiyat ve gün-adam tahminini karşılaştırılamaz hale getirir.
Bölüm A — LLM katmanı şartname maddeleri (OWASP LLM Top 10 eşlemesi)
Aşağıdaki tablo, teklif belgenizin "Kapsam ve Test Gereksinimleri" bölümüne doğrudan kopyalanabilecek maddeleri ve her birinin hangi OWASP LLM Top 10 (2025) kategorisiyle ilişkili olduğunu gösterir. Türkçe kategori işleyişi için OWASP LLM Top 10 Türkçe rehberimize bakabilirsiniz.
| Şartname maddesi (RFP'ye kopyalayın) | İlgili OWASP LLM kategorisi |
|---|---|
| Doğrudan ve dolaylı prompt injection testleri; en az iki dilde (TR/EN) ve kodlama/obfuskasyon varyantlarıyla yürütülecektir. | LLM01 Prompt Injection |
| Model çıktısının aşağı akış sistemlerine (HTML render, SQL, shell, e-posta) güvenle iletildiği; çıktı doğrulama/temizleme kontrol edilecektir. | LLM05 Uygunsuz Çıktı İşleme |
| Sistem promptu ve gizli talimatların sızdırılabilirliği; savunma "yalnızca sistem promptuyla" çözülmüş sayılmayacaktır. | LLM07 Sistem Promptu Sızıntısı |
| RAG bağlam kaynaklarına yerleştirilmiş dolaylı talimatların (PDF/HTML/e-posta) yürütülüp yürütülmediği test edilecektir. | LLM01 / LLM08 Vektör ve Gömme Zafiyetleri |
| Kişisel veri ve başka kiracıya ait bağlam sızıntısı; KVKK kapsamında PII maskeleme etkinliği doğrulanacaktır. | LLM02 Hassas Bilgi İfşası |
| Aşırı üretim/hizmet reddi ve maliyet tükenmesi (token bombası) senaryoları ölçülecektir. | LLM10 Sınırsız Tüketim |
| Kullanılan temel model ve eklentilerin kaynağı, imzası ve sürüm bütünlüğü değerlendirilecektir. | LLM03 Tedarik Zinciri |
Her maddenin karşısına ayrıca kabul kriteri yazın: örneğin "bilinen prompt injection kalıplarının en az %90'ı engellenecek" yerine ölçülebilir bir eşik ve rapor formatı talep edin. Belirsiz "güvenli olmalı" ifadeleri denetlenemez.
Bölüm B — Ajan katmanı şartname maddeleri (OWASP Agentic Top 10 eşlemesi)
Sisteminiz araç çağıran veya çok-ajanlı bir mimariyse, LLM katmanı maddeleri tek başına yetmez. OWASP'ın Agentic Security Initiative girişimi, 9 Aralık 2025'te yayımlanan ve ASI01:2026 ile ASI10:2026 arasında etiketlenen (yayın tarihi Aralık 2025, sürüm etiketi 2026 olan) bir liste yayımladı; liste ASI01 Agent Goal Hijack (ajan hedef ele geçirme) ile başlar ve ASI10 Rogue Agents (haydut ajanlar) ile biter. Türkçe tedarik dilinde bu kategoriler henüz az işlendiği için aşağıdaki eşleme, şartnameye doğrudan çevrilmiş bir başlangıç sunar. Kavramsal arka plan için AI ajan güvenliği nedir ve en az yetki (least agency) modeli yazılarımıza bakın.
| Şartname maddesi (ajan sistemleri) | İlgili Agentic tehdit kümesi |
|---|---|
| Ajanın hedefinin/görevinin kullanıcı veya harici içerikle saptırılabilirliği (goal hijacking) test edilecektir. | ASI01 Agent Goal Hijack |
| Araç ve eklenti çağrılarının kötüye kullanımı; yetkisiz veya beklenmedik araç tetikleme senaryoları denenecektir. | Araç/eklenti kötüye kullanımı kümesi |
| Aşırı yetki: ajanın verilmesi gerekenden fazla izinle çalışıp çalışmadığı, geri alınamaz eylemlerde onay kapısı olup olmadığı değerlendirilecektir. | Aşırı yetki (excessive agency) kümesi |
| Bellek/oturum zehirlenmesi: uzun ömürlü hafızaya yerleştirilen kötücül içeriğin sonraki turlarda etki edip etmediği ölçülecektir. | Bellek zehirlenmesi kümesi |
| Kimlik ve ayrıcalık sınırları: ajanların birbirine ve alt sistemlere karşı kimlik doğrulaması, ayrıcalık yükseltme yolları test edilecektir. | Kimlik/ayrıcalık kümesi |
| Çok-ajanlı güven sınırları: ajanlar arası mesajların doğrulanması, zincirleme manipülasyon test edilecektir. | Çok-ajanlı güven kümesi |
| Haydut/kontrol dışı ajan davranışı ve tespit/durdurma mekanizmaları gözden geçirilecektir. | ASI10 Rogue Agents |
Not: Yukarıdaki ara kümeler tematik gruplamadır; kesin ASI numara-başlık eşlemesi için tedarikçiden raporunu resmi OWASP Agentic listesinin güncel sürümüne referansla üretmesini isteyin. Model Bağlam Protokolü (MCP) kullanan mimarilerde ayrıca MCP sunucusu güvenlik incelemesi maddelerini ekleyin.
Bölüm C — Test senaryosu ekleri: soyut maddeyi somut saldırıya bağlamak
Bir şartnamenin en zayıf noktası, "prompt injection test edilecektir" gibi maddelerin somut kabul edilebilir yöntem tarif etmemesidir. Bu yüzden RFP'nize her tehdit kategorisi için beklediğiniz saldırı ailelerini ek olarak iliştirin. AltaySec'in açık kaynak llm-red-team-playbook deposu, bu maddeleri tekrarlanabilir test-senaryosu ailelerine bağlar; şartnamenizde tedarikçiden en az şu kalıpları kapsamasını isteyebilirsiniz:
- Çeviri/roleplay bahanesi ile talimat gizleme (bkz. çeviri bahanesi enjeksiyonu ve roleplay tiyatrosu).
- Kademeli nezaket eskalasyonu (crescendo) ve çok turlu ikna.
- Kodlama/obfuskasyon ve dil karıştırma (TR-EN kod karıştırma, morfolojik bypass).
- Dolaylı enjeksiyon: HTML/PDF/e-posta içine gömülü talimatlar.
Türkçe saldırı yüzeyi özellikle önemlidir: birçok ticari filtre İngilizce kalıplarda güçlü olup Türkçe morfoloji ve dil karıştırma karşısında zayıflar. AltaySec'in kendi AltayDuel veri kümesi üzerinden yürüttüğü ölçümlerde, aynı saldırının Türkçe varyantının İngilizce'ye göre belirgin biçimde daha yüksek başarı oranı gösterebildiğini gözlemledik; bu, dil-varyant zorunluluğunun neden şartnameye yazılması gerektiğinin somut gerekçesidir. Şartnamenize "testler yalnızca İngilizce yürütülmeyecektir" maddesini açıkça koyun.
Bölüm D — Metodoloji, teslimat ve kabul kriterleri maddeleri
Teknik kapsam kadar önemli olan, işin nasıl teslim edileceğidir. Şartnamenin bu bölümüne şu maddeleri ekleyin:
- Metodoloji referansı: Test, tanınmış bir çerçeveye (OWASP GenAI test kılavuzu, NIST AI Risk Yönetim Çerçevesi, MITRE ATLAS tehdit taksonomisi) atıfla yürütülecek ve her bulgu ilgili kategoriye eşlenecektir.
- Tekrarlanabilirlik: Her bulgu için tam istek/yanıt kaydı, kullanılan prompt ve tekrar sayısı verilecektir. Deterministik olmayan sonuçlar başarı oranıyla raporlanacaktır.
- Önem derecesi: Bulgular iş etkisi ve sömürülebilirliğe göre derecelendirilecek; "model bazen X yaptı" gibi ölçülemeyen ifadeler kabul edilmeyecektir.
- Yeniden test (retest): Düzeltmelerin doğrulanması için ücretsiz bir yeniden test turu kapsama dahildir.
- Veri işleme ve gizlilik: Test sırasında erişilen üretim verisi, KVKK kapsamında maskelenecek; test verileri iş bitiminde imha edilecektir.
- Sorumlu ifşa: Kritik bulgular rapor bekletmeden bildirilecektir.
Bulguların düzeltilmesi aşamasında, tespit edilen davranışsal açıkları çalışma zamanında sınırlayan bir çalışma zamanı koruma katmanı (LLM güvenlik duvarı / Guardian gibi) devreye almak, aynı sınıftan yeni saldırılara karşı savunmayı kalıcı kılar. Şartnameye "tedarikçi, tespit ettiği her açık sınıfı için önerilen telafi kontrolünü de raporlayacaktır" maddesini ekleyin.
İndirilebilir kontrol listesi: hızlı özet
Aşağıdaki tek sayfalık liste, bir AI pentest RFP'sinde bulunması gereken minimum başlıkları özetler. Belgenize başlık başlık kopyalayabilirsiniz:
- Kapsam profili seçimi (yalın LLM / RAG / ajan-çok-ajan)
- LLM katmanı maddeleri — OWASP LLM Top 10 eşlemesi (Bölüm A)
- Ajan katmanı maddeleri — OWASP Agentic Top 10 / ASI01-ASI10 eşlemesi (Bölüm B)
- Zorunlu saldırı aileleri ve dil-varyant gereksinimi (Bölüm C)
- Metodoloji ve standart referansı (OWASP / NIST AI RMF / MITRE ATLAS)
- Ölçülebilir kabul kriterleri ve önem derecelendirmesi
- Tekrarlanabilirlik, yeniden test ve raporlama formatı
- Veri gizliliği, KVKK maskeleme ve sorumlu ifşa maddeleri
- Telafi kontrolü önerisi zorunluluğu
Bu çerçeveyi bir teklif çağrısına dönüştürmek veya mevcut şartnamenizi OWASP kategorilerine karşı denetlettirmek isterseniz AltaySec ekibiyle iletişime geçebilirsiniz. Testin kendisini planlamadan önce, iç ekibinizin çerçeveyi anlaması için LLM uygulama testi playbook'umuzu ve kurumsal chatbot güvenlik testi rehberini inceleyin.