AI Tedarikçi Risk Değerlendirmesi (TPRM)
40 soruluk vendor güvenlik anketi ve doğrulama rehberi
Bir AI tedarikçisini onaylarken sorduğunuz sorular, yaşayacağınız olayı belirler. Türkçe'de az işlenen bu alan için 40 soruluk somut bir güvenlik anketi ve tedarikçi beyanını bağımsız doğrulama protokolü sunuyoruz.
AI Tedarikçi Risk Değerlendirmesi (TPRM) nedir?
AI tedarikçi risk değerlendirmesi (AI TPRM — Third-Party Risk Management), kuruma yapay zeka veya büyük dil modeli (LLM) yeteneği sağlayan bir üçüncü tarafın güvenlik, gizlilik ve uyum duruşunu; sözleşme imzalanmadan ve sistem üretime alınmadan önce yapılandırılmış biçimde ölçen süreçtir. Klasik tedarikçi denetiminden farkı, değerlendirmenin yalnızca kurumsal olgunluğu (ISO belgesi, veri merkezi, SLA) değil; modelin nereden geldiğini, hangi veriyle eğitildiğini, hangi saldırı sınıflarına karşı test edildiğini ve verinizin çıkarım (inference) sırasında nasıl işlendiğini de kapsamasıdır.
Kısaca: geleneksel TPRM "bu şirkete güvenebilir miyim?" sorusunu sorar; AI TPRM buna "bu modele ve onu çalıştıran boru hattına güvenebilir miyim?" sorusunu ekler. Bir LLM tedarikçisi olgun bir yazılım şirketi olabilir ama kullandığı temel model, ince ayar verisi veya guardrail katmanı sizin risk iştahınızın çok dışında olabilir. Bu iki katmanı ayrı ayrı sorgulamayan bir anket, tedarikçiyi değil yalnızca tedarikçinin pazarlama metnini değerlendirmiş olur.
Neden AI tedarikçileri ayrı bir risk sınıfı?
Standart bir SaaS tedarikçi anketi genellikle veri şifreleme, erişim kontrolü ve iş sürekliliği etrafında döner. Bu sorular gerekli ama bir AI tedarikçisi için yeterli değildir; çünkü modelin kendisi hem saldırı yüzeyi hem de kontrol edilmesi güç bir bileşendir. AI'a özgü risk sınıfları şu başlıklarda toplanır:
- Tedarik zinciri opaklığı: Tedarikçinizin kullandığı temel model, üçüncü bir sağlayıcıdan gelir; onun eğitim verisi ve zafiyetleri sizin görünürlüğünüzün tamamen dışındadır. OWASP'ın LLM tedarik zinciri riski (LLM03) tam olarak bu görünmezliği tarif eder.
- Prompt injection ve guardrail kaçışı: Modele giden metin bir kullanıcı girdisidir; kötü niyetli talimat, veri ile birlikte gelir. Tedarikçinin "güvenlik filtremiz var" beyanı, o filtrenin hangi dilde ve hangi saldırı kalıbında test edildiğini söylemiyorsa boştur.
- Veri kalıcılığı ve sınır ötesi akış: Girdileriniz eğitime karışıyor mu, ne kadar süre saklanıyor, hangi ülkede işleniyor? KVKK açısından bu bir aktarım sorusudur, teknik bir ayrıntı değil.
- Ajan yetkileri: Modele araç (tool) veya API erişimi verildiyse, tedarikçi bu yetkiyi en az ayrıcalık ilkesiyle mi sınırlandırıyor, yoksa geniş bir eylem alanı mı açıyor?
Bu risk sınıflarını ayrı sorgulamayan bir onay süreci, sorunu üretime taşındıktan sonra keşfetmeye mahkûmdur. Türkçe içerikte genel GRC şablonu bol olsa da AI'a özgü, madde madde sorulabilir bir tedarikçi anketi neredeyse hiç bulunmuyor; bu rehberin amacı o boşluğu doldurmak.
40 soruluk AI vendor güvenlik anketi
Aşağıdaki anket yedi kategoriye bölünmüştür. Her soruyu tedarikçiye gönderin ve yanıtı üç durumdan biriyle işaretleyin: Belgeli (kanıt ekli), Beyan (yazılı ama kanıtsız) veya Yok/Bilinmiyor. Yalnızca "Belgeli" yanıtları puanlamaya alın; ilerideki bölümde bu ayrımın neden hayati olduğunu göstereceğiz.
| # | Soru |
|---|---|
| A. Model ve Tedarik Zinciri Şeffaflığı | |
| 1 | Kullandığınız temel model(ler) hangileri ve sağlayıcıları kimler? |
| 2 | Model üzerinde ince ayar / RAG / prompt katmanı var mı; hangi katman size ait? |
| 3 | Model ağırlıkları veya artefaktları için imza/provenance (menşe kanıtı) sunuyor musunuz? |
| 4 | Alt tedarikçileriniz (model, vektör DB, hosting) listesini paylaşır mısınız? |
| 5 | Model sürümü değiştiğinde bizi önceden bilgilendirir ve regresyon testi yapar mısınız? |
| 6 | Açık kaynak bağımlılıklarınız için bilinen zafiyet (CVE) taraması yapıyor musunuz? |
| B. Eğitim Verisi ve Fikri Mülkiyet | |
| 7 | Girdilerimiz model eğitimi/ince ayarında kullanılıyor mu? Varsayılan devre dışı mı? |
| 8 | Eğitim verisi kaynaklarının hukuki temizliğini nasıl güvence altına alıyorsunuz? |
| 9 | Model çıktılarının telif/veri sızıntısı riskine karşı bir denetiminiz var mı? |
| 10 | Zehirlenmiş veri (data poisoning) veya arka kapı riskine karşı hangi kontroller var? |
| 11 | Model kartı / veri kartı gibi şeffaflık dokümanı sağlıyor musunuz? |
| C. Prompt Injection ve Guardrail Savunması | |
| 12 | Prompt injection ve jailbreak'e karşı hangi savunma katmanlarınız var? |
| 13 | Guardrail'leriniz hangi dillerde test edildi? Türkçe dahil mi? |
| 14 | Bağımsız bir kırmızı takım (red team) değerlendirmesinden geçtiniz mi? Rapor var mı? |
| 15 | Dolaylı injection (belge/e-posta/PDF içinden) için özel savunmanız var mı? |
| 16 | Guardrail'lerin aşırı-red (meşru isteği engelleme) oranını ölçüyor musunuz? |
| 17 | Sistem promptu sızdırma testlerinize karşı nasıl korunuyorsunuz? |
| 18 | Yeni saldırı kalıpları için guardrail güncelleme döngünüz nedir? |
| D. Veri Gizliliği, KVKK ve Sınır Ötesi Akış | |
| 19 | Verilerimiz hangi ülke/bölgede işleniyor ve saklanıyor? |
| 20 | KVKK açısından veri işleyen sıfatınızı ve yükümlülüklerinizi nasıl karşılıyorsunuz? |
| 21 | Kişisel veri maskeleme / PII redaksiyonu çıkarım öncesi uygulanıyor mu? |
| 22 | Veri saklama süreniz nedir ve silme talebini nasıl işliyorsunuz? |
| 23 | Loglarda prompt/çıktı içeriği tutuluyor mu; erişim nasıl kısıtlı? |
| 24 | Alt işleyen değişikliğinde ve sınır ötesi aktarımda önceden onay alır mısınız? |
| 25 | Veri işleme sözleşmesi (DPA) ve gizlilik ekleri sağlıyor musunuz? |
| E. Kimlik, Erişim ve Ajan Yetkileri | |
| 26 | Modele araç/API erişimi verildiyse yetkiler en az ayrıcalık ilkesiyle mi sınırlı? |
| 27 | Çok kiracılı (multi-tenant) mimaride kiracı izolasyonunu nasıl sağlıyorsunuz? |
| 28 | Yönetim ve API erişiminde çok faktörlü kimlik doğrulama zorunlu mu? |
| 29 | Ajan eylemleri için insan onayı (human-in-the-loop) eşikleriniz var mı? |
| 30 | Anahtar/kimlik bilgisi rotasyonu ve sır yönetimi nasıl yapılıyor? |
| F. İzlenebilirlik, Loglama ve Olay Müdahale | |
| 31 | Prompt/çıktı düzeyinde denetlenebilir iz (audit trail) tutuyor musunuz? |
| 32 | Anormal kullanım/saldırı tespiti için gerçek zamanlı izlemeniz var mı? |
| 33 | Güvenlik olayı bildirim süreniz (SLA) nedir? |
| 34 | Bir olayı bize hangi kanaldan ve hangi ayrıntıyla raporlarsınız? |
| 35 | Olay sonrası kök neden analizi ve düzeltme kanıtı paylaşır mısınız? |
| G. Uyum, Sertifikasyon ve Sözleşme | |
| 36 | Hangi güvenlik/uyum çerçevelerine (NIST AI RMF, ISO 42001, ISO 27001) hizalısınız? |
| 37 | Bağımsız denetim veya penetrasyon test raporunuzu paylaşır mısınız? |
| 38 | Sözleşmede güvenlik denetimi/yerinde inceleme hakkı tanıyor musunuz? |
| 39 | Sorumluluk ve tazminat maddeleri AI'a özgü riskleri (halüsinasyon, sızıntı) kapsıyor mu? |
| 40 | Sözleşme sonu veri iadesi/imhası ve model erişiminin kesilmesi nasıl işliyor? |
Bu 40 soruyu bir onay kapısı olarak kullanın: kritik kategorilerde (C, D, F) "Yok/Bilinmiyor" yanıtı, düzeltilene kadar üretim onayını bloklamalıdır.
Beyana güvenme, test et: bağımsız doğrulama protokolü
Anketin en zayıf noktası basittir: tedarikçi soruları yanıtlar, siz de kelimelere güvenirsiniz. Oysa güvenlik iddiaları en kolay abartılan iddialardır. Özellikle 13. soruyu (guardrail'ler Türkçe'de test edildi mi?) yazılı bir "evet" ile geçen tedarikçilerin çoğunda bu "evet" doğrulanabilir bir ölçüme dayanmaz.
Bunu neden bu kadar vurguluyoruz? AltaySec'in kendi guardrail-arena ölçümünde — iki eksenli, Türkçe ve İngilizce guardrail kıyaslama düzeneğimiz — vendor guardrail katmanlarının Türkçe saldırıların yaklaşık %83'ünü kaçırdığını, buna karşın meşru istekleri engelleme (aşırı-red) oranının %25 ile %70 arasında savrulduğunu gözlemledik. Bu rakamlar bizim iç ölçüm verimizdir, endüstri geneli bir gerçek değil; ancak açık bir örüntüye işaret ediyor: İngilizce'de makul görünen bir guardrail, Türkçe morfolojik varyasyon ve kültürel bağlam saldırılarında sessizce çöküyor ve bu boşluk tedarikçinin pazarlama metninde asla görünmüyor.
Sonuç net: güvenlik beyanı bir kabul kriteri değil, doğrulanacak bir hipotezdir. Uyguladığımız üç adımlı doğrulama protokolü şudur:
- Beyanı somut teste indir: "Prompt injection'a karşı korumalıyız" ifadesini, tedarikçinin sisteminde sizin belirlediğiniz saldırı kalıplarıyla denenebilecek bir kabul testine çevirin. Türkçe kalıpları mutlaka dahil edin — çünkü kaçış çoğunlukla orada oluyor.
- Kontrollü tarama yap: AltaySec Scanner (v2.6) gibi bir Türkçe LLM zafiyet tarayıcısıyla, tedarikçinin izin verdiği bir test ortamında sınırlı ama tekrarlanabilir bir tarama çalıştırın. Not: Scanner belirli payload kütüphanesiyle çalışan sınırlı kapsamlı bir araçtır; bir kırmızı takım değerlendirmesinin yerini tutmaz, ancak beyanla gerçek arasındaki ilk uçurumu görünür kılar.
- Farkı belgele ve tekrarla: Testin engellediği ve kaçırdığı vakaları kanıtla kaydedin; bunu sözleşmeye "kabul kriteri" olarak gömün ve model sürümü değiştiğinde (5. soru) tekrarlayın.
Bu protokolün ürünleşmiş hali, çalışma zamanında girdi ve çıktıyı denetleyen bir LLM güvenlik duvarıdır; AltaySec tarafında bunu Guardian ile sağlıyoruz. Ama araç ikincildir; asıl disiplin, tedarikçiyi "belgeli" yanıt vermeye zorlamak ve her kritik beyanı bağımsız bir ölçümle karşılamaktır.
Anketi puanlama ve karar eşiği
40 soru ancak bir karar kuralına bağlanırsa değerlidir. Önerdiğimiz yalın puanlama modeli üç seviyelidir ve kanıt düzeyini ödüllendirir:
| Yanıt türü | Puan | Anlamı |
|---|---|---|
| Belgeli (kanıt ekli) | 2 | Beyan bağımsız olarak doğrulanabilir |
| Beyan (kanıtsız) | 1 | Yazılı taahhüt var, doğrulanmadı |
| Yok / Bilinmiyor | 0 | Boşluk; risk kabulü gerektirir |
Toplam puanı yorumlamadan önce iki kural uygulayın:
- Kritik kapı soruları: C, D ve F kategorilerindeki soruların hiçbiri 0 olamaz. Buradaki tek bir "Yok" yanıtı, toplam puan yüksek olsa bile onayı bloklar — çünkü guardrail, veri gizliliği ve olay müdahalesi telafisi olmayan alanlardır.
- Doğrulama çarpanı: Bağımsız test (yukarıdaki protokol) yapılmadıysa, tüm "Belgeli" yanıtları geçici olarak "Beyan" seviyesine indirin. Puan yalnızca ölçümle sabitlenir.
Eşik örneği: 80 üzerinden 60'ın altı "onaylama"; 60-72 "koşullu onay + düzeltme planı"; 72 üstü ve tüm kritik kapılar geçilmişse "onay". Bu sayıları kurumunuzun risk iştahına göre kalibre edin; önemli olan eşiğin önceden ve yazılı olmasıdır, aksi halde değerlendirme tedarikçiyle pazarlığa döner.
Sözleşmeye gömme ve sürekli izleme
Tek seferlik bir anket, imza gününün fotoğrafıdır; model bir hafta sonra güncellenip güvenlik profilini değiştirebilir. AI TPRM'i canlı tutmak için anketin çıktılarını iki yere bağlayın:
- Sözleşme maddelerine: Kritik yanıtları (girdinin eğitime kullanılmaması, sürüm değişikliği bildirimi, olay bildirim SLA'sı, denetim hakkı, veri iadesi) taahhüt olarak sözleşmeye yazın. Beyan sözleşmede yoksa hukuken yoktur.
- Yönetişim döngüsüne: Tedarikçiyi yıllık değil, sürüm-tetikli yeniden değerlendirin. Bir AI yönetişim komitesi bu tekrarları sahiplenmeli; model imzalama ve menşe kontrolü için provenance disiplinini, dış model kaynaklı riskler için model hub tedarik zinciri incelemesini sürece bağlayın.
Özetle iyi bir AI tedarikçi değerlendirmesi üç şeyi bir arada yapar: doğru soruları sorar (40 madde), yanıtı kanıt düzeyine göre puanlar (kritik kapılar) ve her kritik beyanı bağımsız bir ölçümle test eder (beyana güvenme, test et). Bu üçlü olmadan anket, tedarikçinin kendini değerlendirdiği bir forma indirgenir. Kurumsal bir doğrulama turuna ihtiyaç duyarsanız bizimle iletişime geçebilirsiniz.
Kaynaklar
- OWASP Top 10 for LLM Applications — LLM03: Supply Chain
- NIST AI Risk Management Framework (AI RMF 1.0)
- NIST SP 800-161r1 — Cybersecurity Supply Chain Risk Management Practices
- MITRE ATLAS — Adversarial Threat Landscape for AI Systems (Matrices)
- AltaySec guardrail-arena — Türkçe/İngilizce guardrail kıyaslama veri seti (Hugging Face)
