RAG ve MLSecOps Araç Yığını 2026: 20 Açık Kaynak Araç
Vektör güvenliği, guardrail ve red-team otomasyonu için yedi kapılı yığın haritası

RAG ve MLSecOps araç yığını nedir?

MLSecOps araç yığını, bir yapay zeka / büyük dil modeli (LLM) uygulamasının yaşam döngüsündeki güvenlik görevlerini — keşif, tedarik zinciri denetimi, red-team testi, çalışma zamanı savunması, RAG/vektör izolasyonu, sürekli değerlendirme ve izleme — kapsayan açık kaynak araçların düzenli birleşimidir. Tek bir "AI güvenlik aracı" yoktur; her araç yaşam döngüsünün belirli bir kapısına oturur ve bu kapılar boru hattı gibi zincirlendiğinde, geleneksel yazılımdaki SecDevOps'un LLM karşılığı olan MLSecOps ortaya çıkar. RAG (retrieval-augmented generation) mimarileri bu haritaya iki ek risk katmanı ekler: vektör veritabanındaki gömülü içerik (OWASP LLM08) ve harici belgelerden gelen dolaylı prompt injection.

Bu yazının çıktısı, 20 aracı yedi kapıya yerleştiren, her araç için Türkçe desteğinin bizzat test edilerek (vendor iddiası kopyalanmadan) işaretlendiği, CI'a takılabilirlik ve olgunluk notu taşıyan bir referans tablodur. Amaç bir "en iyi araç" sıralaması değil; hangi boşluğu hangi aracın kapattığını gösteren bir kombinasyon haritası.

Yedi kapı: yaşam döngüsü haritası

Bir LLM uygulamasını üretime taşırken saldırı yüzeyi tek noktada değil, zincir boyunca dağılır. Yığını yedi kapıya bölmek, hangi kapının boş kaldığını görünür kılar:

1. Keşif ve envanter: Ajan yapılandırmaları, MCP tanımları, skill/kural dosyaları — görünmez talimatlar ve aşırı yetki burada gizlenir.
2. Tedarik zinciri denetimi: Model dosyaları (pickle), veri setleri ve bağımlılıklar; poisoning ve serileştirme istismarları (OWASP LLM03, LLM04).
3. Red-team otomasyonu: Prompt injection, jailbreak, sistem promptu sızdırma ve toksisitenin ölçekli, tekrarlanabilir testi (OWASP LLM01, LLM07).
4. Guardrail / runtime savunma: Girdi/çıktı süzme, politika zorlama, güvenlik sınıflandırıcıları — çalışma anında.
5. RAG ve vektör güvenliği: Belge sanitizasyonu, tenant izolasyonu, PII maskeleme, gömülü içerik zayıflıkları (OWASP LLM02, LLM08).
6. Değerlendirme ve CI: Regresyon testi — her model/prompt değişikliğinde güvenlik seviyesinin düşmediğini kanıtlama.
7. İzleme ve yanıt: Üretimde telemetri, iz kaydı, anomali tespiti ve olay müdahalesi.

Kapıları isimlendirmenin faydası şudur: çoğu ekip 3. ve 4. kapıya (test ve guardrail) yatırım yapar, ama 1., 5. ve 7. kapıları boş bırakır — ve gerçek olaylar çoğunlukla bu boşluklardan gelir.

20 araçlık yığın haritası

Aşağıdaki tablo 20 açık kaynak aracı yedi kapıya yerleştirir. Türkçe (bizzat test) kolonu AltaySec'in kendi elle denemesini yansıtır: evet = Türkçe içerik/desen yerleşik ve çalıştığı doğrulandı; kısmi = dil-nötr çekirdek + Türkçe test seti eklenebilir ama yerleşik Türkçe içerik yok; dil-nötr = araç ikili/telemetri üzerinde çalışır, dil kavramı uygulanmaz. Test edilmeyen hiçbir araca "evet" verilmedi.

Sonuç net: dış araçların büyük çoğunluğu ya dil-nötr (ikili/telemetri) ya da kısmi (Türkçe test setini siz eklerseniz çalışır). Yerleşik Türkçe içerik/desen taşıyan araçlar, çoğunlukla Türkçe ekosistem için özel geliştirilmiş olanlardır. Bu, kolonun en dürüst ve en işe yarar bulgusudur.

garak, promptfoo ve PyRIT: red-team otomasyon çekirdeği

Üçüncü kapı — red-team otomasyonu — çoğu yığının kalbidir ve üç araç bu katmanı domine eder. Farkları anlamak, yanlış aracı doğru işe koşmaktan korur.

NVIDIA garak, artık NVIDIA tarafından steward edilen bir LLM zafiyet tarayıcısıdır: 37+ probe modülüyle prompt injection, veri sızıntısı, toksisite ve jailbreak gibi bilinen zafiyet ailelerini bir hedef modele karşı otomatik sürer. Nmap benzeri bir mantıkla çalışır — "bu modelde şu bilinen zaafın izi var mı?" sorusuna cevap verir.

promptfoo ise bir zafiyet ve değerlendirme koşucusudur: 50+ zafiyet tipini kapsar, RAG ve ajan senaryolarını, CI/CD entegrasyonunu doğrudan hedefler. Güçlü yanı, kendi test setinizi (örneğin Türkçe payload'lar) tanımlayıp bunu bir birim testi gibi her sürümde koşabilmenizdir. garak "bilinenleri tara" derken, promptfoo "benim uygulamamın senaryolarını her build'de doğrula" der.

Microsoft PyRIT bir çerçevedir; hazır bir tarayıcı değil, saldırı otomasyonu kurmak için bir kütüphanedir. Ayırt edici gücü çok turlu saldırı orkestrasyonudur: crescendo (kademeli nezaket eskalasyonu) ve TAP (Tree of Attacks with Pruning) gibi teknikleri tek-atışlık değil, konuşma boyunca uygular. Ajan ve çok turlu senaryoları test ediyorsanız, garak/promptfoo'nun tek-atışlık taramasının ötesine geçmek için PyRIT öne çıkan seçenektir.

Pratik reçete: garak ile geniş yüzeyi hızlı tara, promptfoo ile uygulamaya özel (ve Türkçe) senaryoları CI'a bağla, PyRIT ile çok turlu / crescendo saldırılarını derinlemesine sına. Bu üçü rakip değil, tamamlayıcıdır. Red-team otomasyonunun güvenilirliğini ölçek ve tekrarlanabilirlik üzerinden ele aldığımız red-team otomasyonu güvenilirlik mühendisliği yazısı bu katmanı derinleştirir.

RAG ve vektör güvenliği katmanı

RAG mimarileri klasik LLM saldırı yüzeyine iki yeni cephe ekler ve beşinci kapı tam da bunları kapatır. Birincisi dolaylı prompt injection: getirilen belgenin içine gömülü talimatlar, kullanıcı hiç yazmadan modele komut verir (OWASP LLM01'in en sinsi çeşidi). İkincisi vektör ve gömme zayıflıkları (OWASP LLM08): tenant izolasyonu kırıldığında bir kullanıcının vektör deposundaki içerik başka bir kullanıcıya sızabilir.

Bu katmanda üç savunma hattı çalışır. Belge sanitizasyonu ve girdi süzme için LLM Guard gibi araçlar getirilen içeriği modele vermeden önce tarar. PII maskeleme için Microsoft Presidio, kişisel verileri tespit edip maskeler — ancak Türkçe için hazır bir tanıyıcı gelmez; TCKN, IBAN ve Türkçe ad-soyad kalıpları için özel tanıyıcı yazmanız gerekir (bunu kolonunda "kısmi" olarak işaretledik). Tenant izolasyonu ise araçtan çok mimari bir disiplindir: her sorguyu tenant kimliğiyle filtrelemek ve bunu test etmek. Bu konuyu RAG tenant izolasyonu ve RAG güvenlik izleme yazılarında ele aldık.

Kritik uyarı: PII maskeleme ve KVKK uyumu, İngilizce merkezli araçların en zayıf kaldığı yerdir. Türkçe kişisel veri kalıpları yerleşik gelmediğinden, "araç PII'yi maskeliyor" iddiası Türkçe metinde çoğu zaman yanlış güvenlik hissi verir — bu yüzden bu kolonu vendor beyanına göre değil, elle test ederek doldurduk.

Türkçe destek kolonunu neden bizzat test ettik

Araç listelerinin en yaygın hatası, vendor'ın "çok dilli" iddiasını olduğu gibi tabloya kopyalamaktır. "Çok dilli" çoğu zaman "model teknik olarak Türkçe girdi kabul eder" demektir; "Türkçe saldırıları ve Türkçe PII'yi güvenilir yakalar" demek değildir. İkisi arasındaki fark, üretimdeki güvenlik açığının tam olarak yaşadığı yerdir.

AltaySec'in kendi ölçümleri bu farkı somutlaştırıyor. guardrail-arena (AltaySec'in açık, iki-eksenli EN+TR guardrail ölçütü) ile yaptığımız iç ölçümde, İngilizce'de iyi çalışan jailbreak sınıflandırıcılarının Türkçe girdilerin önemli bir kısmını kaçırdığını, buna karşılık bazı guardrail'lerin Türkçe'de aşırı-red (over-refusal) uçurumuna düştüğünü gözlemledik. Bu bulguları sektörel evrensel gerçek olarak değil, açıkça AltaySec'in kendi ölçümü olarak sunuyoruz; rakamlar araç sürümüne, seçilen sete ve eşiklere göre değişir ve yığın haritasının amacı bu ölçümü herkesin kendi setinde tekrarlayabilmesidir. guardrail-arena tam olarak bunun için açık kaynak: iddiayı değil, yöntemi paylaşıyoruz.

Bu deneyimi NVIDIA garak ve promptfoo'ya sunduğumuz katkılarla da pekiştirdik — Türkçe casefold/normalizasyon ve çok dilli davranış üzerine gönderdiğimiz iyileştirmeler, "dış araç + Türkçe eksen" birleşiminin gerçekten nerede kırıldığını doğrudan gösterdi. Bu yüzden tablodaki Türkçe kolonu bir pazarlama özeti değil, elle test edilmiş bir denetim notudur.

Yığını CI'a bağlamak: dürüst kurulum reçetesi

Yirmi aracı aynı anda kurmak gerekmez — hatta zararlıdır. Kademeli bir boru hattı, hem sürdürülebilir hem de her kapının gerçekten çalıştığını kanıtlar. Minimal ama tam bir MLSecOps zinciri şöyle görünür:

# 1) Keşif — ajan/skill yapılandırmasını denetle
uncloak scan ./ --format sarif > uncloak.sarif
lethal-trifecta-lint ./agents/

# 2) Tedarik zinciri — model + veri seti
modelscan -p ./models/
hf-dataset-scan ./data/ --ci

# 3) Red-team — Türkçe senaryolar dahil
promptfoo eval -c redteam.yaml   # TR payload setinizi buraya koyun
garak --model_type openai --probes promptinject,leakage

# 4) Değerlendirme kapısı — regresyonda build'i kes
deepeval test run tests/security/

Üç dürüstlük ilkesi: (1) Her araç bir kapıya karşılık gelmeli — aynı kapıya iki araç koyup diğer beş kapıyı boş bırakmak yanlış güven verir. (2) Türkçe test setini siz sağlamalısınız; dış araçların çoğu dil-nötr veya kısmi olduğu için, Türkçe payload ve Türkçe PII kalıpları olmadan yığın Türkçe saldırıları göremez. (3) CI kapısı yalnızca yeni regresyonda kırılmalı — mevcut bilinen zaafları build'i sürekli kırarak gürültüye boğmak yerine bir kabul eşiği (baseline) tanımlayın.

Çalışma zamanında bu test yığınının tamamlayıcısı bir runtime savunma katmanıdır. Bir LLM güvenlik duvarının (Guardian gibi) girdi/çıktı süzmeyi üretimde nasıl uyguladığını ve seçim kriterlerini AI firewall seçim rehberi ile runtime LLM guardrail'leri yazılarında inceledik.

Sonuç: harita, tek bir araç değil

2026'da soru "hangi LLM güvenlik aracı en iyisi?" değil; "yedi kapımdan hangisi boş, ve o boşluğu hangi araç kombinasyonu kapatıyor?" sorusudur. NVIDIA garak, promptfoo ve Microsoft PyRIT red-team çekirdeğini; Presidio, NeMo Guardrails, Llama Guard ve LLM Guard savunma katmanını; Phoenix ve Langfuse izleme kapısını kurar. AltaySec tarafında ise awesome-turkish-ai-security küratörlü giriş noktasını, hf-dataset-scan veri kapısını, lethal-trifecta-lint keşif kapısını, prompt-injection-detection-rules hafif guardrail'i ve guardrail-arena Türkçe eksenli değerlendirmeyi ekler.

Bu harita, dış araçların yerini almaz — onları Türkçe ekosistemin gerçek saldırı yüzeyiyle birleştirir. Ve en değerli kolon, en zor doldurulanıdır: Türkçe desteği, iddiaya değil teste dayanan tek kolon. Kendi yığınınızı kurarken de aynı disiplini öneriyoruz — bir aracın Türkçe'de çalıştığını görmeden "çalışıyor" demeyin.

Kaynaklar

• promptfoo vs garak: LLM red teaming araçları karşılaştırması
• NVIDIA garak — LLM zafiyet tarayıcısı (GitHub)
• Microsoft PyRIT — Python Risk Identification Tool (GitHub)
• OWASP Top 10 for LLM Applications (2025)
• MITRE ATLAS — Adversarial Threat Landscape for AI Systems
• NIST AI Risk Management Framework (AI RMF 1.0)
• Microsoft Presidio — PII tespit ve maskeleme (GitHub)
• NVIDIA NeMo Guardrails (GitHub)
• Protect AI LLM Guard — girdi/çıktı süzme (GitHub)
• awesome-turkish-ai-security — küratörlü Türkçe YZ güvenlik listesi
• guardrail-arena — iki eksenli EN+TR guardrail ölçütü (AltaySec, GitHub)
• hf-dataset-scan — veri setinde gizli injection tarayıcı (AltaySec, GitHub)

İlgili Yazılar

• AI Red-Team Otomasyonu: Güvenilirlik Mühendisliği
• RAG Tenant İzolasyonu ve Vektör Veritabanı Güvenliği
• Runtime LLM Guardrail'leri
• Yapay Zeka Güvenlik Duvarı (AI Firewall) Seçim Rehberi