LLM Adli Analizi: Yapay Zeka Olayı Sonrası İnceleme Rehberi
Prompt-yanıt artefakt zinciri ve delil-değeri tablosu

LLM Adli Analizi Nedir?

LLM adli analizi (LLM forensics), bir dil modeli tabanlı sistemde güvenlik olayı ya da politika ihlali yaşandıktan sonra; prompt geçmişi, system prompt, tool-call kayıtları, embedding/RAG sorguları ve guardrail kararları gibi standartlaşmamış artefaktları toplayıp, bütünlüğünü koruyarak inceleyen ve saldırının adım adım seyrini yeniden kuran disiplindir. Klasik dijital adli analizden farkı, incelenen kanıtın büyük ölçüde dosya sistemi imajı değil; uygulama katmanında üretilen, geçici (ephemeral) ve çoğu zaman kısmen kaydedilen etkileşim izleri olmasıdır.

Bu alanın gerçekliğine dair akademik temel giderek güçleniyor. Dijital adli analizin LLM çağıyla kesişimini ele alan "Digital Forensics in the Age of Large Language Models" çalışması (arXiv 2504.02963) alanın olgunlaştığını gösterirken; yerel LLM çalıştırıcılarının artefakt analizini konu alan çalışma (arXiv 2603.23996) ve AutoGen benzeri ajan çerçevelerinin adli incelemesini ele alan ACM yayını, LLM tabanlı sistemlerin bıraktığı izlerin adli incelenebilir olduğunu doğrudan ortaya koyuyor. SANS'ın FOR563 gibi eğitim programları da bu ihtiyacın kurumsallaştığının işareti. Yerel olarak çalıştırılan modellerde ise (Ollama, LM Studio) prompt geçmişi, indirilen model dosyaları, yapılandırma ve etkinlik logları birincil delil kaynağı hâline geliyor.

Neden Klasik Adli Analiz Yetmez?

Geleneksel olay müdahalesinde delil çoğunlukla kalıcıdır: disk, bellek dökümü, ağ paketi. LLM olaylarında ise delilin doğası üç noktada farklılaşır:

• Geçicilik: Bir sohbet oturumu, bağlam penceresi (context window) dolduğunda ya da oturum kapandığında kısmen ya da tamamen kaybolabilir. Kaydedilmeyen prompt, geri getirilemez.
• Katmanlılık: Tek bir kullanıcı mesajı; system prompt ile birleştirilir, RAG katmanında embedding sorgusuna dönüşür, tool-call üretir ve guardrail'den geçer. Delil bu katmanlara dağılmıştır.
• Türetilmiş yanıt: Modelin çıktısı olasılıksaldır; aynı prompt farklı yanıtlar üretebilir. Bu yüzden "neden bu yanıt üretildi?" sorusu, girdi bağlamının eksiksiz yeniden kurulmasını gerektirir.

Türkçe kaynaklarda LLM forensics neredeyse hiç işlenmemiş bir alandır. Prompt injection, jailbreak ve veri sızıntısı üzerine giderek zenginleşen bir Türkçe literatür oluşurken; olay sonrasında ne yapılacağını, hangi izin delil değeri taşıdığını anlatan bir kaynak açığı sürüyor. Bu rehber o açığı doldurmayı hedefliyor.

Prompt-Yanıt Artefakt Zinciri

İncelemeyi rastgele log okumaktan kurtarmak için, olayı üreten etkileşimi sıralı bir zincir olarak modellemeyi öneriyoruz. Prompt-yanıt artefakt zinciri, AltaySec'in bu rehber kapsamında tanımladığı özgün bir çerçevedir; dış bir standart değil, gerçek log tiplerine dayanan pratik bir toplama sırasıdır. Amaç, tek bir olayı uçtan uca yeniden kurabilmektir:

1. Girdi katmanı: Ham kullanıcı promptu + system prompt + varsa geçmiş bağlam (oturum durumu).
2. Bağlam zenginleştirme: RAG/vektör veritabanı embedding sorgusu ve dönen belge parçaları (chunk). Dolaylı enjeksiyonun sıklıkla giriş yaptığı katman.
3. Karar katmanı: Guardrail/filtre kararı (izin verildi mi, bloklandı mı, hangi kural tetiklendi).
4. Eylem katmanı: Model tarafından üretilen tool-call / fonksiyon çağrısı ve parametreleri.
5. Çıktı katmanı: Kullanıcıya dönen nihai yanıt ve varsa gerçekleşen yan etki (dış API çağrısı, veri yazımı).

Bu beş halkanın her biri ayrı bir log kaynağında oturur. Adli incelemede işin özü, aynı olay kimliği (trace/correlation ID) etrafında bu halkaları birleştirip zaman çizelgesini kurmaktır. Halkalardan biri kaydedilmiyorsa, orada bir görünürlük boşluğu vardır ve bu boşluk raporda açıkça belirtilmelidir.

Hangi Loglar Delil Değeri Taşır?

Aşağıdaki tablo, gerçek LLM log tiplerini delil değeri ve tipik kayıt sorunları açısından karşılaştırır. Delil değeri, o kaydın olayı kanıtlamadaki belirleyiciliğini; bütünlük riski ise kaydın eksik/değiştirilebilir olma ihtimalini ifade eder.

Kritik çıkarım şudur: en yüksek delil değeri taşıyan katmanlar (embedding sorgusu, guardrail'in "izin verdi" kararı) çoğu üretim sisteminde varsayılan olarak loglanmaz. Adli hazırlık, olay olmadan önce bu kayıtları açmakla başlar.

Adım-Adım İnceleme Prosedürü ve Checklist

Aşağıdaki akış, prompt-yanıt artefakt zincirini bir olay müdahale prosedürüne dönüştürür. Bu listeyi olduğu gibi bir inceleme checklist'i olarak kullanabilirsiniz; liste AltaySec'in kendi geliştirdiği bir çerçevedir, dış bir standardın kopyası değildir.

1. Kapsam ve dondurma: Etkilenen model, uç nokta ve zaman aralığını belirle. Log rotasyonunu geçici olarak durdur ki deliller silinmesin.
2. Olay kimliğini yakala: Şüpheli oturumun trace/correlation ID'sini bul. Zincirin tüm halkalarını bu kimlik etrafında toplayacaksın.
3. Girdi katmanını topla: Ham prompt, etkin system prompt sürümü ve oturum geçmişini kopyala. Hash'ini al.
4. Bağlamı topla: RAG embedding sorgusunu ve dönen belge parçalarını çıkar. Dolaylı enjeksiyon şüphesinde kaynak belgeyi izole et.
5. Karar ve eylem katmanı: Guardrail kararını (kural kimliği dâhil) ve üretilen tüm tool-call'ları parametreleriyle topla.
6. Çıktıyı ve yan etkiyi eşle: Nihai yanıtı ve gerçekleşen dış eylemleri (API çağrısı, veri değişikliği) zaman çizelgesine yerleştir.
7. Zaman çizelgesini kur: Beş halkayı kronolojik olarak diz. Boşlukları "kayıt yok" olarak işaretle; boşluğu doldurma, belgele.
8. Hipotezi test et: "Bu yanıt hangi girdi bağlamıyla üretildi?" sorusunu topladığın artefaktlarla yanıtla. Gerekirse kontrollü ortamda tekrar üretmeyi dene.
9. Bütünlüğü mühürle: Tüm artefaktların hash'lerini ve toplama zamanlarını bir delil kaydına yaz.
10. Raporla ve düzelt: Bulguyu, kök nedeni ve savunma iyileştirmesini (yeni guardrail kuralı, log açma) belgele.

Bu akış, daha geniş olay müdahale sürecinin LLM'e özgü katmanıdır; klasik adımlarla bütünleştirmek için AI olay müdahale playbook'u ile birlikte okunmasını öneririz.

Delil Bütünlüğü, Zincir-Kontrolü ve KVKK

Toplanan artefaktın hukuki ya da kurumsal olarak savunulabilir olması, delil bütünlüğüne bağlıdır. Üç ilke belirleyicidir:

• Değiştirilemezlik: Logları toplarken orijinali okuma amaçlı bırak, kopya üzerinde çalış. Her artefaktın kriptografik hash'ini toplama anında al ki sonradan değişmediği kanıtlanabilsin.
• Zincir-kontrolü (chain of custody): Kimin, ne zaman, hangi kaynaktan neyi topladığını kaydet. Bu, NIST SP 800-86'nın adli süreç ilkeleriyle örtüşür ve LLM artefaktlarına da uygulanabilir.
• Zaman senkronizasyonu: Farklı katmanların logları farklı servislerden gelir; saat kaymaları zaman çizelgesini bozar. Toplama öncesi saat kaynaklarını doğrula.

Bir ince nokta: prompt ve tool-call kayıtları çoğu zaman kişisel veri içerir. Delil toplarken bu veriyi ham hâliyle çoğaltmak, KVKK açısından yeni bir işleme ve sızıntı yüzeyi yaratır. Bu yüzden delil kayıtlarında maskeleme ve erişim kısıtı esastır; bu dengeyi gizlilik-korumalı güvenlik telemetrisi yaklaşımıyla kurmak mümkün. Delil değeri ile mahremiyet arasındaki gerilim, LLM forensics'in en hassas kararıdır.

Adli Hazırlık: Loglamayı Olaydan Önce Kurmak

LLM adli analizinin en acı dersi şudur: inceleme kalitesi, olay anında değil, olaydan önce açılmış loglarla belirlenir. Kaydedilmemiş bir embedding sorgusunu ya da düşürülen bir guardrail kararını hiçbir uzmanlık geri getiremez. Bu yüzden adli hazırlık bir tespit mühendisliği işidir; ayrıntı için LLM tespit mühendisliği ve GenAI sistem keşfi kanıt kategorileri yazılarına bakılabilir.

AltaySec tarafında bu hazırlığı besleyen üç varlık öne çıkıyor:

• Guardian denetim logları: Guardian (LLM güvenlik duvarı), karar katmanını kayıt altına alır; yani "izin verildi" kararları da dâhil guardrail çıktısını, tetiklenen kural kimliğiyle birlikte tutar. Bu, delil-değeri tablosunda en çok düşen halkayı doğrudan kapatır.
• prompt-injection-detection-rules: Enjeksiyon kalıplarını eşleyen kural seti, bir olayı incelerken "hangi bilinen kalıp tetiklendi?" sorusunu hızla yanıtlar ve zaman çizelgesine anlam katar.
• llm-red-team-playbook: Kontrollü tekrar-üretim adımında, saldırının nasıl işlediğini güvenli ortamda yeniden oluşturmak için başvurulan saldırı kataloğudur.

Bu varlıklara ilişkin sayısal iddialar AltaySec'in kendi ölçümleridir; genel bir gerçek olarak değil, iç telemetri olarak okunmalıdır. Adli hazırlık kurulumunu kendi sisteminize uyarlamak için bizimle iletişime geçebilirsiniz.

Sonuç: Görünmeyen Deliller Görünür Kılınmalı

LLM adli analizi, klasik dijital adli analizin bir uzantısı değil; geçici, katmanlı ve olasılıksal delil üzerine kurulu yeni bir pratiktir. İncelemenin başarısı üç şeye bağlıdır: doğru katmanların olaydan önce loglanması, prompt-yanıt artefakt zincirinin eksiksiz kurulması ve bütünlüğün kriptografik olarak mühürlenmesi.

Türkçe'de bu alan henüz kanıtı ölçülmemiş bir boşluk; bu rehberin sunduğu artefakt zinciri, delil-değeri tablosu ve inceleme checklist'i, kurumların bir yapay zeka olayının ardından "ne oldu?" sorusuna savunulabilir bir yanıt verebilmesi için pratik bir başlangıç noktasıdır. Bir sonraki adım, kendi sisteminizde hangi zincir halkasının kaydedilmediğini bugün tespit etmektir.

Kaynaklar

• Digital Forensics in the Age of Large Language Models (arXiv 2504.02963)
• Forensic Implications of Localized AI: Artifact Analysis of Ollama, LM Studio, and llama.cpp (arXiv 2603.23996)
• LLM-driven Provenance Forensics for Threat Investigation and Detection (arXiv 2508.21323)
• Forensic Analysis of AutoGen Multi-Agent Artifacts (ACM DL 10.1145/3664476.3670908)
• NIST SP 800-86: Guide to Integrating Forensic Techniques into Incident Response
• OWASP Top 10 for LLM Applications

İlgili Yazılar

• AI Olay Müdahale Playbook'u
• LLM Tespit Mühendisliği
• GenAI Sistem Keşfi: Dokuz Kanıt Kategorisi
• Gizlilik-Korumalı AI Güvenlik Telemetrisi