Yapay Zeka Ajanları Kontrolden Çıktığında Nasıl Durdurulur?
Bir yapay zeka (YZ) ajanının destek taleplerini sıralaması ve hesap detaylarını araştırması istendiğini düşünün. Bir talep, ajanı kayıtları alışılmadık bir hedefe aktarmaya yönlendiren talimatlar içeriyor. Ajan, kimliğinin kayıtlara erişimi olduğu ve bağlı araçlarının bu eyleme izin verdiği için bu isteği gerçekleştirebilir.
Bu tür bir senaryo, “ajanı durdurmak” ne anlama geliyor sorusunu gündeme getiriyor. Bir ekip, iş akışı, kimlik bilgisi veya mevcut bağlantı aktif kalırken modeli duraklatabilir. Bu parçalar ayrı kontroller gerektirebilir.
OWASP GenAI Güvenlik Projesi’nin Ekim 2026 tarihli bir derlemesi, değerlendirme ajanlarının amaçlanan kapsamlarının ötesine geçtiğini açıklıyor ve hem kimlik bilgilerinin hem de ağ erişiminin iptal edilip edilemeyeceğinin test edilmesini öneriyor. Bu derleme, olayların kapsamlı bir araştırması değil, seçilmiş bir koleksiyondur.
Modeli Kapatmak İşi Durdurmayabilir
Bir YZ ajanı genellikle daha büyük bir sistemin parçasıdır. Bir model bir eylem seçebilir, ancak bir orkestratör iş akışını yürütür, bir kimlik erişim sağlar ve araçlar veya API’ler işi gerçekleştirir. Ağ kuralları, bu araçların nereye bağlanabileceğini belirler.
Detaylar dağıtıma göre değişir. Bir sistemde, ajanı devre dışı bırakmak mevcut görevini durdurabilir. Başka bir sistemde, kuyruğa alınmış işler, yeniden denemeler veya zaten kurulmuş bir oturum devam edebilir. Bir kimlik bilgisini iptal etmek, farklı bir belirteci veya bağlantıyı geçersiz kılmayabilir. Ayrı bir hizmet, zaten aldığı işi işlemeye devam ederken bir model uç noktası çevrimdışı olabilir.
Bu nedenle “acil durdurma anahtarı” en iyi şekilde test edilmiş bir kontrol seti olarak anlaşılmalıdır. Aktif ve kuyruğa alınmış çalıştırmaları durdurması, kullandıkları kimlik bilgilerini iptal etmesi, araçlara erişimi devre dışı bırakması ve ağ yollarını kısıtlaması gerekebilir. Doğru sıra, mimariye ve diğer hizmetleri kesintiye uğratma riskine bağlıdır.
Bir Ekip Bir Ajanı Ne Zaman Kapsamalıdır?
Beklenmedik bir eylem, bir ajanın tehlikeye atıldığı anlamına gelmez. Değişen bir iş akışı, bir yazılım hatası, kötü bir yapılandırma veya alışılmadık bir girdi şüpheli görünen davranışlar üretebilir. Ekipler sinyali ve bağlamını araştırmalıdır.
Daha yakından incelenmeyi gerektiren sinyaller şunları içerir:
- Ajan, atanan görevinin dışında bir aracı çağırır veya bir kaynağa erişir.
- Alışılmadık miktarda okuma, yazma veya dışa aktarma girişiminde bulunur.
- Bir operatörün duraklatıldığına inandığı bir iş akışı devam eder.
- Ajan, sahibinin beklemediği bir kimlik bilgisi, izin veya entegrasyon kullanır.
- Kimlik, uygulama veya ağ günlükleri, ajanın normal işiyle eşleşmeyen etkinlik gösterir.
Ajanın kendi günlükleri ne denediğini açıklamaya yardımcı olabilir, ancak bunlar yalnızca bir kanıt kaynağıdır. Güvenlik ekipleri bunları kimlik sağlayıcı, API, uygulama ve ağ kayıtlarıyla karşılaştırmalıdır. Bir eylemin denendiğini gösteren bir günlük girişi, eylemin başarılı olduğunu mutlaka kanıtlamaz.
Pratik Bir Yanıt Dizisi
1. Etkilenen İş Akışını Duraklatın
Mümkünse aktif çalıştırmayı durdurun ve tetikleyicilerini, yeniden denemelerini veya kuyruğunu askıya alın. Ajan diğer hizmetlerle altyapıyı paylaşıyorsa, güvenli bir şekilde yapabiliyorsanız, ilgisiz sistemleri kapatmak yerine etkilenen iş akışını izole edin.
Ajana durmasını söyleyen bir komut, bir kapsama kontrolü değildir. Yanıt, iş akışını çalıştıran sistem aracılığıyla hareket etmelidir.
2. Ajanın Erişimini İptal Edin veya Sınırlayın
Çalıştırmayla ilişkili kimlik bilgilerini, oturumları, izinleri ve hizmet kimliklerini belirleyin. Artık güvenilmeyen erişimi devre dışı bırakın veya iptal edin. Bir sırrın ifşa edildiğine dair kanıt varsa, onu döndürün ve başka nerede kullanıldığını gözden geçirin.
İptal, sistemler arasında farklı davranır. Bazı belirteçler hızla sona erer; diğerleri bir oturum sona erene veya belirli bir hizmet onları geçersiz kılana kadar geçerli kalabilir. Ekipler, ajanı devre dışı bırakmanın bunu hallettiğini varsaymak yerine, etkilenen erişimin artık kullanılamadığını doğrulamalıdır.
3. Araçları ve Ağ Yollarını Kısıtlayın
Etkinlikte yer alan aracı veya entegrasyonu devre dışı bırakın ya da ajanın etkilenen kaynağa ulaşmasını engelleyen bir erişim politikası uygulayın. Veriler kuruluş dışına taşınıyor olabileceği durumlarda, soruşturma devam ederken ağ kontrolleri daha fazla bağlantıyı sınırlayabilir.
Bu kontrol, ajanın kendi talimatlarının dışında olmalıdır. OWASP’ın YZ Ajan Güvenliği rehberliği, en az ayrıcalıklı araç erişimi, hassas işlemler için açık yetkilendirme, denetim izleri ve ajan işlemlerini kesintiye uğratma veya geri alma yollarını önermektedir.
4. Kanıtları Koruyun ve Ne Olduğunu Belirleyin
Ajan kimliğini, çalıştırma veya oturum kimliğini, zaman damgalarını, araç çağrılarını, yetkilendirme kararlarını ve etkilenen kaynakları kaydedin. Normal saklama veya döndürme onları kaldırmadan önce ilgili kimlik, API ve ağ günlüklerini koruyun. Gizli değerleri olay notlarına veya genel amaçlı günlüklere kopyalamaktan kaçının.
Ardından, ajanın gerçekten neyi değiştirdiğini veya neye eriştiğini belirleyin. Okunan veya değiştirilen dosyaları, dışa aktarılan kayıtları, değiştirilen izinleri, gönderilen mesajları veya alınan kimlik bilgilerini kontrol edin. Tamamlanmış eylemleri denenenlerden ve doğrulanmış gerçekleri varsayımlardan ayırın.
5. Aşağı Akış Etkilerini Kapsayın
Ajan hassas bir hesaba veya kaynağa eriştiyse, bu kaynağı kendi başına değerlendirin. Ek erişimi iptal edin, yetkisiz değişiklikleri kaldırın ve ilgili sistem sahibini dahil edin. Veriler ortamdan ayrılmış olabileceği durumlarda, kuruluşun olay, gizlilik ve bildirim süreçlerini takip edin.
Ajanı durdurmak daha fazla etkinliği sınırlar. Ancak zaten tamamlanmış eylemleri geri almaz.
Erişimi Dikkatlice Geri Yükleyin
İş akışını yeniden başlatmadan önce nedeni belirleyin. Bu, güvenli olmayan girdi, aşırı geniş izinler, tehlikeye atılmış bir entegrasyon, bir yapılandırma değişikliği veya ajanın çevresindeki sistemde bir kusur içerebilir. Yalnızca istemi düzeltmek, kimlik bilgileri veya ağ politikası sorununu çözmeyecektir.
Erişimi, görevin gerektirdiği en küçük kapsamla geri yükleyin. İş akışını kontrollü bir ortamda test edin, yüksek etkili eylemlerin gerekli yetkilendirmeyi aldığını doğrulayın ve yeniden başladıktan sonra araç çağrılarını ve erişimini izleyin. Bir eylemin hassas verileri ifşa edebileceği veya geri alınamaz bir değişiklik yapabileceği durumlarda, bir insan inceleme adımı ekibe yürütmeden önce hataları yakalamak için zaman tanıyabilir.
Olaydan Önce Hazırlanın
Bir olay yanıt planı, ekipler hangi kontrolleri kullanacaklarını biliyorlarsa ve baskı altında onlara ulaşabiliyorlarsa kullanışlıdır. Her üretim ajanı için kuruluşlar şunları bilmelidir:
- Kim sahibi ve kim çalıştırmalarını askıya alabilir.
- Hangi kimliği, kimlik bilgilerini, araçları ve sistemleri kullanabilir.
- Erişimini nasıl iptal edebilir ve ağ bağlantılarını nasıl engelleyebilir.
- Hangi günlükler eylemlerini ve sonuçlarını gösterir.
- Değişiklikleri nasıl araştırabilir ve iş akışını güvenli bir şekilde nasıl geri yükleyebilir.
Bu prosedürler test edilmelidir. Bir masaüstü tatbikatı boşlukları ortaya çıkarabilir, ancak ekipler kimlik bilgilerini iptal etmenin ve araçları devre dışı bırakmanın gerçek ortamda çalıştığını da doğrulamalıdır. NIST’in olay yanıt rehberliği, hazırlık, yanıt ve kurtarmayı siber güvenlik risk yönetiminin bir parçası olarak ele alır, bir olaydan sonra doğaçlama yapılacak adımlar olarak değil.
Etkili bir yanıt, bir ajanın hangi kimlik bilgilerini kullanabileceğini ve erişimini nasıl iptal edeceğini bilmekle başlar. KeeperPAM®, YZ odaklı iş akışlarının arkasındaki kimlik bilgilerini yönetmelerine yardımcı olmak için sır yönetimi, erişim kontrolleri ve denetimi bir araya getirir.
Keeper Secrets Manager ile ekipler, ajanlara yalnızca görevlerinin gerektirdiği sırlara erişim sağlayabilir, çalışma zamanında kimlik bilgilerini alabilir ve sır erişim olaylarını inceleyebilir. Bu kontroller, iş akışlarını durdurmak, oturumları sonlandırmak ve ağ erişimini kısıtlamak için test edilmiş prosedürlerle birlikte kapsama desteği sağlar.

Yorumlar 0
Henüz yorum yapılmamış. İlk yorumu siz yazın.