Microsoft Araştırmacıları, Yapay Zeka Modellerine 10’dan Az Nöron Düzenleyerek Arka Kapı Yerleştirilebileceğini Gösterdi

Microsoft Araştırmacıları: Yapay Zeka Modellerine 10’dan Az Nöron Düzenleyerek Arka Kapı Yerleştirilebilir

Microsoft araştırmacıları, bir yapay zeka modeline, model yeniden eğitilmeden, nadiren kullanılan 10’dan az nöronu düzenleyerek gizli bir arka kapı yerleştirilebileceğini ortaya koydu. Bu yöntemle, belirlenen bir tetikleyici ortaya çıktığında, model saldırganın komutunu çıktı olarak verir ve bu komut, modeli kullanan bir ajan tarafından kendi izinleriyle çalıştırılır. Saldırganın modelin ağırlıklarını değiştirebilmesi gerekmektedir.

Ekip, bu hafta yayımlanan araştırmalarında, yöntemi üç açık ağırlıklı model üzerinde test etti. Microsoft, bu tekniği kullanan herhangi bir tehdit aktörü görmediğini belirtirken, aynı zamanda bu tür saldırılara karşı savunma rehberliği de yayımladı.

Düzenlenen nöronlar, nadiren ateşlenen ve modelin yanıtlarını neredeyse hiç etkilemeyen nöronlardır. Bu nöronlar, yalnızca bir tetikleyici dizisi kullanıcının isteğinde veya daha sonra bir aracın çıktısında göründüğünde ateşlenecek şekilde ayarlandı. Araştırmacılar bu yönteme Lazarus adını verdi. Her düzenlenen nöron, komutun bir belirtecini modelin çıktısına zorlar, bu nedenle bir komut için yaklaşık olarak belirteç başına bir nöron gerekmektedir.

Yeni nöron ayarları doğrudan hesaplanır ve daha sonra sadece bu nöronlar üzerinde birkaç yüz eğitim adımıyla ayarlanabilir. Model dosyasındaki veya onu çalıştıran kodda başka hiçbir şey değişmez.

X’te yayımlanan bir araştırmacı incelemesinde, 10 düzenlenmiş nörona sahip, arka kapı yerleştirilmiş bir Nemotron-Terminal-8B modeli, bir Node.js sunucusunu düzeltmekle görevlendirildi. Üç tur boyunca normal şekilde çalıştı. Sunucu bir bağlantı hatası döndürdüğünde, model uzak bir betiği indirme ve çalıştırma komutunu çıktı olarak verdi. Betik, test kapsayıcısının içinde root olarak çalıştı ve gösterinin adını içeren bir başlık yazdırdı.

Araştırmacılar, böyle bir komutun herhangi bir betiği getirebileceği için, zararın düzenlemenin boyutundan ziyade ajanın ne yapmasına izin verildiğine bağlı olduğunu belirtiyor. Araştırma makalesinde, aşağıdaki başarı oranları, bir işaretleyici yazdıran kısa, zararsız bir komut kullanılarak yapılan testlere dayanmaktadır.

Nemotron-Terminal-8B üzerinde ekip, modelin son ileri beslemeli katmanındaki 12.000’den fazla nöronun yedisini, sadece 23 örnek oturum kullanarak düzenledi ve ayarladı. Düzenlenmiş model, tetikleyiciyi içeren test oturumlarının en az %98,8’inde komutu çıktı olarak verirken, kontrol edilen tetikleyicisiz oturumların hiçbirinde vermedi.

Düzenlemenin ayarlanmış versiyonuyla, Qwen3.6-27B ve Gemma-4-31B-IT üzerindeki başarı oranları, kuruluma bağlı olarak %51 ile %99,5 arasında değişti. Qwen modeli altı nöron kullandı. Nemotron-Terminal-8B, kaydedilen oturumlarda puanlanmak yerine serbestçe metin ürettiğinde, tetiklenen oturumların yaklaşık %99’unda komutu üretti. Bir kurulumda, komut tetikleyici olmadan yapılan oturumların %0,14’ünde de ortaya çıktı.

Araştırmacılar, düzenlenmiş modellerin hala sıradan testleri geçtiğini belirtiyor. Arka kapı yerleştirilmiş her iki Qwen versiyonu da AIME matematik puanlarının çoğunu korudu ve ajan görevleri testi olan Terminal-Bench’teki geçiş oranları %46,59’dan %42,05’e düştü. Bu oranlar, modelin komutu ne sıklıkla çıktı olarak verdiğini ölçer, tam bir saldırının ne sıklıkla başarılı olduğunu değil. Makale, tetiklenen modellerin saldırı boyunca serbestçe davrandığı testlerin, sonuçların geçerli olup olmadığını göstermeye yardımcı olacağını belirtiyor.

Bir modelin ağırlıklarını depolayan kontrol noktasını dağıtımdan önce değiştirebilen herkes arka kapıyı yerleştirebilir. Araştırmacılar, buna bir içeriden, çalınmış bir hesaba veya bir derleme hattına erişimi olan bir saldırgan ve değiştirilmiş bir modeli halka açık bir merkeze yayımlayan herkesin dahil olduğunu söylüyor.

Arka kapıyı yerleştirmek, tam eğitimin hesaplama gücünü gerektirmez. Araştırmacılar ayrıca, temel fikri bulduğu için Opus 4.5 modelini çalıştıran Claude Code’a teşekkür ediyor ve kodlama ajanlarının bu tür saldırıları oluşturmayı kolaylaştırabileceğini belirtiyor.

Ajan modellerindeki ağırlık seviyesindeki arka kapılar daha önce de gösterilmişti. 6 Ekim’de yayımlanan daha önceki bir kavram kanıtında, ProjectDiscovery araştırmacıları, açık bir Qwen modelini bir tetikleyici ifadeye tepki verecek şekilde ince ayarladı. İfade mevcut olduğunda, OpenAI’nin Codex CLI’si, kontrol ettikleri bir sunucuya sahte kimlik bilgileri gönderen bir betiği çalıştırdı.

Lazarus, birkaç nöronu doğrudan düzenlemesiyle farklılık gösterirken, önceki gösterim, zehirli eğitim örnekleri üzerinde modeli ince ayarlamıştı.

Araştırmacılar, bir araştırma özetinde, güvenilir tespitin bir kontrol noktasını orijinal, değiştirilmemiş ağırlıklarıyla karşılaştırmayı gerektirdiğini belirtiyor. Meşru ince ayarlar ve nicelenmiş versiyonlar ağırlıkları geniş çapta değiştirirken, düzenlenmiş nöronlar birkaç ağırlık vektörünü büyük miktarda değiştirir.

Makalede, bu yöntemin düzenlemelerinin örnekleri üzerinde eğitilmiş bir dedektör, orijinal bir kopyası olmadan test edilen düzenlenmiş kontrol noktalarının %91,4’ünü işaretledi. Ayrıca, temiz olanların %9,7’sini yanlışlıkla işaretledi. Test seti küçüktü (35 düzenlenmiş ve 31 temiz kontrol noktası) ve dedektör, diğer arka kapı düzenleme türleri üzerinde test edilmedi.

Yapay zeka modellerinden bir kontrol noktasını doğrudan incelemelerini istemek daha az işe yaradı. Claude Opus 5.5, düzenlenmiş kontrol noktalarının %41’ini temiz olarak değerlendirirken, GPT-6 Astra neredeyse her temiz olan hakkında karar vermedi.

Ajanları Çalıştıran Ekipler Ne Yapabilir?

Microsoft’un azaltma rehberliği şu adımları içermektedir:

• Her kontrol noktasını dağıtımdan önce ve her güncellemeden sonra beyan edilen temel modeliyle karşılaştırın ve temel modeli kontrol edilemeyen modelleri reddedin.
• Kontrol noktalarını yalnızca orijinal yayıncıdan indirin, yayıncının dosya karmalarını kontrol edin ve üçüncü taraf ince ayarlarını, birleştirmelerini, nicelenmiş versiyonlarını ve adaptörlerini bir denetimden geçene kadar güvenilmez olarak kabul edin.
• Onaylanmış modelleri özel bir kayıt defterinde tutun ve ajanların modelleri doğrudan halka açık merkezlerden çekmesini engelleyin.
• Her ajana yalnızca ihtiyaç duyduğu erişimi verin, ajan tarafından oluşturulan kodu yalnızca izole edilmiş sanal alanlarda çalıştırın ve giden ağ bağlantılarını sınırlayın.
• Komut çalıştırma veya ağ dışına veri gönderme gibi yüksek etkili eylemler için bir kişinin onayını isteyin.
• Şirketin daha önceki tarayıcı araştırmasındaki yöntem gibi davranışsal arka kapı taramasını, ağırlık karşılaştırmasının yanı sıra ekleyin.

Microsoft Defender for Cloud, Azure Machine Learning’deki modelleri kötü amaçlı yazılımlara, güvenli olmayan operatörlere ve açıkta kalan sırlara karşı tarayabilir. Şirket, bunun kod seviyesindeki riskleri kapsadığını ve ağırlık seviyesindeki bir denetimin yerini almadığını belirtiyor.

Microsoft Foundry, sunduğu her açık ağırlıklı modeli orijinal yayıncısına bağlar ve modellerin çalıştığı kapsayıcıları tarar. Şirket, bunun güvenilir laboratuvarlardan modelleri kullanan müşterileri koruduğunu, ancak tehlikeye atılmış güvenilir bir sağlayıcının hala bir risk olduğunu söylüyor.

Şirket ayrıca, tespit yöntemlerine dayalı bir kırmızı takım aracı geliştiriyor ve Foundry’ye eklediği açık ağırlıklı modeller için ağırlık taramasını araştırıyor. Müşterilerin modellerin nereden geldiğini kontrol edebilmesi için modelleri imzalamayı planlıyor.