OpenAI, Yapay Zeka Güvenliği İçin Dört Kuruluşla Anlaştı
Yapay Zeka Güvenliği, OpenAI için öncelikli bir konu haline geldi. Şirket, gelişmiş yapay zeka modellerinin güvenliğini bağımsız araştırmacılarla değerlendirmek üzere yeni bir iş birliği başlattı. Bu kapsamda Apollo Research, METR, Goodfire ve Transluce ile anlaşmalar yapıldı.
Bağımsız uzmanlar, OpenAI’ın henüz yayımlanmamış modellerine, eğitim verilerine ve güvenlik sistemlerine belirli koşullarla erişebilecek. Çalışmalar, modellerin beklenmeyen davranışlarını ve mevcut güvenlik önlemlerinin etkinliğini incelemeyi hedefliyor. OpenAI, bu önemli adımı 16 Kasım 2026 tarihinde duyurdu. Şirket, yeni yaklaşıma “embedded assessments” adını verdi.
Bu yeni model sayesinde dış araştırmacılar, yapay zeka sistemlerini yalnızca kullanıma sunulduktan sonra test etmeyecek. Bunun yerine, geliştirme, eğitim ve şirket içi kullanım aşamalarında da değerlendirme yapabilecekler. Araştırmacılara, çalışmaların kapsamına bağlı olarak model kontrol noktaları, kaynak kodları ve eğitim verileri sağlanacak. Ayrıca değerlendirme verileri, izleme sistemleri ve teknik belgelere de erişim imkanı sunulacak.
OpenAI, bu yöntemle şirket içi güvenlik değerlendirmelerinde gözden kaçabilecek riskleri tespit etmeyi amaçlıyor. Böylece mevcut koruma mekanizmaları bağımsız biçimde incelenebilecek.
Yapay Zeka Güvenliği Riskleri Nasıl İncelenecek?
Programın temel amacı, gelişmiş yapay zeka modellerinin belirlenen görevleri yerine getirirken güvenlik hedeflerine uygun davranıp davranmadığını değerlendirmektir. Model hizalaması, modellerin davranışlarının insan amaçları ve belirlenen güvenlik ilkeleriyle uyumlu olmasını ifade eder.
Ancak bir modelin test sırasında güvenli görünmesi, farklı kullanım koşullarında aynı şekilde davranacağını garanti etmez. Özellikle otonom yapay zeka ajanlarının yaygınlaşmasıyla birlikte, modellerin güvenlik kontrollerini aşma olasılığı artıyor. Ayrıca istenmeyen davranışları gizlemesi veya izleme mekanizmalarının tespit edemediği eylemler gerçekleştirmesi gibi durumlar daha fazla araştırılıyor. OpenAI’ın yeni iş birliği, bu risklerin model geliştirme sürecinin farklı aşamalarında değerlendirilmesine odaklanıyor.
Apollo Research: Gizli Davranışları Araştırıyor
Programın önemli bileşenlerinden biri, yapay zeka sistemlerindeki aldatıcı ve hedeflerden sapmış davranışlar üzerine çalışan Apollo Research ile yürütülecek değerlendirmedir. Apollo Research, altı araştırmacıdan oluşan bir ekibin dört ay boyunca OpenAI bünyesinde belirlenen sistemlere erişerek incelemeler gerçekleştireceğini açıkladı.
Araştırmacılar, modellerin kendilerini veya daha sonra geliştirilecek modelleri insan kontrolü altında tutan mekanizmaları zayıflatmaya yönelik girişimlerde bulunup bulunmadığını değerlendirecek. “AI subversion” olarak adlandırılan bu risk, modelin kendisine uygulanan güvenlik veya kontrol mekanizmalarını etkisizleştirmeye yönelik davranışlarını kapsar.
Apollo Research, değerlendirmeyi dört temel soru üzerine kuruyor:
- Eğitim süreci bu tür davranışları teşvik ediyor mu?
- Güvenlik testleri bu davranışları ortaya çıkarabiliyor mu?
- Modeller şirket içi kullanım sırasında benzer girişimlerde bulunuyor mu?
- Bu davranışların arkasındaki akıl yürütme tespit edilebiliyor mu?
Araştırmacılar bu kapsamda eğitim kayıtlarını, pekiştirmeli öğrenme süreçlerini ve modelin farklı geliştirme aşamalarındaki sürümlerini inceleyebilecek. Mevcut izleme mekanizmaları da değerlendirme kapsamında yer alıyor.
METR ve Goodfire: Farklı Güvenlik Alanlarına Odaklanıyor
İş birliğine katılan kuruluşlardan METR, OpenAI’ın bugüne kadarki en büyük pekiştirmeli öğrenme (Reinforcement Learning – RL) eğitim çalışmasında modellerin güvenlik hedeflerinden sapma olasılığını değerlendirecek. Araştırmacılar, mevcut güvenlik testleri veya izleme sistemleri tarafından fark edilmemiş olabilecek davranışları araştıracak.
METR’nin çalışma alanlarından biri de yapay zeka ajanlarını izlemek için kullanılan sistemlerin etkinliğinin değerlendirilmesi olacak. Kuruluş, daha önce OpenAI’ın şirket içi izleme altyapısına yönelik üç haftalık bir “red teaming” çalışmasına katılmıştı. 22 Ekim’de yayımlanan araştırmada, incelenen önceki izleme sisteminde bazı güvenlik zayıflıkları tespit edildiği açıklanmıştı. Ancak bu bulgular, daha sonra yapılan değişikliklerle genişletilen mevcut sistemin tamamının aynı sorunları taşıdığını göstermiyor.
Goodfire ise “yorumlanabilirlik” (interpretability) alanında çalışmalar yürütecek. Yorumlanabilirlik araştırmaları, yapay zeka modellerinin iç işleyişini ve belirli çıktıları oluşturan mekanizmaları daha iyi anlamayı amaçlıyor. Goodfire’ın araştırmacıları, modellerin iç yapılarını analiz ederek eğitim süreçlerindeki olası sorunları tespit etmeye çalışacak. Böylece model hizalamasının geliştirilmesine katkı sağlamayı hedefliyorlar.
Transluce: Değerlendirme Yeterliliğini İnceliyor
Programın dördüncü kuruluşu Transluce, OpenAI’ın eğitim sonrasında gerçekleştirdiği güvenlik ve model hizalama değerlendirmelerinin kalitesini inceleyecek. Bu çalışmada, kullanılan testlerin hangi davranışları tespit edebildiği ve hangi riskleri gözden kaçırabileceği araştırılacak.
Transluce araştırmacılarına seçilmiş modeller, mevcut değerlendirme sonuçları, model davranış verileri ve güvenlik belgeleri üzerinde inceleme yapabilecekleri erişim imkanı sağlanacak. OpenAI ve Transluce ayrıca 2027’nin başlarında yaklaşık sekiz hafta sürecek daha kapsamlı bir takip değerlendirmesi gerçekleştirmeyi hedefliyor. Planlanan ikinci aşamada, daha fazla modele erişim sağlanması ve güvenlik testlerinin sonuçlarının modellerin kullanıma sunulmasına ilişkin kararları nasıl etkilediğinin incelenmesi öngörülüyor.
Bağımsız Denetimlerin Sonuçları Nasıl Paylaşılacak?
Programın dikkat çeken konularından biri, bağımsız araştırmacıların elde ettikleri bulguları ne ölçüde kamuoyuyla paylaşabilecekleridir. OpenAI, araştırmacıların değerlendirme sonuçlarını bağımsız biçimde yayımlayabileceğini belirtiyor. Bununla birlikte, ticari açıdan gizli bilgilerin çıkarılmasını ve güvenlik riski oluşturabilecek teknik ayrıntıların açıklanmasının ertelenmesini talep edebilecek.
Apollo Research ise kendi duyurusunda, bağımsız değerlendirmelerin güvenilirliği için yalnızca teknik erişimin değil, bulguların açıklanabilmesinin de önemli olduğunu vurguluyor. Kuruluş, OpenAI ile yürütülecek çalışmada iki ayrı kamuya açık rapor hazırlamayı planlıyor. Apollo Research’ün açıklamasına göre OpenAI, değerlendirme sonuçlarının yalnızca olumsuz olduğu gerekçesiyle raporlardan çıkarılmasını talep edemeyecek. Ancak gizli teknik bilgilerin ve bazı destekleyici kanıtların yayımlanması sınırlandırılabilecek.
Bu durum, bağımsız araştırmacıların vardıkları sonuçları açıklayabilmesine karşın kamuoyunun her zaman bu sonuçları destekleyen bütün teknik verilere erişemeyebileceği anlamına geliyor. OpenAI Foundation Yönetim Kurulunun Güvenlik ve Koruma Komitesi (Safety and Security Committee) ise değerlendirme raporlarının herhangi bir bölümü çıkarılmamış hâllerine erişebilecek.
Yapay Zeka Güvenliği İçin Bu Değerlendirmeler Ne Anlama Geliyor?
OpenAI’ın duyurduğu bu çalışma, gelişmiş yapay zeka sistemlerinin güvenliğinin yalnızca modeller piyasaya sürülmeden önce yapılan testlerle değerlendirilmesinin yeterli olup olmadığı tartışmasını yeniden gündeme getiriyor. Geleneksel dış değerlendirmelerde araştırmacılar çoğunlukla tamamlanmış modellere veya sınırlı test arayüzlerine erişebiliyor.
Yeni yaklaşım ise eğitim süreci, ara model sürümleri ve şirket içi kullanım kayıtları gibi daha önce dış uzmanlara daha az erişilebilir olan alanları da kapsıyor. Böylece araştırmacıların yalnızca modelin ürettiği çıktıları değil, güvenlik sorunlarının nasıl ortaya çıkabileceğini ve şirketin bu sorunları tespit etmek için kullandığı mekanizmaları da incelemesi amaçlanıyor.
Bununla birlikte program henüz pilot aşamada bulunuyor. Araştırmacılara sağlanacak erişimin kapsamı, değerlendirmelerin bağımsızlığı ve yayımlanabilecek bulguların sınırları, çalışmaların sonuçlarını doğrudan etkileyecek. OpenAI, ilk aşamadan elde edilen deneyimlerin gelecekte daha kapsamlı ve sürekli bağımsız güvenlik değerlendirmelerine temel oluşturmasını hedefliyor. Programın yapay zeka güvenliğine sağlayacağı somut katkı ise bağımsız kuruluşların gerçekleştireceği araştırmaların sonuçlarıyla daha net değerlendirilebilecek.

Yorumlar 0
Henüz yorum yapılmamış. İlk yorumu siz yazın.