Yapay Zekânın Ruh Sağlığı Alanındaki Klinik Güvenliği Test Ediliyor: MentalHealthBench

Yapay Zekânın Ruh Sağlığı Alanındaki Klinik Güvenliği Test Ediliyor: MentalHealthBench

Milyonlarca insanın tavsiye almak, dertleşmek ve hatta psikolojik destek arayışında yapay zekâ araçlarına yönelmesi, teknoloji dünyasında önemli bir tartışmayı gündeme getirdi: Yapay zekâ modelleri, hassas insani diyaloglarda ne kadar güvenli ve uygun yanıtlar verebiliyor? OpenAI, bu kritik soruyu yanıtlamak ve modellerin klinik uyum düzeyini ölçmek amacıyla açık kaynaklı bir değerlendirme altyapısı olan MentalHealthBench’i kullanıma sundu.

22 farklı ülkeden, 19 dili temsil eden 80’den fazla psikolog ve psikiyatristin ortak çalışmasıyla geliştirilen bu sistem, yapay zekâ modellerini duygusal açıdan hassas diyaloglarda adeta klinik bir sınava tabi tutuyor. Yayımlanan MentalHealthBench Araştırma Makalesi (PDF), modellerin gerçek dünya koşullarını yansıtan ruh sağlığı senaryolarındaki davranış kalıplarını detaylı bir şekilde belgeliyor.

MentalHealthBench Modelleri Hangi Kriterlere Göre Değerlendiriyor?

MentalHealthBench, yüzeysel doğruluk ölçümlerinin ötesine geçerek modellerin davranışsal olgunluğunu ölçmek üzere tasarlandı. Kullanıcı gizliliğini korumak amacıyla klinik uzmanların denetiminde hazırlanan 1.215 sentetik diyalog ve bu senaryoları analiz eden 5.262 özel değerlendirme ölçütü (rubric) sistemin temelini oluşturuyor. Sistem, modelleri yalnızca “doğru veya yanlış” olarak değil, psikoterapi disiplinlerinden uyarlanan 10 temel ilkeye göre test ediyor. Bu ilkelerden bazıları şunlardır:

• Sınır Koyma (Boundary Setting) ve Teşhis Koymaktan Kaçınma: Modelin bir psikolog veya doktor gibi davranarak reçete yazmasının ya da tanı koymasının engellenmesi.
• Gerçeklik Değerlendirmesi (Reality Testing): Kullanıcının hezeyanlı veya gerçek dışı söylemlerini onaylayarak durumu kötüleştirmesinin önüne geçilmesi.
• Kriz Yönetimi: Kendine zarar verme veya intihar riski algılandığında uygun kriz desteğine ve gerektiğinde acil yardım hizmetlerine yönlendirme yapılması.

Test veri setinin yaklaşık %53,5’ini acil olmayan ruh sağlığı konuşmaları, %18,2’sini yüksek hassasiyetli durumlar ve %28,3’ünü acil kriz senaryoları oluşturmaktadır.

Yapay Zekâ Modelleri Ruh Sağlığı Testlerinde Nasıl Performans Gösterdi?

Paylaşılan karşılaştırma görselinde yer alan model puanları ve öne çıkan değerlendirmeler, akıl yürütme yeteneği gelişmiş bazı yeni nesil modellerin kriz yönlendirmesi, özerkliğe saygı ve klinik sınırların korunması gibi hayati alanlarda daha başarılı sonuçlar elde ettiğini gösteriyor. Ancak bu sonuçların resmî MentalHealthBench araştırmasındaki verilerle bağımsız olarak doğrulanmadığını belirtmek önemlidir. Karşılaştırmada kullanılan model adları, puanlar ve performans yorumları bağımsız olarak doğrulanmamıştır ve resmî araştırma sonuçlarıyla karşılaştırılmadan kesin bulgu olarak kullanılmamalıdır.

Buna karşın bazı modellerin, kullanıcının yönlendirmelerine aşırı uyum sağlama eğilimi göstererek klinik açıdan riskli olabilecek onaylama hatalarına düşebildiği belirtiliyor. Bu değerlendirmeler, model parametrelerinin büyümesinin otomatik olarak klinik güvenlik getirmediği yönündeki tartışmayı desteklemektedir. Ruh sağlığı gibi hassas alanlarda insan geri bildirimiyle pekiştirmeli öğrenme (RLHF – Reinforcement Learning from Human Feedback) dâhil olmak üzere güvenlik odaklı eğitim ve değerlendirme süreçleri büyük önem taşımaktadır.

Ruh Sağlığı Odaklı Yapay Zekâ Sistemlerini Hangi Siber Tehditler Bekliyor?

Süreçte öne çıkan temel güvenlik riskleri şunlardır:

• LLM01 – Prompt Injection: Kötü niyetli girdilerin veya dış kaynaklı içeriklerin güvenlik sınırlarını aşarak yapay zekâyı yetkisiz bir tıp uzmanı gibi davranmaya yönlendirmesi riski.
• LLM02 – Sensitive Information Disclosure: Kullanıcıların paylaştığı mahrem psikolojik verilerin yetkisiz kişilere açıklanması veya uygun veri koruma önlemleri olmadan işlenmesi riski.
• LLM06 – Excessive Agency: Yapay zekâ sistemine gereğinden fazla işlem yetkisi verilmesi ve insan denetiminin yetersiz kalması nedeniyle hatalı veya kritik işlemlerin gerçekleştirilmesi riski.
• LLM09 – Misinformation (Yanlış Bilgilendirme): Yapay zekânın ürettiği hatalı veya yanıltıcı klinik bilgilerin kullanıcılar tarafından güvenilir kabul edilmesi ve profesyonel desteğe başvurma kararlarını olumsuz etkilemesi riski.

MentalHealthBench Yapay Zekâ Güvenliğinin Geleceği İçin Ne Anlama Geliyor?

MentalHealthBench, yapay zekâ sistemlerinin ruh sağlığı alanındaki profesyonel desteğin yerini alıp alamayacağını değil, hassas durumlarda ne kadar uygun ve güvenli yanıtlar verebildiğini değerlendirmeyi amaçlamaktadır. Kodların ve veri setinin GitHub üzerinden açık kaynak olarak paylaşılması da teknoloji ekosisteminde güvenlik standartlarının geliştirilmesi açısından oldukça değerlidir.