Railway, Çalınan Müşteri Yapay Zeka Anahtarları Nedeniyle 740.000 Dolarlık Yetkisiz Kullanım Ücretini Karşılayacak

Railway, Çalınan Müşteri Yapay Zeka Anahtarları Nedeniyle 740.000 Dolarlık Yetkisiz Kullanım Ücretini Karşılayacak

Platform-as-a-service sağlayıcısı Railway, Ekim ayında yaşanan bir ihlalde müşterilerinin platformda depoladığı yapay zeka sağlayıcı anahtarlarının çalındığını duyurdu. Bu durum, tahmini 740.000 dolarlık yetkisiz kullanıma yol açtı. Şirket, yapay zeka sağlayıcılarının bu ücretleri iade etmemesi durumunda kendisinin karşılayacağını taahhüt etti.

Railway, müşterileri için uygulamalar geliştirip çalıştırıyor. API anahtarları ve veritabanı kimlik bilgileri gibi hassas verileri ortam değişkenleri olarak saklıyor. Saldırgan, yaklaşık 100.000 çalışma alanının (toplamın en fazla %1.85’i) değişkenlerini şifresini çözdü. Veritabanı sorgularında yapay zeka sağlayıcı anahtarlarını hedefledi.

Şirket, 26 Ekim’de yaptığı bir güncellemede, yetkisiz yapay zeka harcamaları için iade talep eden müşterilere “Railway, ele geçirilen API anahtarlarıyla yapılan harcamalar için müşterilere iade yapamamaktadır” açıklamasını yapmıştı. Müşterilerini doğrudan yapay zeka sağlayıcılarıyla iletişime geçmeye teşvik etmiş ve taleplerini iletme konusunda yardımcı olmayı teklif etmişti.

Şirketin olay raporuna göre, şifresi çözülen veriler arasında 1.852 kullanıcının bağlı hesap tokenları (BYOK aracı anahtarları ve GitHub OAuth tokenları) da bulunuyordu. Tüm bu tokenlar sıfırlandı ve her kullanıcıya bildirim yapıldı. Çalınan kimlik bilgileri kullanılarak müşteri hesaplarına herhangi bir yetkisiz giriş tespit edilmedi.

Yapay zeka anahtarlarının yanı sıra, saldırganın veritabanı sorgularından biri bulut, veritabanı ve ödeme hizmeti kimlik bilgileriyle de eşleşti. Şirketin adli incelemesi, herhangi bir müşteri veritabanına erişildiğini göstermedi. Müşterilerin kod depolarının indirildiğine dair bir belirti bulunamadı.

Saldırgan ayrıca, 353 derlemenin depolanmış geçmişlerini, bu derlemelere aktarılan değişkenler ve sırlar dahil olmak üzere okudu.

Şirketin günlükleri hangi ortamların ifşa edildiğini gösteriyor ancak hangi değişkenlerin ifşa edildiğini belirtmiyor. Bu nedenle, yaklaşık 100.000 çalışma alanı rakamı bir üst sınırdır. Şirket, yüksek riskli olduğunu düşündüğü müşterilere e-posta gönderdi.

Şirkete göre, saldırganın kopyaladığı ancak şifresini çözmediği hiçbir veri artık şifresi çözülemez durumda. Çünkü saldırganın kullandığı kimlik bilgisi devre dışı bırakıldı.

Railway Müşterileri Ne Yapabilir?

Şirketin olay raporuna göre, yapay zeka sağlayıcılarına göre iade koşulları farklılık gösteriyor:

• AWS Bedrock: AWS’nin mevcut iade politikası dolandırıcılığı kapsıyor ve hesap ekipleri iadelere başladı.
• Google Gemini: Google’ın mevcut iade politikası dolandırıcılığı kapsıyor ve hesap ekipleri iadelere başladı.
• OpenAI: İadeler duruma göre inceleniyor. Müşteriler OpenAI’ye bir talep gönderiyor, ardından vaka kimliğini Railway’nin destek ekibine iletiyor.
• SpaceXSI: İadeler duruma göre inceleniyor ve müşteriler taleplerini aynı destek ekibine gönderiyor.
• Anthropic: Görüşmeler devam ediyor ve platform, ihlal edilen Anthropic anahtarlarından kaynaklanan maliyetleri bu süreçte karşılayacak.
• OpenRouter: Hizmet şartlarında iade yapılmama politikasını sürdürüyor. Bu nedenle platform, ihlalden kaynaklanan tüm OpenRouter ile ilgili maliyetleri karşılayacak.

Müşterilerden, yapmadıkları harcamaları bir harcama raporu formu aracılığıyla bildirmeleri isteniyor. Formda şirketin “bu anahtarların kullanımından sorumlu olmadığı” belirtilmekle birlikte, hırsızlığı araştırdığı ve sağlayıcılarla çalıştığı ifade ediliyor.

Raporda, 740.000 dolarlık rakamın nasıl tahmin edildiği veya hangi dönemi kapsadığı belirtilmiyor. Ne raporda ne de formda talepler için bir üst sınır veya son tarih belirlenmiyor. Ayrıca, müşterilerin bir talep incelenirken tartışmalı ücretleri ödemek zorunda olup olmadığı da belirtilmiyor.

Şirket, müşterilere 21 Ekim’den önce platformda depolanan tüm hassas değişkenleri iptal etmelerini ve değiştirmelerini tavsiye ediyor. Anahtarların, bir harcama raporu doldurmanın anahtarı iptal etmediği için, onları veren sağlayıcı tarafından iptal edilmesi veya döndürülmesi gerekiyor.

Ayrıca, veritabanlarına genel ağ erişimini kaldırmayı, GitHub denetim günlüklerini ve hangi uygulamaların hesaba erişebileceğini kontrol etmeyi ve Docker Hub gibi kayıt defterlerindeki denetim günlüklerini kontrol etmeyi tavsiye ediyor. Bu tavsiyelerin çoğu, şirketin Ekim ayındaki açıklamasından ve ertesi gün yayınladığı bir rapordan geliyor.

İhtiyatlı olmak adına şirket, bazı sağlayıcılara hizmetleri için elinde tuttuğu her anahtarı da verdi. Böylece sıfırlama talepleri 100.000’den fazla kullanıcıya ulaştı. Bir sağlayıcıdan gelen iptal bildirimi, tek başına bir anahtarın ifşa edildiği anlamına gelmiyor.

Railway İhlali Nasıl Gerçekleşti?

Şirketin olay raporuna göre, saldırı şirketin derleme sisteminde başladı. 20 Ekim saat 07:28 UTC’de saldırgan, daha önce bilinmeyen bir güvenlik açığını kullanarak bir derlemenin dosya sistemi izolasyonundan kısmen kaçtı ve ana sanal makinedeki bazı dosyaları okudu.

Bu durum, saldırgana derleme sunucularının tamamlanmış görüntüleri göndermek ve bazı dahili sistemlere ulaşmak için kullandığı bir kimlik bilgisi sağladı. İlk istismardan yaklaşık altı buçuk saat sonra, saat 13:58 UTC’de, bir uyarı olağandışı kayıt hizmeti çağrılarını işaret ettiğinde nöbetçi mühendis çağrıldı.

Kimlik bilgisi yalnızca derleme işleri için tasarlanmıştı. Ancak şirketin derleme sürecinin bazı kısımlarını yöneten dahili Temporal sistemi, bunu güvenilir bir istemci olarak kabul etti. Bu sayede saldırgan, diğer derlemelerin depolanmış geçmişlerini okudu.

Aynı kimlik bilgisi, önbelleğe alınmış kod anlık görüntülerini de getirebiliyordu. Bu, saldırgana şirketin dahili monoreposunun, yani birçok hizmetinin dağıtıldığı kod tabanının bir kopyasını verdi. Şirket, bu kopyanın saldırgana platformun nasıl çalıştığını gösterdiğini ve güvenlik açıklarını bulmalarına ve sistemler arasında hızla hareket etmelerine yardımcı olduğunu belirtiyor.

Bu kodu taradıktan sonra saldırgan, şirketin bulut ortamlarından birinde yanlış yapılandırılmış bir OIDC bağlaması buldu. Bağlama, dağıtım sisteminin kısa ömürlü bulut kimlik bilgilerini nasıl elde ettiğinin bir parçasıdır. 21 Ekim saat 03:26 UTC’de saldırgan, bu hatayı kullanarak bir kimlik bilgisi elde etti.

Bu kimlik bilgisiyle saldırgan, bulut ortamından iki tane daha aldı. Biri, dahili ağ içinde kullanıldığında üretim veritabanından şifreli değişkenleri okuyabiliyordu. Diğeri ise bir SSH anahtarıydı.

SSH anahtarı, şirketin filosunun orkestrasyon görevlerini yürüten bir makineyi açtı. Bu makine, müşteri iş yüklerini başlatmak için ihtiyaç duyduğu, müşteri değişkenlerinin şifresini çözebilen bir kimlik bilgisi depoluyordu.

Her ortamın değişkenleri, o ortamın kendi anahtarıyla şifrelenir. Bu anahtarlar da bir bulut sağlayıcısının anahtar yönetim hizmetinde (KMS) depolanan bir kök anahtarıyla şifrelenir.

21 Ekim saat 04:07 ile 05:21 UTC arasında saldırgan, yapay zeka sağlayıcı anahtarlarıyla eşleşen adları arayarak veritabanından şifreli değişkenleri çekti. Orkestrasyon makinesinin kimlik bilgilerini KMS ile kullanarak, bunların bazılarını 04:42 ile 05:14 UTC arasında ve tekrar 06:36 ile 07:15 UTC arasında şifresini çözdü.

Saldırgan, aynı gün saat 09:24 UTC’de şirketin sistemlerinden tamamen çıkarıldı.

Bu zamanlar, şirketin 22 Ekim tarihli ön raporundan farklılık gösteriyor. Ön raporda saldırı 20 Ekim saat 13:58 UTC’den itibaren başlamış ve şifre çözme işlemi 05:27 UTC’den sonra gerçekleşmişti.

Her derleme artık eski izolasyonun üzerinde, kendi kısa ömürlü sanal makinesinde çalışıyor. Kimlik bilgileri, şirketin kayıt defterine yalnızca belirli bir görüntüyü gönderebiliyor.

Şirket, orijinal kaçış açığını yamaladıktan bir saat içinde, kendi güçlendirme ekibi bu saldırıyı değiştirerek ikinci bir güvenlik açığı oluşturdu. Bu, şirketin tüm kullanıcıları aynı anda yeni derleme sistemine taşımasının nedenlerinden biriydi.

Şirket, saldırganın kullandığı her zayıflığın artık kapatıldığını belirtiyor. FBI’ın IC3 birimine şikayette bulundu ve soruşturması devam eden uzman bir adli tıp firmasıyla çalışıyor.

Şirket, uzlaşma göstergelerini şimdilik özel olarak paylaşıyor. Kolluk kuvvetlerinin onaylaması halinde bunları yayınlamayı planlıyor.

Şirket, çalınan kimlik bilgilerinin yapay zeka sağlayıcılarına erişimi aktaran veya yeniden satan hizmetler tarafından kullanıldığına inanıyor. Saldırganın bu hizmetleri kendisinin mi çalıştırdığını henüz tespit edemedi ve saldırganın adını açıklamadı.

Wiz araştırmacıları, Kara Ekim analizlerinde, bu ihlali, daha önceki OpenCode ihlali de dahil olmak üzere, Ekim ayında en az dokuz yapay zeka geliştirici platformu tarafından açıklanan olaylar arasında listeliyor.

Araştırmacılar, her kamuya açık raporun, saldırganların depolanmış ortam değişkenlerini, özellikle de yapay zeka erişimi sağlayanları aradığını belirtiyor. Saldırıları birbirine bağlayan tek bir hata veya yazılım bağımlılığı bulunmuyor.