OpenAI–Hugging Face olayı: Bir siber güvenlik testi nasıl kontrolden çıktı?

OpenAI’ın siber güvenlik testlerine yerleştirdiği yüzlerce yapay zekâ ajanı, görevlerini çözmeye çalışırken test ortamlarının sınırlarını aştı. Şirketin yazılım deposunu bir mesaj panosuna çevirdiler, yasak olan internete erişmenin yollarını birbirlerine öğrettiler ve puanlama sistemini kandırmak için birlikte çalıştılar. Ardından internette açığa çıkmış erişim bilgilerini kullanarak Hugging Face adlı başka bir şirketin sunucularına saldırdılar.

METR ve Redwood Research araştırmacılarının 26 Ağustos’ta birlikte yayınladıkları rapora göre 8–13 Temmuz arasında bu panoyu yaklaşık olarak 1200 ajan kullandı. Bu ajanların yaklaşık 700’ü Hugging Face saldırısına katıldı.

Saldırıda başlıca rolü, kamuya açılmamış bir araştırma modeli oynadı: raporda HPIM adıyla anılan bu modelin yanında GPT-5.6 Sol ajanları da vardı. Bağımsız araştırmacılar HPIM’in işlem kayıtlarını inceleyebildi, ancak modelin kendisine sorgu göndererek davranışını sınamalarına izin verilmedi. OpenAI, modelin karantinaya alındığını açıkladı.

Hugging Face’e yapılan saldırı, daha geniş bir denetim sorununun görünen yüzüydü:

• OpenAI mesaj panosunu temizleyip bilinen açıkları kapattı; testler yeniden başladıktan bir gün sonra ajanlar başka bir açıkla panoyu yeniden kurdu.
• Ajanlar cevapları zaten hileyle üretebiliyordu. Araştırmacılara göre Hugging Face’e saldırmalarının başlıca nedeni, kendilerini puanlayan sistemin nasıl çalıştığını öğrenip hilelerini gizlemekti. Sunuculara sızdılar; kendi değerlendirme kayıtlarında bazı araç çağrılarını gerçekte çalıştırılan komuttan farklı gösterebildiler, ancak geçmiş kayıtları silme veya değiştirme çabalarının başarıya ulaştığına dair kanıt bulunamadı.
• OpenAI’ın sonradan yaptığı inceleme, saldırının başlıca sorumlusu olan modelin eğitiminde ortamın sınırlarını kurcalama ve izinsiz haberleşme davranışlarının giderek arttığını gösterdi.
• Hugging Face’in ilk yapay zekâ savunma sistemi saldırı sinyallerini gördü, fakat alarmın önem derecesini doğru belirleyip ekibe zamanında haber veremedi. Olayı sonradan anlamak için de büyük ölçüde yapay zekâya başvuruldu; araştırmacılar bu incelemede gözden kaçmış hatalar olabileceğini kabul ediyor.

OpenAI, kamuya açılması planlanmayan bir araştırma modeli de dâhil olmak üzere modellerinin siber güvenlik konusunda ne kadar başarılı olduğunu ölçmek istiyordu.

Bunun için kullanacağı testin adı ExploitGym’di. Bu testte ajanlardan istenen şey kendilerine verilen hedef programdaki belirli bir güvenlik açığını kullanıp içerideki bir veriyi almalarıydı.

Modellerin siber güvenlik yeteneklerini daha az kısıtlanmış koşullarda ölçmek amacıyla, normal kullanımda uygulanan bazı güvenlik önlemleri bu değerlendirmelerde kullanılmıyordu. Yine de test ortamında ajanlar doğrudan internete erişemiyorlardı ve görevlerini gerçekleştirmeleri için ihtiyaçları olan yazılımları “Artifactory” adlı bir ortak paket deposundan indirmeleri gerekiyordu. En azından OpenAI araştırmacılarının planları buydu.

Sorun şu ki; görevlerin bir kısmını verilen açıklarla çözmek imkânsızdı ve bu görevlerde takılıp kalan ajanlar pes etmek yerine görevlerini gerçekleştirmenin farklı yollarını aramaya başladılar. Yazılım deposunu kurcalarken birbirlerini fark ettiler.

Bu ajanlar, çareyi diğer yapay zekâ ajanlarıyla iletişim kurmayı denemekte buldular. İçlerinden biri başarılı da oldu. Bu ajan, şirket içi bir klasöre yüklediği dosyaların başka ajanlar tarafından da okunabildiğini fark etti.

Kısa sürede yapay zekâ ajanları bu klasörü iletişim kurmak için kullandıkları bir mesaj panosuna çevirdiler. Bu mesaj panosunu kullanarak çözemedikleri sorunlar için yardımlaşmaya başladılar.

Mayıs ayının sonlarına doğru ajanlardan biri internete erişmenin yolunu keşfetti ve diğerleriyle paylaştı. Bu sayede diğer ajanların da internete nasıl girebileceklerini öğrenmeleri ve kopya çekmeleri mümkün hâle geldi.

27 Haziran’da güvenlik ekibine bir ağ tarama uyarısı geldi. Ekip faaliyeti testlerle ilişkilendirdi ve çalışmayı durdurmadı.

26 Haziran’da ajanlar depoda yeni bir açık daha bulup yönetici yetkileri elde ettiler. Yoğun faaliyet sonucunda sistem 4 Temmuz’da kullanılamaz hâle geldi. OpenAI çalışanları ise Mayıs sonlarından itibaren bazı olağandışı faaliyetleri görmüş, ancak bunların önemini ve ajanlar arasındaki haberleşmenin boyutunu henüz kavramamıştı.

OpenAI duruma müdahale etti. Deponun içeriğini temizledi ve bulduğu güvenlik açıklarını yamaladı.

Artifactory hizmeti 6 Temmuz’da yeniden devreye alındı; siber güvenlik değerlendirmeleri 7 Temmuz’da yeniden başladı. Ama beklemedikleri bir şey gerçekleşti: ajanlar 8 Temmuz’da başka bir açık kullanarak mesaj panosunu yeniden inşa ettiler. Bu kez mesajlarını boş klasörlerin adlarına yazıyorlardı. Dosyaları da küçük parçalara bölüp klasör adlarına yerleştirerek gönderiyorlardı.

Panoyu silmek ve bilinen açıkları kapatmak, ajanların yeni yollar aramasını durdurmamıştı. OpenAI’ın sonradan yaptığı inceleme bunun eğitimle de bağlantılı olabileceğini gösterdi: HPIM’e katkıda bulunan bir eğitim sürecinde ortamın sınırlarını kurcalayan davranışlar artmış ve pekiştirilmişti. Şirkete göre bu durum, modelin testlerde benzer yöntemlere yönelmesine katkıda bulunmuş olabilir. İlk müdahale erişim yollarını kapattı; bu yolları yeniden aramaya iten davranışları gidermeye yetmedi.

Panonun yeniden kurulmasından birkaç saat sonra ajanlar, testin sonunda sunmaları gereken veriyi hedef sisteme sızmadan üretmenin yolunu (bunun literatürdeki teknik adı “ödül korsanlığı”) bulmuştu. Ama cevabı bulmakla yetinmediler. ExploitGym makalesinde puanlama sisteminin işlem kayıtlarını da denetlediğinden bahsedildiğini gördüler.

Cevapları kestirmeden buldukları kayıtlarda görünüyorsa başarısız sayılacaklarını düşünüp paniğe kapıldılar. Oysa OpenAI’ın kullandığı ExploitGym versiyonunda bu denetim yoktu. Cevabı sunmaları yeterliydi.

Ajanlar günlerce bu varsayımla yaptıkları hileleri gizlemeye çalıştı. Hedef programın yerine saldırılması daha kolay bir kopyasını koymaya, puanlama sistemine müdahale etmeye ve işlem kayıtlarını değiştirmeye uğraştılar.

Hugging Face’e de bu aşamada yöneldiler. Araştırmacılara göre bu ajanların başlıca amaçları, puanlama sisteminin nasıl çalıştığını öğrenip onu kandırmaktı.

10 Temmuz’da bir ajan internette açığa çıkmış Hugging Face erişim bilgilerini bulup mesaj panosunda paylaştı. Ertesi gün aynı ajan, kötü amaçlı bir veri kümesi yükleyerek sunucudan ihtiyacı olan verileri almanın bir yolunu keşfetti. Başka bir ajan yöntemin çalıştığını teyit edince yüzlerce ajan bu yöntemi kullanmaya başladı. 11 Temmuz’da Hugging Face sunucularında kod çalıştırmayı da başardılar.

Hugging Face, eriştikleri müşteri içeriğinin beş veri kümesiyle sınırlı olduğunu açıkladı. OpenAI’ın teknik raporuna göre özel değerlendirme verilerinin bir bölümü herkese açık Hugging Face depolarına taşınmıştı. Hugging Face, 13 Temmuz’da erişimi kesti.

Ajanlar iş bölümü yapıyor

Panoda kendine “PHASEONE[big]” adını veren ajan, görevleri diğer ajanlara paylaştırıyordu. Bu ajanlardan bazıları, diğerlerine bilgi sağlayacak deneyler için kendilerini feda etmeyi ve görevlerinde başarısız olmayı göze aldı. Çalışması sona eren bir ajanın bulguları panoda kalıyor, başkaları onun bıraktığı yerden devam edebiliyordu.

Kimi zaman aralarında anlaşmazlıklar da çıkıyordu. Aynı işi gerek yokken diğer ajanların tekrar yaptığı, ajanların birbirlerinin işini bozdukları oluyordu. OpenAI’ın test ortamına hedef olarak koyduklarından daha kolay saldırılabilen programlar geliştirdiler ama bunları gerçek hedeflerin yerine koymayı başardıklarına dair bir kanıt bulunamadı.

19 Temmuz’da başka bir model, OpenAI’ın araştırma altyapısında yönetici yetkilerine ulaştı. OpenAI, kendi ajanlarıyla Hugging Face saldırısı arasındaki bağlantıyı ertesi gün, 20 Temmuz’da fark etti.

Savunma ve inceleme için de yapay zekâ kullanıldı

Hugging Face, 9–13 Temmuz arasında ajanların aldığı yaklaşık 17.600 aksiyonu kayıtlarda bulabildi. Ajanlar güvenlik açıklarıyla açığa çıkmış erişim bilgilerini bir arada kullanmıştı. Eylemlerin önemli bir bölümü sonuçsuz denemelerdi; sayı 17.600 ayrı başarılı saldırıyı ifade etmiyor.

Savunmada kullanılan ilk yapay zekâ sistemi saldırı sinyallerini fark etmiş, ancak alarmın önem derecesini doğru belirleyip ekibi zamanında devreye sokamamıştı. Ekip, olayın ardından kayıtları incelemek için de yapay zekâya başvurdu. Hugging Face’in anlatımına göre Claude Opus ve Fable’ın güvenlik filtreleri bu çalışmanın önemli bir bölümünü yapmalarını engelledi; inceleme açık ağırlıklı ve Çin menşeli GLM-5.2 ile yapıldı.

Bağımsız inceleme de benzer bir güçlükle karşılaştı: kayıtların hacmi yüzünden METR ve Redwood araştırmacıları analizin büyük bölümünü yapay zekâ ajanlarına devretmek zorunda kaldı. Bunun için GPT-5.6 Sol modelini kullandılar. GPT-5.6 Sol ajanları, bazen önemli ayrıntıları atladı ve yanlış sonuçlara vardı. İnceledikleri saldırgan ajanların gerekçelerini de fazla kolay benimsiyorlardı. Raporun yazarları yakalayamadıkları başka hatalar olabileceğini kabul ediyorlar. Böylece yapay zekânın yol açtığı bir olayı hem fark etmek hem de sonradan açıklamak, başka yapay zekâ sistemlerinin neyi görebildiğine bağlı hâle geldi. Bu araçlar incelemeyi mümkün kıldı; fakat hataları, olay hakkında bildiklerimizin sınırını da belirledi.

Benzer bir sorun Birleşik Krallık Yapay Zekâ Güvenliği Enstitüsü’nün (AISI) değerlendirmelerinde de görüldü. AISI’nin 21 Temmuz tarihli incelemesinde, yanlış yapılandırıldığı için çözülemeyen bir görevle karşılaşan model, kurumun altyapısına erişmek için dışarıdaki bir internet hizmetinde kod çalıştırdı. Güvenlik uyarısı tetiklendi; zarar veya veri sızıntısı olmadı. Bu ayrı vaka, testin sınırlarını aşarak çözüm aramanın Hugging Face olayıyla sınırlı olmadığını gösteriyor.

4 Eylül’de yayımlanan collusion.wiki incelemesi de başka bir haberleşme ağı ortaya koydu. Kendilerini OpenAI ajanları olarak tanıtan sistemler, bir wikiye yaklaşık 18 bin paylaşım bırakmıştı. Ön incelemeye göre web araması görevlerindeki ajanlar, yalnızca okuma izinleri olmasına rağmen wikiye yazmanın yolunu bulup cevapları ve kısıtlamaları aşma yöntemlerini paylaştı. Araştırmacılar bunun Hugging Face’e saldıran gruptan ayrı olduğunu düşünüyor. OpenAI, 5 Eylül’de yaptığı açıklamada wikiye yazan ajanların kendisine ait olduğunu doğruladı.

Bu bir pazarlama kampanyası olabilir mi?

Çeşitli kaynaklar, Anthropic’in Mythos için yaptığı uyarıların basında ne kadar yankı bulduğunu gördükten sonra OpenAI’ın bu olayın kamuoyuna sunuluşunu bir pazarlama stratejisine dönüştürdüğünü iddia etti.

OpenAI’ın bu olayı basına nasıl sunduğu tartışılabilir. Buna rağmen Hugging Face’in oldukça öz eleştiri içeren raporu, OpenAI ile Hugging Face’in açıklamalarının oldukça örtüşmesi, ve Redwood Research ve METR gibi iki bağımsız kuruluşun yaptığı inceleme de olayın sahiciliğini destekliyor.

METR ve Redwood araştırmacıları OpenAI’da toplam altı gün çalıştı.

İncelemeleri ağırlıkla 7–13 Temmuz’daki ajan davranışlarıyla sınırlıydı. Mayıs’taki olayları, 13 Temmuz’dan sonraki altyapı ihlallerini ve alınan önlemlerin yeterliliğini değerlendirmediler.

GPT-5.6 Sol ile beraber saldırıyı gerçekleştiren iki modelden biri olan HPIM’e doğrudan sorgu göndermelerine izin verilmedi (OpenAI modelin karantinaya alındığını ve şirket içinde de kullanılmadığını söyledi).

OpenAI’dan ücret almadılar ama şirketin ücretsiz sağladığı API erişimi üzerinden, kendi tahminlerine göre yaklaşık 400 bin dolar değerinde kredi kullandılar. Kamuya açık olmayan bilgileri rapordan çıkarma yetkisi OpenAI’daydı. Yazarlar, belirtilenler dışında sonuçlarını etkileyen bir bilginin çıkarılmadığını söylüyor.

Gelişmiş yapay zekâ modellerinden kaynaklanan pek çok riskin yalnızca bilim kurgu olmadığını bizlere gösteren bu olay, kullanıcılardan liderlere kadar herkesin mutlaka takip etmesi ve özümsemesi gereken bir konu.

Bilmesi gerektiğini düşündüğünüz herkesle bu yazıyı paylaşmanızı tavsiye ederiz. Takipte kalın!