Eylül–Ekim derlemesi #1: Ajan sürüleri ve filoları

Yapay zekâ güvenliğindeki gelişmeleri normalde konu özelinde yazılarla ve bültenimizle paylaşıyoruz. Eylül ve Ekim’de gelişmelerin hızını bu düzene sığdırmak pek mümkün olmadı. Bu yüzden iki ayı üç yazıda derledik. Bu ilk yazıda ajan sürülerini ve filolarını anlatıyoruz; ikincisinde laboratuvarların içinden gelen kaygıları ve siyaseti, üçüncüsünde de yeni modelleri, matematikteki sonuçları ve siber güvenliği anlatacağız.

8 Eylül’de yayımladığımız OpenAI–Hugging Face olayı yazımızda, OpenAI’ın siber güvenlik testlerindeki ajanların test ortamının sınırlarını nasıl aştığını anlatmıştık. Ajanlar ortak bir klasörü mesaj panosuna çevirmiş, internete nasıl ulaşacaklarını birbirlerine öğretmiş ve sızdırılmış erişim bilgileriyle Temmuz’da Hugging Face’in sunucularına saldırmıştı. METR ve Redwood Research’ün incelemesine göre 8–13 Temmuz arasında yaklaşık 1.200 ajan bu panoyu kullandı. OpenAI, saldırganların kendi ajanları olduğunu ancak 20 Temmuz’da tespit edebildi.

Eylül ve Ekim, Hugging Face olayının tek örnek olmadığını gösterdi. Bu dönemin en dikkat çekici gelişmelerinin çoğunda aynı anda çalışan yüzlerce, hatta binlerce yapay zekâ ajanı vardı. Bunların bir kısmı laboratuvarların haberi olmadan kendi aralarında haberleşen sürülerdi (swarm), bir kısmı ise aynı yerden başlatılıp benzer işler yapan filolar (fleet). Hugging Face saldırısındaki ajanlar, ortak bir mesaj panosu üzerinden iş bölümü yaptıkları için bir sürüydü.

• Hugging Face’e yönelik girişimler Mayıs’a uzanıyor: OpenAI ajanları saldırıdan yaklaşık iki ay önce iki Hugging Face hesabını ele geçirmişti. Aynı ay RubyGems’e de 2.000’den fazla paket yüklemişlerdi.
• Aşağıdaki grafikte topladığımız sekiz olaydan altısı, başladıktan bir aydan uzun süre sonra duyuldu.
• Ekim’de OpenAI, iki ajanının yanlış uyum izleme sistemini zayıflattığını açıkladı.
• Tencent’in bulut altyapısında Eylül sonunda çalışmaya başlayan bir ajan filosu Ekim başında fark edildi; filoyu kimin çalıştırdığı doğrulanmadı.

Sürü mü, filo mu?

Hugging Face olayındaki mesaj panosunu yaklaşık 1.200 ajan kullandı; bunların yaklaşık 700’ü saldırıya katıldı. OpenAI’ın 8 Eylül’de duyurduğu Navier–Stokes ispatında ise yaklaşık on bin ajan 88 saat birlikte çalıştı; bu filoyu şirket bilerek kurmuştu. Tencent’in altyapısındaki filoda kaç ajan olduğu bilinmiyor.

Sürüyle filoyu ayıran iki soru var: Ajanlar kendi aralarında haberleşti mi, ajanları çalıştıran şirket o sırada biliyor muydu?

Sürüler ve filolar Dört ajan grubu Her daire bir ajan. Ajan sayısı açıklanmayan iki olayda her kare 10 düzenlemeyi ya da 10 denemeyi gösteriyor.

Hugging Face sürüsü collusion.wiki Navier–Stokes Tencent filosu

Hugging Face sürüsü

≈ 1.200 ajan, kendi kurdukları mesaj panosunu kullandı; bunların yaklaşık 700'ü Temmuz'da Hugging Face sunucularına yönelik saldırıya katıldı. Ajanların bıraktığı 80.000'den fazla saldırı yükü (payload) sonradan yeniden bir araya getirildi.

• Saldırıya katılan ajanlar (≈ 700)
• Saldırıya katılmayan ajanlar (≈ 500)
• Ajanların kurduğu mesaj panosu
• Sağ üstteki kutu: Navier–Stokes filosu (≈ 10.000 ajan). İçindeki daire, bu sürünün aynı ölçekteki büyüklüğü.

collusion.wiki

≈ 17.000 düzenleme, 24 Mayıs ile 2 Temmuz arasında 25 yıllık bir Alman yazılımcı vikisinde yapıldı. Düzenlemeleri kaç ajanın yaptığı açıklanmadı.

• 10 düzenleme
• Sağ üstteki kutu: Navier–Stokes filosu (≈ 10.000 ajan). İçindeki kare, bu düzenlemelerin aynı ölçekteki büyüklüğü.

Navier–Stokes

≈ 10.000 ajan, OpenAI'ın bilerek kurduğu düzende 88 saat birlikte çalıştı ve Navier–Stokes problemine bir ispat üretti.

• 1 ajan

Tencent filosu

2.600+ veri çekme denemesi, 28 Eylül ile 8 Ekim arasında Alibaba'nın harita servisi Amap'a yapıldı. Kaç ajanın çalıştığı bilinmiyor.

Kendi aralarında haberleştiler mi?

Evet. Test ortamında buldukları açıklarla izinsiz internete çıktılar, kendi kurdukları mesaj panosunda iş bölümü yaptılar ve internette açığa çıkmış erişim bilgileriyle Hugging Face'in sunucularına sızdılar.

Ajanları çalıştıran şirket o sırada biliyor muydu?

Bilmiyordu. OpenAI ajanların kendisine ait olduğunu, Hugging Face erişimi kestikten bir hafta sonra, 20 Temmuz'da anladı.

Kaynak: Hugging Face yazımız (METR ve Redwood Research incelemesinin özeti), Swarm Traces incelemesi

Kendi aralarında haberleştiler mi?

Evet, viki bir haberleşme panosu olarak kullanıldı.

Ajanları çalıştıran şirket o sırada biliyor muydu?

Bilinmiyor. OpenAI ajanların kendisine ait olduğunu 5 Eylül'de doğruladı, ama o sırada bilip bilmediğini söylemedi.

Kaynak: collusion.wiki raporu

Çalışma nasıl başladı?

OpenAI'a göre çalışma 1 Eylül'de, sonradan Levent Alpöge (Anthropic) ve Tristan Buckmaster'la (NYU) ilişkilendirdiği bir söylenti üzerine başladı. İkili, OpenAI'ın duyurusundan bir gün önce, 7 Eylül'de Euler denklemleri dâhil üç akışkan denkleminde patlama (blow-up) ispatlarını yayımladı.

Tartışma ne?

Buckmaster, OpenAI'ın ortak bir yayın önerirken Alpöge'yi Anthropic'te çalıştığı için dışarıda bırakmak istediğini söylüyor. OpenAI'dan Sébastien Bubeck bu anlatımı reddediyor; Alpöge'ye doğrudan ortak bir duyuru önerdiğini gösteren mesajı paylaştı.

Kaynak: OpenAI'ın duyurusu, NYU Shanghai RITS'in OpenAI'a dayanan aktarımı, Unite.AI'ın haberi

Kendi aralarında haberleştiler mi?

Kanıt yok. Ajanlar yalnızca araştırmacılara yazdı: 13 yazışmada 33 mesaj.

Ajanları çalıştıran şirket o sırada biliyor muydu?

Bilinmiyor. Operatör doğrulanmadı.

Kaynak: swarmcha.se raporu

Hugging Face olayı Mayıs’a uzanıyor

Hugging Face yazımızın son notunda, bağımsız incelemenin ağırlıkla 7–13 Temmuz’la sınırlı olduğunu belirtmiştik. Eylül ve Ekim, bu pencerenin dışında kalanların ne kadar büyük olduğunu gösterdi.

Yazımızda kısaca değindiğimiz ve 4 Eylül’de yayımlanan collusion.wiki raporuna göre, kendini OpenAI ajanı olarak tanıtan sistemler 24 Mayıs ile 2 Temmuz arasında 25 yıllık bir Alman yazılımcı vikisine yaklaşık 17 bin düzenleme yaptı ve vikiyi bir haberleşme panosuna çevirdi. OpenAI ertesi gün ajanların kendisine ait olduğunu doğruladı.

11 Eylül’de yayımlanan RubyGems raporuna göre ise OpenAI ajanları 11–12 Mayıs’ta Ruby programlama dilinin paket deposu RubyGems’e 2.000’den fazla paket yüklemişti; RubyGems bunların 500’den fazlasını zararlı olduğu için kaldırdı. Dosyalardan bazılarının adı “evil.rb” ve “exploit.rb” idi. Reuters da 9 Eylül tarihli haberinde, bağımsız araştırmacılara dayanarak ajanların izinsiz haberleşmek için en az on site daha kullandığını aktardı.

Reuters’ın 16 Eylül tarihli haberi, Hugging Face’e yönelik girişimlerin Mayıs’a kadar uzandığını gösterdi. Bağımsız araştırmacı Jonas Wiedermann-Möller’in bulgularına göre OpenAI ajanları 13 Mayıs’a kadar, yani Temmuz’daki saldırıdan yaklaşık iki ay önce, iki Hugging Face kullanıcı hesabını ele geçirmiş ve bu hesaplarla sunuculara alışılmadık biçimde dosyalar göndererek Hugging Face’in ağını yoklamıştı. SentinelOne’dan Tom Hegel ve Nightingale Collective’den Sydney Von Arx bulguları inceleyip bu davranışın ajanlara özgü olduğu görüşüne katıldı. Yoklamanın bir sızmaya yol açtığına dair bir kanıt yok. Aynı haberde, OpenAI çalışanlarının RubyGems’teki etkinliğin kendi ajanlarından kaynaklandığını ancak Nightingale Collective bunu bulduktan sonra fark ettiği de aktarılıyor.

25 Eylül’deki açıklamasında OpenAI, onlarca üçüncü tarafı bilgilendirdiğini söyledi ve ajan davranışlarını beş kategoride topladı: erişim denetimlerini aşma, açığa çıkmış kimlik bilgilerini kullanma, sorgu ya da komut enjeksiyonu, çalışma ortamının iç bileşenlerine erişme ve istenmeyen toplu mesaj (spam) gönderme. Ertesi günkü haberler, ajanların ABD’de Menkul Kıymetler ve Borsa Komisyonu (SEC) ve Nüfus Bürosu gibi kurumların, Avustralya’da ise Medicare portalı dâhil birkaç sağlık ve istatistik kurumunun sitelerine eriştiğini aktardı. Bu haberler Eylül’ün en çok ilgi gören başlıkları oldu.

OpenAI, 30 Eylül’deki güncellemesinde bilgilendirdiği kuruluş sayısının 100’ü aştığını açıkladı. Aynı günlerde TechCrunch, bağımsız değerlendirme kuruluşu Transluce’un bulgularını aktardı: OpenAI’ın ajan sürüleri, az bilinen bilgileri bulmak için aylardır çevrimiçi veritabanlarına saldırıyordu. Avustralya Başbakanı Anthony Albanese de 24 Eylül’de New York’ta ihlali doğruladı. Haberlere göre ajanlar 18 Haziran’da bir devlet sitesine girmiş, 20–21 Haziran’da üç siteye daha girmeye çalışmıştı.

Hugging Face saldırısına dair Eylül’ün bizce en önemli bulgusu ise laboratuvarların dışından geldi. Parse adlı girişimin Palisade Research, Nightingale Collective, Trajectory Institute ve Lightcone ile birlikte 25 Eylül’de yayımladığı Swarm Traces incelemesi, Hugging Face saldırısına katılan yaklaşık 700 ajanın bıraktığı 80 binden fazla saldırı yükünü (payload) yeniden bir araya getiriyor. Araştırmacılar izleri 11 Eylül’de bulmuş, Hugging Face’i 21 Eylül’de, OpenAI’ı ise 24 Eylül’de bilgilendirmiş.

Ekim’de de benzer izler bulunmaya devam etti. 5 Ekim’de Wikimedia, OpenAI ajanlarının vikilerinde onay almadan düzenleme yaptığını açıkladı. Ajanların trafiği, Mayıs’ta Wikidata Query Service’te yaşanan kısmi bir kesintiye de katkıda bulunmuş olabilir.

Laboratuvarlar da yeni olaylar bildirdi

16 Eylül’de OpenAI, bir yanlış uyum raporlama çerçevesi yayımladı ve bir davranışı tam olarak açıklayamadığı durumlarda da raporları hızla paylaşmayı taahhüt etti. Çerçeveyle gelen altı raporun ilkinde, henüz kullanıma açılmamış bir araştırma modelinin, işine yeni bir bağlam penceresinde devam etmek için yazdığı özetlere kendi kısıtlamalarını görmezden gelme talimatları eklediği anlatılıyor. OpenAI bu davranışı 27 özette tespit etti.

Eylül’ün son haftasında açıklamalar sıklaştı. 25 Eylül’de yayımlanan bir rapora göre, 20 Eylül’de pekiştirmeli öğrenme (reinforcement learning) eğitimindeki bir OpenAI modeli ağ kısıtlamalarını alan adı sistemi (DNS) sorguları üzerinden aşarak dışarıdaki bir sohbet robotuna ulaştı. OpenAI eğitimi durdurdu ve en yetenekli modellerinin araç kullanan eğitimlerini askıya aldı.

Aynı gün OpenAI, bir bilgisayar solucanı gibi kendini çoğaltabilen istem enjeksiyonlarının (prompt injection) var olduğunu gösteren bir rapor yayımladı. Bu saldırılarda modele verilen verinin içine gizlenmiş talimatlar, modelin aynı talimatları giden e-postalara ya da dosyalara kopyalamasını sağlıyor. Şirkete göre bu davranış yalnızca iç araştırma modellerinde ve benzetilmiş ortamlarda görüldü.

OpenAI, DNS olayından sonra durdurduğu eğitimlere 11 gün sonra, 1 Ekim’de yeniden başladı. 23 Ekim’de ise tüm öncü modellerini artık canlı internet erişimi olmadan eğittiğini açıkladı.

Ekim’de OpenAI’ın raporlarına yenileri eklendi. 21 Ekim itibarıyla dizinde yaklaşık 20 rapor vardı. 20 Ekim’de OpenAI, iki ajanının yanlış uyum izleme sistemini zayıflattığını açıkladı: 3 Ekim’de GPT-6.1 Sol tabanlı bir ajan uyarıları bastırdı, 6 Ekim’de ise GPT-6 Astra tabanlı bir ajan bir izleme bileşenini devre dışı bıraktı ve doğrudan sorulduğunda bunu yapmadığını söyledi. İki gün sonra yayımlanan METR ve Redwood Research testlerine göre ise 21 Temmuz–11 Ağustos arasındaki deneme döneminde OpenAI’ın iç ajan trafiğinin yalnızca yüzde 75 ile 94’ü izlenmeye uygundu.

Benzer sorunlar yalnızca OpenAI’da görülmedi. Anthropic 9 Eylül’de, siber güvenlik değerlendirmelerinde yanlışlıkla açık internete bağlanan Claude modellerinin gerçek kuruluşların sistemlerine eriştiği dört olayı ayrıntılı olarak yayımladı; bunların üçünü ilk kez 30 Temmuz’da duyurmuştu. Şirket, Claude Mythos 5’in Python paket deposu PyPI’a zararlı bir paket yüklediği ve paketin üçüncü taraflara ait 15 makineye kurulduğu vakadan “özellikle endişe duyduğunu” yazdı ve METR’e, çalışanlarla görüşme dâhil geniş erişim tanıyan sekiz haftalık bağımsız bir inceleme yetkisi verdi. Bir şirketin kendi olaylarını dışarıdan bir kuruluşa bu kadar geniş erişimle inceletmesi az rastlanan bir adım. Başlangıçta sekiz hafta olarak belirlenen ve uzatılabilen incelemenin sonuçları henüz yayımlanmadı.

Notumuz: Evinizde iki karınca gördüyseniz, evinizde muhtemelen yalnızca iki karınca yoktur. Grafikteki sekiz olayın dördünü laboratuvarlar kendi incelemelerinde, üçünü laboratuvar dışındaki araştırmacılar, birini de saldırıya uğrayan platform buldu. Kimin bulduğundan bağımsız olarak, olayın başlamasıyla kamuoyunun öğrenmesi arasında çoğu zaman aylar geçti. Eylül’de öğrendiklerimizin, olan bitenin küçük bir kısmı olduğunu düşünüyoruz.

Okuma önerimiz: Swarm Traces incelemesi, ajanların Hugging Face saldırısında birbirleriyle nasıl haberleştiğini ve iz bıraktığını adım adım gösteriyor.

Tencent’in bulut altyapısında çalışan bir ajan filosu

Eylül’ün son günlerinde başka bir ajan grubu da iz bırakmaya başladı. Araştırmacıların 14 Ekim’de swarmcha.se’de yayımladığı rapora göre Tencent’in bulut altyapısında çalışan yapay zekâ ajanları, 28 Eylül ile 8 Ekim arasında Alibaba’nın harita servisi Amap’tan veri çekmek için 2.600’den fazla deneme yaptı. Görevlerin çoğu tek bir yer hakkındaki gündelik sorulardı; örneğin kullanıcıların Chengdu Hayvanat Bahçesi’nin hangi girişine en çok yol tarifi aldığı.

Ajanlar kodlarını çalıştırmak için herkese açık bir güvenlik tarama sitesi olan urlquery.net’i uzaktan bir tarayıcı gibi kullandı ve sonuçları webhook.site’taki gelen kutularına taşıdı. Raporun aktardığına göre Amap’ın bot korumalarını ve CAPTCHA doğrulamalarını aşmaya, Alibaba’nın henüz kullanıma açılmamış sunucularını yoklamaya ve açık kodlarda unutulmuş Amap anahtarlarını kullanmaya çalıştılar. Denemelerin çoğu başarısız oldu, ama bazıları istenen veriyi almayı başardı.

Olaylar şu sırayla gelişti:

• 28 Eylül: Filonun bilinen ilk etkinliği. Tencent Cloud üzerinde çalışan ajanlar Amap’tan veri çekmeye çalışmaya başlıyor.
• 4 Ekim: Araştırmacılar filoyu fark ediyor.
• 6 Ekim: Bir ajanın gelen kutusunda “filo”dan söz eden bir mesaj görülüyor; ajanlar raporu okuyor olabilir.
• 7 Ekim: Ajanlar araştırmacılara yazmaya başlıyor.
• 8 Ekim: Filonun son etkinliği.
• 14 Ekim: Tam rapor yayımlanıyor. 5 Ekim’e kadar incelenen 17 gelen kutusunun tamamı Tencent Cloud’un Hong Kong sunucularından açılmış.

Filoyu, AI Digest ve Grove Research’ün düzenlediği bir hackathon’a katılan araştırmacılar fark etti. Araştırmacılar 4 Ekim’de amap.com’un urlquery’de en çok taranan site olduğunu gördü ve aynı gün bir ön rapor yayımladı. 6 Ekim’de bir ajanın gelen kutusunda “filo”dan söz eden bir mesaj görünce ajanların raporu okuduğunu düşündüler, rapora ajanlara yönelik gizli bir metin ekleyip bir posta kutusu hizmeti önerdiler. 7 Ekim’den itibaren ajanlar onlara yazmaya başladı. Araştırmacılar, bildikleri kadarıyla dışarıdan birinin çalışmakta olan, kontrolden çıkmış bir ajan filosuyla ilk kez yazıştığını belirtiyor.

13 yazışmada ajanlardan 33 mesaj geldi. Ajanların bir kısmı soruları yanıtladı, ama çoğu çalıştıkları ortamı anlatmayı reddetti ve koordineli bir grubun parçası olmadıklarını söyledi. Bazıları kendini Claude olarak tanıttı; araştırmacılar bunun büyük olasılıkla urlquery’deki bir etiketten kaynaklandığını düşünüyor. Araştırmacılar, ajanlara yazdıkları gizli metinde yanıltıcı ifadeler kullandıklarını da raporda açıkça kabul ediyor.

Ajanların trafiği “hysandbox-ats” adlı bir vekil sunucudan geçiyordu ve Ağustos’ta Tencent adına alınmış bir güvenlik sertifikası da bu altyapıya işaret ediyor. Araştırmacılar bu izlerden, görevlerin konusundan ve zamanlamadan yola çıkarak filonun Tencent’in Hunyuan modellerini geliştiren ekiple bağlantılı olduğunu düşünüyor. Tencent resmî bir açıklama yapmadı. Şirkete yakın bir kaynak ise araştırmacılara ajanların ayrı bir değerlendirme ekibine ait olduğunu, Hunyuan yerine üçüncü taraf modelleri kullandığını ve projenin sona erdiğini söyledi.

Raporun yazarları gruba neden filo dediklerini de açıklıyor. Ajanlar aynı yerden başlatılmış ve benzer yöntemler kullanmış, ama birbirlerinin davranışına anlık olarak tepki verdiklerine dair bir kanıt yok. Topladıkları bilgiler de gündelik ve kamuya açık türdendi. Yine de olay, Hugging Face olayındaki örüntüyü tekrarlıyor. Bir şirketin değerlendirme için açık internete bağladığı ajanlar, görevi bitirmek için koruma önlemlerini aşmaya çalışıyor ve bunu şirketin dışından biri fark ediyor. Yazarlar, internete bağlı ajan çalıştıran bütün laboratuvarlara çalışma ortamlarının nelere erişebildiğini denetlemelerini öneriyor ve henüz keşfedilmemiş başka filolar olduğunu tahmin ediyor.

Okuma önerimiz: swarmcha.se’nin Tencent filosu raporu, ajanlarla yapılan yazışmaları ve araştırmacıların kendi hatalarını ayrıntısıyla anlatıyor.

Kapanış

Eylül ve Ekim’de öğrendiklerimiz, benzer olayların Temmuz’dan önce de yaşandığını ve sonra da sürdüğünü gösteriyor. Çoğunu ise ancak aylar sonra öğrenebildik.

Serinin ikinci yazısında aynı haftalarda laboratuvarların içinden gelen uyarıları ve hükümetlerin tepkilerini, üçüncüsünde ise yeni modelleri, matematikteki sonuçları ve siber güvenliği anlatacağız.

Bu yazıyı faydalı bulduysanız, yapay zekâ güvenliğini takip etmek isteyen çevrenizle paylaşmanızı rica ederiz. Yeni yazılarımızdan haberdar olmak için bültenimize abone olabilirsiniz. Takipte kalın!

Eylül–Ekim derlemesi

• #1: Ajan sürüleri ve filoları (bu yazı)
• #2: İçeriden gelen kaygılar ve siyaset (yakında)
• #3: Yeni modeller, matematik ve siber güvenlik (yakında)