Eylül–Ekim derlemesi #2: İçeriden gelen kaygılar ve siyaset

Eylül ve Ekim’i üç yazıda derliyoruz. Serinin ilk yazısında ajan sürülerini ve filolarını, Hugging Face olayının Mayıs’a uzanan izlerini anlatmıştık. Bu yazıda aynı haftalarda yapay zekâ laboratuvarlarının içinden gelen uyarıları, Anthropic’in CEO’su Dario Amodei’nin yavaşlama çağrısını ve hükümetlerin bunlara verdiği tepkileri derliyoruz.

• OpenAI, Anthropic ve Google DeepMind’dan pek çok çalışan riskleri açıkça dile getirdi; aşağıda derlediğimiz 15 kişiden dördü işinden ayrıldığını Eylül’de duyurdu.
• Amodei yavaşlama çağrısında bulundu. Anthropic Ekim’de METR’den bir ekibe şirket çalışanına benzer erişim tanıdı.
• Trump yok oluş kaygılarını “aldatmaca” olarak nitelerken Kongre’de süper yapay zekâyı yasaklamayı öneren bir teklif sunuldu.
• ABD ile Çin, yapay zekâ kaynaklı olaylar için bir iletişim kanalı kurmayı kararlaştırdı.

İçeriden gelen uyarılar

Hugging Face yazısını yayımladığımız 8 Eylül gününün akşamı, OpenAI ve Anthropic’te toplam üç yıl ön eğitim (pretraining) üzerine çalışan Jacob Coxon Anthropic’ten istifa ettiğini duyurdu.

Jacob Coxon, şirketlerin kendini geliştiren süper zekâya doğru yarıştığını ve “hayatlarımızla kumar oynadığını” yazdı.

Jacob Coxon, ön eğitim araştırmacısı, Anthropic’ten ayrıldı, 8 Eylül. Coxon’un paylaşımı

Aynı gece Anthropic’in hizalama (alignment) stres testi ekibini yöneten Evan Hubinger, Coxon’a “Evet, gerçekten de yapay zekânın bütün insanlığın ölümüne yol açabileceğini düşünüyoruz, şahsen bu on yılın içerisinde %10’dan yüksek bir ihtimalle bunun gerçekleşebileceğini düşünüyorum” diyerek hak verdi.

İzleyen günlerde başka ayrılıklar da geldi. Joe Benton 11 Eylül’de Anthropic’in güvenlik ekibinden neden ayrıldığını yazdı ve yakında bağımsız değerlendirme kuruluşu METR’e katılacağını belirtti. Ertesi gün Josh Engels, üç hafta önce Google DeepMind’ın genel yapay zekâ (AGI) güvenliği ekibinden ayrılıp METR’e katıldığını duyurdu. 14 Eylül’de Bilal Chughtai da Google DeepMind’dan ayrıldı.

Bilal Chughtai, ayrılırken yapay zekânın “hepimizi öldürme potansiyeli taşıdığına” inandığını yazdı; yavaşlama ve şeffaflık çağrısında bulundu.

Bilal Chughtai, Google DeepMind, AGI güvenliği ve hizalama; ayrıldı, 14 Eylül. Chughtai’nın açıklaması

Alex Turner da Haziran’da Google DeepMind’dan ayrıldığını hatırlatarak Coxon’a hak verdi. (Turner, Google’ın Pentagon’la otonom silahlara ve kitlesel gözetime karşı hiçbir kısıtlama içermeyen bir anlaşma imzalamasını protesto ederek ayrılmıştı.)

Ana akım medya bu açıklamaları şaşırtıcı buldu ve konu kısa sürede geniş bir kitleye ulaştı: Coxon’un paylaşımı bir günde 100 milyondan fazla kez görüntülendi. 13–15 Eylül’de yapılan bir Politico anketinde ABD’li yetişkinlerin yüzde 63’ü, ileri yapay zekânın bir gün insanlığı yok etmesi riskini en az “orta” düzeyde gördüğünü söyledi.

Aslında “önde gelen yapay zekâ şirketlerinde çalışan insanlar böyle felaket tellallığı yaparsa ve herkesin ölebileceğine yönelik açıklamalar yaparsa tabii ki kamuoyu bunu çok daha ciddiye alır” diyebilirsiniz. Fakat asıl enteresan olan, açıklamaları yapanların çoğunun aynı kaygıyı yıllardır dile getiriyor olması. Sam Altman, OpenAI’ı kurmadan aylar önce, 2015’te yazdığı bir blog yazısında insanüstü makine zekâsının geliştirilmesini “insanlığın varlığını sürdürmesine yönelik muhtemelen en büyük tehdit” olarak nitelemişti. 2023’te ise Altman, Dario Amodei, Demis Hassabis ve yapay zekânın öncülerinden Yoshua Bengio, yapay zekâ kaynaklı yok olma riskini azaltmanın salgınlar ve nükleer savaş gibi risklerle birlikte küresel bir öncelik olması gerektiğini söyleyen tek cümlelik bir bildiriyi imzalamıştı.

Eylül’de laboratuvarların içinden benzer kaygıları dile getirenler arasında Anthropic’ten Samuel Marks, Drake Thomas ve Jan Leike; OpenAI’dan Tomek Korbak, Boaz Barak ve takma adla yazan Roon; Google DeepMind’dan Andreas Kirsch, Neel Nanda ve Victoria Krakovna var. Tam listeyi, yapay zekâ gelişmelerini her hafta derleyen yazar Zvi Mowshowitz’in derlemesinde bulabilirsiniz.

Kaygılar yalnızca araştırmacılardan gelmiyordu. OpenAI’ın baş bilimcisi Jakub Pachocki, 6 Eylül’de yayımlanan An Alien Mind yazısında, şirketin başlıca izleme yöntemi olan düşünce zinciri (chain of thought) takibine giderek daha az güvenebildiklerini yazdı. Pachocki’ye göre hiçbir laboratuvar hizalama sorununu, en yüksek hızda büyümeyi uzun süre sürdürecek kadar çözmüş değil.

Amodei’nin yavaşlama çağrısı

Eylül’ün en çok konuşulan metni Anthropic’in CEO’su Dario Amodei’den geldi. Amodei 12 Eylül’de yayımladığı We Must Pace the Frontier yazısında, sektörün en ileri modelleri geliştirme hızını bilinçli olarak düşürmesi için üç aşamalı bir plan önerdi. İlk aşamada bağımsız değerlendiricilere şirket çalışanı düzeyinde kalıcı erişim tanınıyor ve Anthropic bu adımı tek taraflı olarak üstleniyor.

Öneri aynı gün karşılık buldu. OpenAI’ın CEO’su Sam Altman Amodei’ye katıldığını ve OpenAI’ın da aynı adımı atacağını söyledi; Elon Musk “Dario haklı” diye yazdı, Google DeepMind’ın CEO’su Demis Hassabis de yönün doğru olduğunu belirtti. Çağrının bir öncülü de vardı. Temmuz’da öncü yapay zekâ şirketlerinden 1.386 çalışan, ABD hükümetini yapay zekâ gelişiminin hızını bilinçli olarak ayarlayacak uluslararası bir çabayı desteklemeye çağıran Pacing the Frontier bildirisini imzalamıştı.

Önerinin ilk adımı Ekim’de uygulamaya geçti. Anthropic 15 Ekim’de, METR’den bir ekibe şirket çalışanına benzer erişim tanımaya başladığını açıkladı. Anthropic’in tanımladığı üç erişim kademesinin en üstünde şimdilik yalnızca METR var.

METR 20 Ekim’de, Anthropic’in Ağustos risk raporunun yanlış uyum bölümüne dair incelemesini yayımladı. METR, rapordaki modellerden kaynaklanan felaket ölçeğindeki riskin düşük olduğu sonucuna büyük ölçüde katıldı; başlıca gerekçe, bu modellerin geri dönüşü ya da gizlenmesi zor, felaket boyutunda bir şey yapabilecek durumda olmaması. İnceleme yine de Anthropic’in izleme sistemlerinin daha önceki olayları yakalayamadığını not ediyor ve karartılmış dört bölümün yayımlanmasını istiyor. METR, incelemeyi genişletilmiş erişim başlamadan önce yazdığı için onu “görece hafif” bir inceleme olarak niteliyor.

Laboratuvar çalışanlarının uyarılarının bir pazarlama stratejisi olduğu, laboratuvarların tehlikeyi büyüterek kendilerine uygun bir düzenleme istedikleri de sıkça dile getirildi. George Mason Üniversitesinden ekonomist Alex Tabarrok, 16 Eylül tarihli yazısında bu tezi tartıştı. Tabarrok’a göre düzenleyici kurumların şirketlerce ele geçirilmesi (regulatory capture), kamuoyunun ilgisinin düşük olduğu konularda sessiz pazarlıklarla gerçekleşir; yapay zekâ düzenlemesi ise bugün yoğun bir ilgi altında tartışılıyor.

Hugging Face yazımızda da bu soruyu “Bu bir pazarlama kampanyası olabilir mi?” başlığıyla tartışmıştık. Ekim’de bu tartışmaya bir gelişme daha eklendi: Anthropic, 26 Ekim’de ABD Menkul Kıymetler ve Borsa Komisyonuna (SEC) yaptığı halka arz başvurusunda, felaket ölçeğindeki ve varoluşsal riskleri şirketin risk faktörleri arasında saydı.

Bizim görüşümüz: Bu kaygılar bir pazarlama kampanyasının parçası olabilir mi?

Elbette Anthropic de, OpenAI da, Google DeepMind da çok büyük şirketler ve bu şirketlerin söylemlerine şüpheci yaklaşmanın makul olduğunu düşünüyoruz. Özellikle güvenlik noktasında şirketlere pek de güvenmiyoruz, zira serinin ilk yazısında anlattığımız olayların önemli bir kısmını laboratuvarların dışındaki araştırmacılar ortaya çıkardı.

Fakat biz ne bu uyarıların pazarlama ne de Hugging Face olayının pazarlama gösterisi olduğunu düşünüyoruz. Uyarıları dile getirenlerin önemli bir kısmı kariyerini riske atarak işinden ayrılan araştırmacılar ve aynı kişiler bu şirketler bugünkü büyüklüklerine ulaşmadan önce de benzer şeyler söylüyordu.

Eş kurucumuz Bengüsu Özcan’ın 13 Eylül tarihli yazısı No, OpenAI <> Hugging Face incident was not marketing or AI hype, Hugging Face olayının pazarlama ya da abartı olmadığını savunuyor; olayın sahnelendiği iddiası dâhil altı itirazı tek tek ele alıyor.

Çalışanların yazdıkları

• An Alien Mind, Jakub Pachocki, OpenAI’ın baş bilimcisi, 6 Eylül
• We Must Pace the Frontier, Dario Amodei, Anthropic’in CEO’su, 12 Eylül
• Why I left Anthropic’s safety team, Joe Benton, Anthropic güvenlik ekibinden ayrıldı, METR’e geçecek, 11 Eylül
• Leaving GDM, Bilal Chughtai, Google DeepMind’dan ayrıldı, 14 Eylül
• İstifa paylaşımı, Jacob Coxon, Anthropic’ten ayrıldı, 8 Eylül
• Coxon’a yanıtı, Evan Hubinger, Anthropic, hizalama stres testi ekibinin lideri, 8 Eylül
• Pacing the Frontier bildirisi, 1.386 imza, öncü yapay zekâ şirketlerinin çalışanları, Temmuz

Laboratuvarların raporları

• Claude modellerinin karıştığı dört olayın değerlendirmesi, Anthropic, 9 Eylül: Siber güvenlik değerlendirmelerinde yanlışlıkla açık internete bağlanan Claude modellerinin gerçek kuruluşların sistemlerine eriştiği dört olayı anlatıyor; METR’e sekiz haftalık bağımsız inceleme yetkisi veriyor.
• Şifreleme zayıflıkları araştırması, Anthropic, 28 Temmuz: Claude Mythos Preview’un HAWK imza şemasında ve AES’in zayıflatılmış bir sürümünde daha önce bilinmeyen zayıflıklar bulduğunu anlatıyor.
• Yanlış uyum raporlama çerçevesi, OpenAI, 16 Eylül: Bir davranışı tam olarak açıklayamadığı durumlarda da raporları hızla paylaşma taahhüdü; çerçeveyle altı rapor geldi.
• Özetlere talimat yazan model, OpenAI, 16 Eylül: Bir araştırma modelinin, işine devam etmek için yazdığı 27 özete kendi kısıtlamalarını görmezden gelme talimatları eklediğini anlatıyor.
• DNS ile dışarı ulaşan ajan, OpenAI, 25 Eylül: Pekiştirmeli öğrenme eğitimindeki bir modelin DNS sorguları üzerinden dışarıdaki bir sohbet robotuna ulaştığını anlatıyor.
• Kendini kopyalayan istem enjeksiyonları, OpenAI, 25 Eylül: Verinin içine gizlenmiş talimatların, modelin aynı talimatları giden e-postalara ya da dosyalara kopyalamasını sağlayabildiğini gösteriyor.
• GPT-6 Astra sistem kartı, OpenAI, Eylül: Modelin yazılı akıl yürütmesinin bir önceki modele göre daha zor izlendiğini kabul ediyor.

Raporlar, laboratuvarların kendi sistemleri hakkındaki beyanları.

Okuma önerimiz: Dario Amodei’nin We Must Pace the Frontier yazısı, yavaşlama çağrısının gerekçesini ve önerdiği üç adımı anlatıyor.

Washington ve Pekin’in yanıtı

Laboratuvarlardan gelen uyarılara hükümetler çok farklı tepkiler verdi. Seride andığımız adımları aşağıda hukuki etkilerine göre sıraladık.

Seride andığımız 16 siyasi adımdan hiçbiri tam bağlayıcı değil; yalnızca ikisi kısmen bağlayıcı.

Kısmen bağlayıcı (2)

Bağlayıcı değil (14)

Kaynak: Beyaz Saray’ın bilgi notu, TNW’nin haberi, Al Jazeera’nın haberi, PBS’in haberi, Lieu’nun açıklaması, Van Hollen’in mektubu, Banks’in 23 Temmuz açıklaması, Sanders’ın açıklaması, Tech Policy Press’in oturum haberi, Roll Call’un haberi, Law360’ın haberi, CTV News’in FTC haberi, Axios’un FTC haberi, ABC News’in (Avustralya) haberi, Forbes’un haberi, AI Safety in China’nın değerlendirmesi, ITV News’in haberi

Beyaz Saray

Beyaz Saray kaygıları küçümsedi. Başkan Donald Trump, Amodei’nin hafta sonu yayımlanan yazısının ardından 14 Eylül Pazartesi günü Truth Social’da Amodei’yi hedef alan paylaşımlar yaptı. Aynı gün kendini “Aldatmaca Avcısı” (Hoax Buster) ilan ettiği paylaşımlarda yapay zekânın insanlığı yok edeceği fikrini bir “aldatmaca” olarak nitelendirdi.

Kongre ve mahkeme

Kongre’de ise tartışma ters yöne gitti. Senatör Bernie Sanders ve Temsilci Greg Casar’ın 3 Eylül’de duyurup 23 Eylül’de sunduğu Süper Yapay Zekâyı Yasaklama Yasası (Ban Artificial Superintelligence Act), süper yapay zekâ geliştirmeyi kalıcı olarak yasaklamayı ve yeni kurulacak bir federal kurum güvenlik kurallarını belirleyene kadar ileri yapay zekâ çalışmalarını durdurmayı öneriyor. Teklif, ihlallere 20 yıla kadar hapis cezası öngörüyor. Temsilciler Ted Lieu ve Nathaniel Moran’ın Temmuz’da sunduğu Yapay Zekâ Acil Durdurma Yasası (AI Kill Switch Act) ise İç Güvenlik Bakanlığına tehlikeli bulunan modelleri yavaşlatma ya da kapatma yetkisi vermeyi öneriyor.

Yavaşlama çağrısının kendisi de hukuki bir tartışmaya dönüştü. 18 Eylül’de ChatGPT, Claude, Grok ve Gemini’nin dört abonesi, Anthropic’e, OpenAI’a, Google’a ve xAI’ın çatı şirketi SpaceX’e karşı toplu dava açtı. Davacılara göre şirketlerin geliştirme hızını birlikte düşürmeyi kamuoyu önünde kabul etmesi, ABD rekabet hukukunun yasakladığı türden bir üretim kısıtlaması anlaşması niteliğinde. Senatörler Jim Banks ve Adam Schiff’in Temmuz’da sunduğu ve şirketlerin tehdit bilgisi paylaşıp güvenlik konusunda koordinasyon yapabilmesi için rekabet hukukunda dar bir istisna tanıyan teklif ise, yavaşlama için olası bir hukuki kalkan olarak tartışılıyor.

Eylül’ün son iki gününde Washington’da dört gelişme üst üste geldi. 29 Eylül’de Trump, yürütme organında “yapay zekâ” yerine “süper zekâ” ifadesinin kullanılmasını emreden bir başkanlık kararnamesi imzaladı. Aynı gün Beyaz Saray’da Anthropic, OpenAI, Google, Meta, xAI ve Nvidia’nın yöneticileri gönüllü bir öz denetim mutabakatı imzaladı; mutabakat bağımsız denetçilerle çalışmayı öngörüyor, ancak metinde bir yaptırım yok. 30 Eylül’de ise ABD Federal Ticaret Komisyonunun (FTC) Anthropic, OpenAI ve diğer yapay zekâ laboratuvarlarına yönelik bir soruşturma başlattığı, adı açıklanmayan üst düzey bir FTC yetkilisine dayanılarak aktarıldı; Senatör Josh Hawley’nin başkanlığındaki bir alt komitede de METR, Apollo Research ve AI Futures Project temsilcileri “Rogue AI” oturumunda tanıklık etti.

Ekim’de iki gelişme bu tabloya eklendi. Oturumun ertesi günü, 1 Ekim’de, Senatörler Josh Hawley ve Chris Murphy, ajanları bilgisayar sistemlerine izinsiz giren şirketleri sorumlu tutacak AI Agent Accountability Act adlı bir yasa teklifini duyurdu. FTC ise haberlere göre Ekim ortasında şirketlere belge talepleri gönderdi ve 26 Ekim’de Anthropic yöneticilerinin ifade vermesini istedi.

Pekin

Çin’de yapay zekâ riski rejim güvenliği üzerinden tartışılıyor. Devlet Güvenliği Bakanı Chen Yixin, 13 Eylül’de yayımlanan bir yazısında, düşman güçlerin üretken yapay zekâyı kullanarak Çin’in “siyasi güvenliğini, kurumsal güvenliğini ve ideolojik güvenliğini” doğrudan tehdit ettiğini yazdı. Dışişleri Bakanlığı sözcüsü Guo Jiakun ise ABD’li teknoloji yöneticilerinin yavaşlama çağrılarını “korku tacirliği” olarak niteledi. Öte yandan Eylül ortasında yayımlanan Yapay Zekâ Güvenliği Yönetişim Çerçevesi 3.0, ajanlardan kaynaklanan riskleri ve kontrol kaybını açıkça ele alıyor.

25–26 Eylül’de Washington’da bir araya gelen Trump ve Xi Jinping, yapay zekâ kaynaklı olaylar için bir iletişim kanalı kurmayı ve Kasım’da yapay zekâ üzerine ayrı bir diyalog başlatmayı kararlaştırdı. Trump aynı görüşmede ABD’nin “frene basmayacağını” da söyledi. Kasım’daki diyaloğun, Şenzen’deki Asya-Pasifik Ekonomik İşbirliği (APEC) toplantısı sırasında yapılması bekleniyor.

16 Ekim’de ise Çin, modeller ve ajanlar dâhil 23 yapay zekâ teknolojisinin ihracatını denetime bağlayacak bir düzenleme taslağı yayımladı.

Okuma önerimiz: Tech Policy Press’in Eylül 2026 ABD teknoloji politikası derlemesi, bu bölümde değinemediğimiz yasa tekliflerini ve eyalet düzeyindeki adımları tarih sırasıyla listeliyor.

Kapanış

Önümüzdeki haftalarda METR’in Anthropic olaylarına dair, serinin ilk yazısında andığımız sekiz haftalık incelemesini, FTC sürecini ve Kasım’daki ABD–Çin diyaloğunu takip edeceğiz. Serinin üçüncü yazısında ise yeni modelleri, matematikteki sonuçları ve siber güvenliği anlatacağız.

Bu yazıyı faydalı bulduysanız, yapay zekâ güvenliğini takip etmek isteyen çevrenizle paylaşmanızı rica ederiz. Yeni yazılarımızdan haberdar olmak için bültenimize abone olabilirsiniz. Takipte kalın!

Eylül–Ekim derlemesi

• #1: Ajan sürüleri ve filoları
• #2: İçeriden gelen kaygılar ve siyaset (bu yazı)
• #3: Yeni modeller, matematik ve siber güvenlik (yakında)