Pada 16 Juli 1945 dunia berubah selamanya. Tes ‘Trinity’ Proyek Manhattan, yang dipimpin oleh Robert Oppenheimer, untuk pertama kalinya memberikan kemampuan kepada umat manusia untuk menghancurkan dirinya sendiri: bom atom telah berhasil diledakkan 210 mil di selatan Los Alamos, New Mexico.
Pada 6 Agustus 1945 bom dijatuhkan di Hiroshima dan tiga hari kemudian, Nagasaki—melepaskan kekuatan destruktif yang belum pernah terjadi sebelumnya. Akhir Perang Dunia II membawa perdamaian yang rapuh, dibayangi oleh ancaman eksistensial baru ini.
Sementara teknologi nuklir menjanjikan era energi melimpah, itu juga meluncurkan kita ke masa depan di mana perang nuklir bisa mengarah pada akhir peradaban kita. ‘Radius ledakan’ teknologi kita telah meningkat ke skala global. Semakin jelas bahwa mengendalikan teknologi nuklir untuk menghindari bencana global memerlukan kerja sama internasional. Waktu sangat penting untuk membangun lembaga yang kuat untuk menangani ini.
Pada tahun 1952, 11 negara mendirikan CERN dan menugaskannya dengan “kolaborasi dalam penelitian ilmiah [nuklir] yang sifatnya murni fundamental” — menjelaskan bahwa penelitian CERN akan digunakan untuk kepentingan umum. Badan Energi Atom Internasional (IAEA) juga didirikan pada tahun 1957 untuk memantau persediaan uranium global dan membatasi proliferasi. Di antara lainnya, lembaga-lembaga ini membantu kita bertahan selama 70 tahun terakhir.
Kami percaya bahwa umat manusia sekali lagi menghadapi peningkatan ‘radius ledakan’ teknologi: pengembangan kecerdasan buatan maju. Teknologi kuat yang bisa menghancurkan umat manusia jika dibiarkan tak terkendali, tetapi, jika dimanfaatkan dengan aman, bisa mengubah dunia menjadi lebih baik.
Hantu kecerdasan buatan umum
Para ahli telah memperingatkan tentang pengembangan kecerdasan buatan umum (AGI). Ilmuwan AI dan pemimpin perusahaan AI terkemuka, termasuk Sam Altman dari OpenAI dan Demis Hassabis dari Google DeepMind, menandatangani pernyataan dari Center for AI Safety yang menyatakan: “Mengurangi risiko kepunahan dari AI harus menjadi prioritas global di samping risiko skala masyarakat lainnya seperti pandemi dan perang nuklir.” Beberapa bulan sebelumnya, surat lain yang menyerukan jeda dalam percobaan AI raksasa ditandatangani lebih dari 27.000 kali, termasuk oleh pemenang Turing Prize Yoshua Bengio dan Geoffrey Hinton.
Ini karena sekelompok kecil perusahaan AI (OpenAI, Google Deepmind, Anthropic) bertujuan untuk menciptakan AGI: bukan hanya chatbot seperti ChatGPT, tetapi AI yang ” otonom dan melampaui manusia di sebagian besar kegiatan ekonomi”. Ian Hogarth, investor dan sekarang Ketua Foundation Model Taskforce Inggris, menyebut ini ‘AI dewa’ dan memohon pemerintah untuk memperlambat balapan untuk membangunnya. Bahkan para pengembang teknologi itu sendiri mengharapkan bahaya besar darinya. Altman, CEO perusahaan di balik ChatGPT, mengatakan bahwa “Pengembangan kecerdasan mesin supermanusia (SMI) mungkin merupakan ancaman terbesar bagi kelangsungan hidup umat manusia.”
Para pemimpin dunia menyerukan pembentukan lembaga internasional untuk menangani ancaman AGI: ‘CERN’ atau ‘IAEA untuk AI’. Pada bulan Juni, Presiden Biden dan Perdana Menteri Inggris Sunak membahas organisasi semacam itu. Sekretaris Jenderal PBB, Antonio Guterres berpikir kita juga membutuhkannya. Mengingat konsensus yang berkembang untuk kerja sama internasional dalam menanggapi risiko dari AI, kita perlu menguraikan secara konkret bagaimana lembaga semacam itu dapat dibangun.
Apakah ‘CERN untuk AI’ akan terlihat seperti MAGIC?
MAGIC (Konsorsium AGI Multilateral) akan menjadi satu-satunya fasilitas AI maju dan aman di dunia yang berfokus pada penelitian dan pengembangan AI maju berorientasi keamanan. Seperti CERN, MAGIC akan memungkinkan umat manusia mengambil alih pengembangan AGI dari tangan perusahaan swasta dan meletakkannya ke tangan organisasi internasional yang diamanatkan untuk pengembangan AI yang aman.
MAGIC akan memiliki eksklusivitas ketika berhubungan dengan penelitian dan pengembangan AI maju berisiko tinggi. Akan ilegal bagi entitas lain untuk secara independen mengejar pengembangan AGI. Ini tidak akan mempengaruhi sebagian besar penelitian dan pengembangan AI, dan hanya berfokus pada penelitian terdepan yang relevan dengan AGI, mirip dengan cara kita sudah menangani R&D berbahaya dengan teknologi lain. Penelitian tentang rekayasa patogen mematikan sama sekali dilarang atau dibatasi pada laboratorium dengan tingkat biosafety yang sangat tinggi. Pada saat yang sama, sebagian besar penelitian obat diawasi oleh badan pengawas seperti FDA.
MAGIC hanya akan peduli dengan mencegah pengembangan sistem AI frontier berisiko tinggi – AI dewa. Temuan penelitian yang dilakukan di MAGIC hanya akan dibagikan ke dunia luar setelah terbukti aman secara meyakinkan.
Untuk memastikan penelitian AI berisiko tinggi tetap aman dan di bawah pengawasan ketat di MAGIC, moratorium global pada penciptaan AI menggunakan lebih dari sejumlah daya komputasi tertentu akan diberlakukan (berikut gambaran bagusnya mengapa daya komputasi itu penting). Ini mirip dengan cara kita sudah menangani uranium secara internasional, sumber daya utama yang digunakan untuk senjata dan energi nuklir.
Tanpa tekanan kompetitif, MAGIC dapat memastikan keamanan dan keamanan yang memadai yang dibutuhkan untuk teknologi transformatif ini, dan mendistribusikan manfaatnya ke semua pihak penandatangan. CERN ada sebagai preseden tentang bagaimana kita dapat berhasil dengan MAGIC.
AS dan Inggris berada dalam posisi yang sempurna untuk memfasilitasi upaya multilateral ini, dan meluncurkan insepsinya setelah KTT Global tentang Kecerdasan Buatan yang akan datang pada bulan November tahun ini.
Menghindari risiko eksistensial dari AGI menakutkan, dan meninggalkan tantangan ini ke perusahaan swasta adalah taruhan yang sangat berbahaya. Kita tidak membiarkan individu atau perusahaan mengembangkan senjata nuklir untuk penggunaan pribadi, dan kita tidak boleh membiarkan ini terjadi dengan AI yang berbahaya dan kuat. Kita berhasil tidak menghancurkan diri kita sendiri dengan senjata nuklir, dan kita dapat mengamankan masa depan kita lagi – tetapi tidak jika kita tetap diam. Kita harus menempatkan pengembangan AI maju ke tangan lembaga global baru yang dipercaya dan menciptakan masa depan yang lebih aman bagi semua orang.
Lembaga pasca-Perang Dunia II membantu kita menghindari perang nuklir dengan mengendalikan pengembangan nuklir. Karena umat manusia menghadapi ancaman global baru—kecerdasan buatan umum (AGI) yang tidak terkendali—kita sekali lagi perlu bertindak untuk mengamankan masa depan kita.