Studi Menemukan Beberapa Laboratorium AI Top Memiliki Manajemen Risiko ‘Sangat Lemah’

(SeaPRwire) –   Beberapa laboratorium AI terkemuka di dunia menderita kekurangan langkah keamanan yang memadai – dan pelakunya yang terburuk adalah xAI milik Elon Musk, menurut sebuah studi baru.

Organisasi nirlaba Prancis SaferAI merilis peringkat pertamanya pada hari Rabu yang mengevaluasi praktik manajemen risiko dari perusahaan AI terkemuka. Siméon Campos, pendiri SaferAI, mengatakan tujuan dari peringkat tersebut adalah untuk mengembangkan standar yang jelas tentang bagaimana perusahaan AI menangani risiko karena sistem yang baru lahir ini tumbuh dalam kekuatan dan penggunaan. Sistem AI telah menunjukkan kemampuannya untuk atau . Pemerintah telah lamban dalam menerapkan kerangka kerja: sebuah tagihan California untuk mengatur industri AI di sana oleh Gubernur Gavin Newsom.

“AI adalah teknologi yang bergerak sangat cepat, tetapi manajemen risiko AI tidak bergerak dengan kecepatan yang sama,” kata Campos. “Peringkat kami ada di sini untuk mengisi kekosongan selama kita tidak memiliki pemerintah yang melakukan penilaian sendiri.

Untuk menilai setiap perusahaan, para peneliti untuk SaferAI menilai “red teaming” dari model – upaya teknis untuk menemukan kekurangan dan kerentanan – serta strategi perusahaan untuk memodelkan ancaman dan mengurangi risiko.

Dari enam perusahaan yang dinilai, xAI menempati urutan terakhir, dengan skor 0/5. Meta dan Mistral AI juga diberi label memiliki manajemen risiko “sangat lemah”. OpenAI dan Google Deepmind menerima peringkat “lemah”, sementara Anthropic memimpin dengan skor “sedang” 2,2 dari 5.

xAI menerima skor terendah karena mereka hampir tidak mempublikasikan apa pun tentang manajemen risiko, kata Campos. Dia berharap perusahaan tersebut akan mengalihkan perhatiannya ke risiko sekarang modelnya Grok 2 bersaing dengan Chat-GPT dan sistem lainnya. “Harapan saya adalah bahwa itu bersifat sementara: bahwa mereka akan menerbitkan sesuatu dalam enam bulan ke depan dan kemudian kita dapat memperbarui peringkat mereka dengan tepat,” katanya.

Campos mengatakan peringkat tersebut mungkin menekan perusahaan-perusahaan ini untuk meningkatkan proses internal mereka, yang berpotensi dapat mengurangi bias model, mengurangi penyebaran informasi yang salah, atau membuatnya lebih tahan terhadap penyalahgunaan oleh aktor jahat. Campos juga berharap perusahaan-perusahaan ini menerapkan beberapa prinsip yang sama yang diadopsi oleh industri berisiko tinggi seperti tenaga nuklir, biosafety, dan keselamatan penerbangan. “Meskipun industri-industri ini berurusan dengan objek yang sangat berbeda, mereka memiliki prinsip dan kerangka kerja manajemen risiko yang sangat mirip,” katanya.

Kerangka kerja penilaian SaferAI dirancang agar kompatibel dengan beberapa standar AI terpenting di dunia, termasuk yang ditetapkan oleh EU AI Act dan G7 Hiroshima Process. SaferAI adalah bagian dari , yang dibuat oleh Gedung Putih pada bulan Februari. Organisasi nirlaba ini terutama didanai oleh organisasi nirlaba teknologi Founders Pledge dan investor Jaan Tallinn.

Yoshua Bengio, salah satu tokoh paling dihormati dalam AI, mendukung sistem penilaian tersebut, menulis dalam sebuah pernyataan bahwa dia berharap hal itu akan “menjamin keamanan model yang [perusahaan] kembangkan dan sebarkan… Kita tidak dapat membiarkan mereka menilai pekerjaan rumah mereka sendiri.”

Koreksi, 2 Oktober: Versi asli cerita ini salah menyatakan bagaimana SaferAI menilai perusahaan. Para penelitinya menilai prosedur “red teaming” dari model; mereka tidak melakukan red teaming sendiri.