Ketika model-model unggulan dari tiga raksasa AI—OpenAI, Anthropic, dan Google—beradu dalam pertarungan yang sama, siapa yang lebih pandai mengendalikan robot?
Pada 20 Oktober, RoboColiseum, arena adu embodied intelligence yang didirikan bersama oleh hampir 20 universitas, perusahaan, dan lembaga penelitian global termasuk Mibee Technology, Hugging Face, NVIDIA, dan Universitas Tsinghua, mengumumkan hasil evaluasi putaran ini: Claude Opus 5.5 menempati peringkat pertama secara keseluruhan di antara empat model unggulan, diikuti oleh GPT-6 Astra.
Dilihat dari sub-kategori, di antara empat model unggulan, GPT-6 Astra memimpin dalam hal mengikuti instruksi dan adaptasi terhadap gangguan secara keseluruhan, dengan skor mengikuti instruksi mencapai 99,35; Opus tampil lebih baik dalam pemahaman spasial dan operasi umum, serta meraih peringkat pertama keseluruhan di grup unggulan dengan konsumsi token evaluasi sepanjang putaran paling sedikit. Dalam pengujian dengan gangguan kualitas gambar, GPT-6.1 Sol tertinggal jauh dari tiga model lainnya, menunjukkan perbedaan stabilitas antar model dalam menghadapi perubahan informasi visual.
Namun dua peringkat teratas dalam klasemen keseluruhan putaran ini masih ditempati oleh model strategi embodied, terutama dalam menjaga keunggulan di dimensi operasi umum.
Pertarungan di panggung yang sama ini memberikan referensi intuitif bagi industri untuk melihat keunggulan dan kelemahan kemampuan model bahasa besar umum versus model strategi embodied.
RoboColiseum meluncurkan empat sub-peringkat kemampuan dan 78 tugas evaluasi simulasi berfidelitas tinggi yang mencakup mengikuti instruksi, pemahaman spasial, adaptasi terhadap gangguan, dan operasi umum, yang tidak hanya menampilkan performa per kategori model, tetapi juga merekam langkah penyelesaian tugas dan lokasi kegagalan, membantu pengembang dengan cepat mengidentifikasi kelemahan kemampuan model.
Sebagai salah satu pendiri bersama, Mibee menyediakan aset objek berfidelitas tinggi dan skenario simulasi untuk RoboColiseum, mendukung pembangunan lingkungan evaluasi untuk tugas operasi robot yang kompleks, serta menyediakan sumber daya dasar untuk pengujian kemampuan model dalam berbagai interaksi objek, tata letak spasial, dan kondisi lingkungan.
Apakah hasil model dalam simulasi dapat mencerminkan performa operasi di dunia nyata juga menjadi kunci evaluasi. Berdasarkan hasil pengujian aktual yang diumumkan platform, korelasi antara evaluasi simulasi RoboColiseum dan penerapan di robot nyata mencapai 89,5%, dengan perbedaan evaluasi model yang sama antara simulasi dan dunia nyata kurang dari 10%, yang dapat menjadi referensi bagi pengembang dalam seleksi model dan identifikasi masalah sebelum memasuki pengujian pada robot nyata.
Mibee Technology menyediakan sistem penyediaan data yang "lengkap, berkualitas, dan cepat", mencakup tiga paradigma data utama: robot nyata, simulasi, dan tanpa tubuh. Di bidang simulasi, Mibee menyediakan dua jenis sumber daya—aset objek dan aset lingkungan—yang mencakup berbagai benda sehari-hari dan skenario dalam ruangan, serta menyediakan kemampuan rekonstruksi skenario, akuisisi data trajektori ahli, dan visualisasi hasil evaluasi, membantu tim model melakukan pelatihan dan evaluasi yang beragam.
Coliseum awalnya merujuk pada arena sirkus Romawi kuno; RoboColiseum menggunakan citra tersebut untuk membangun sistem evaluasi multidimensi, dengan evaluasi simulasi yang sangat konsisten dengan performa robot nyata, membangun "arena" dan "lapangan latihan" yang terbuka, netral, dan dapat direproduksi bagi model kecerdasan embodied. Universitas, lembaga penelitian, atau pengembang perusahaan mana pun dapat mengirimkan model mereka untuk mengikuti serangkaian "ujian" terstandarisasi. Sejak diluncurkan pada Agustus, lebih dari 100 tim dari dalam dan luar negeri telah melakukan pelatihan dan evaluasi model di platform ini.
RoboColiseum kini telah terbuka bagi pengembang global, dan tim model dipersilakan untuk berpartisipasi dalam evaluasi.
