Sementara itu, AI agen adalah sistem AI yang mampu merencanakan, bertindak, dan membuat keputusan secara otonom, yang saat ini sedang berkembang pesat. Meskipun kemajuan AI agen mendorong perkembangan AGI, ini juga berpotensi menjadi bencana ketika sistem ini tidak terkendali, terutama ketika digabungkan dengan teknologi lainnya.
Contoh lain adalah perkembangan robot humanoid yang ditenagai oleh AI generatif, yang digunakan agar robot ini dapat beroperasi dan mengambil keputusan secara mandiri. NVIDIA saat ini bekerja sama dengan perusahaan robotika untuk mengembangkan model dasar bagi robot humanoid tersebut.
Kemajuan teknologi ini memang menarik, tetapi juga dapat menjadi ancaman tersembunyi bagi umat manusia. Oleh karena itu, pengawasan yang cermat dan manajemen yang bertanggung jawab sangat penting agar penerapan AI tetap aman dan tidak menjadi ‘senjata makan tuan’.
Kembali ke regulasi, dalam sejarah, regulasi sering kali terlambat mengikuti perkembangan teknologi dan inovasi. Namun, saat ini terdapat beberapa inisiatif seperti EU AI Act, California’s SB 1047, dan Council of Europe’s Framework Convention on AI yang bisa menjadi acuan dalam merumuskan aturan terkait AI.
Selain kebijakan pemerintah, semua pemangku kepentingan, terutama perusahaan yang mengembangkan model AI seperti OpenAI, Meta, dan Alphabet, juga memiliki peran penting dalam mengurangi risiko AI.
Dalam praktik keselamatan AI, sejumlah perusahaan teknologi pengembang AI mulai menerapkan regulasi pengamanan. OpenAI telah menyediakan Preparedness Framework, sementara Alphabet memiliki Google DeepMind Frontier Safety Framework, dan Anthropic menyiapkan Responsible Scaling Policy (RSP).
