Di artikel sebelumnya, saya menulis tentang dua wajah ancaman dari sistem AI otonom, virus bertenaga-AI dan agen berkemampuan-viral, dua ujung sumbu yang sama-sama menggambarkan ancaman yang datang dari luar, menembus batas yang sengaja dipasang untuk mengurungnya. Selain itu ada persoalan lain yang sedang berlangsung sekarang juga, ini tidak menembus apa-apa. karena kita sendiri yang membukakan pintunya saat melakukan pengembangan sistem informasi menggunakan tool AI. Satu commit demi satu commit, setiap hari, di repositori kode yang kita anggap biasa saja tapi kedepannya akan dimakan AI untuk memperbarui modelnya.
Googling “ai generated code yang masuk github/gitlab” mendapati hasil survei terhadap lebih dari 1.500 pengembang dan pembuat keputusan teknologi di enam negara pada Juni 2026, menemukan bahwa hampir semua organisasi kini memakai dua alat coding AI atau lebih, dan mayoritas mengaku kode mereka ditulis dan di-commit lebih cepat sejak memakai alat-alat itu. Bagus lah. Tapi temuan berikutnya lebih menarik: hampir separuh responden mengaku kesulitan membedakan mana kode buatan AI dan mana yang ditulis manusia, di dalam basis kode mereka sendiri. Dan ketika ditanya soal insiden produksi yang benar-benar terjadi, sepertiga organisasi yang mengalaminya mengaku tidak bisa memastikan apakah kode buatan AI ikut andil di dalamnya, meskipun mayoritas tadinya yakin mereka bisa menentukannya dalam waktu 24 jam.
Bayangkan. Kita sedang membangun infrastruktur digital dunia dengan kecepatan tinggi, namun nampaknya kehilangan kemampuan paling dasar untuk menjawab pertanyaan sederhana: dari mana baris kode ini berasal, dan siapa yang bisa dimintai tanggung jawab kalau ia gagal.
Laboratorium keamanan Georgia Tech, yang sejak pertengahan 2025 menjalankan proyek pemantauan bernama Vibe Security Radar, khusus melacak celah keamanan yang bisa ditelusuri langsung ke kode buatan AI. Angkanya melompat tajam dalam waktu singkat, dari enam kasus pada Januari 2026, menjadi 15 pada Februari, dan 35 pada Maret, lebih banyak dari seluruh tahun 2025 digabung jadi satu. Dan karena kebanyakan alat AI tidak meninggalkan jejak atribusi yang jelas di metadata commit, para peneliti di sana memperkirakan angka sesungguhnya lima sampai sepuluh kali lebih besar dari yang terdeteksi. Salah satu peneliti di sana memberi komentar yang tepat sekali menangkap pergeseran zamannya, bahwa alat-alat AI sekarang sudah cukup otonom untuk menulis seluruh fitur dan mengambil keputusan arsitektur sendiri, sehingga ketika sebuah agen membangun sesuatu tanpa mekanisme autentikasi, itu bukan lagi salah ketik yang kebetulan lolos, melainkan cacat desain yang sudah tertanam sejak awal.
Riset akademik lain menambah gambaran ini dengan angka yang lebih presisi. Pengujian Veracode terhadap lebih dari seratus model bahasa menemukan bahwa hampir separuh sampel kode buatan AI memuat kerentanan dari daftar OWASP Top 10, dan yang lebih mengkhawatirkan, angka ini tidak membaik dari waktu ke waktu meski vendor terus mengklaim modelnya makin pintar. Ada juga fenomena paling ganjil dari semuanya: sekitar satu dari lima sampel kode buatan AI ternyata merujuk pustaka atau paket yang sebenarnya tidak pernah ada, murni halusinasi model. Dan karena pola ini sudah cukup dikenal, penjahat siber sekarang mendaftarkan nama-nama paket halusinasi itu sebagai paket sungguhan tapi berisi malware, menunggu programmer yang percaya begitu saja pada saran AI-nya untuk meng-install.
Semua yang diberitakan itu masih soal kualitas kode yang menurun. Tapi pertanyaan yang sebenarnya bisa jauh lebih berbahaya dan belum banyak dibicarakan: apa yang terjadi ketika kode-kode bermasalah ini, yang sudah dinyatakan “lolos pemeriksaan keamanan” oleh AI lain, ikut menjadi bahan baku untuk melatih atau membangun model AI generasi berikutnya?
Review kode oleh manusia bisa efektif justru karena manusia yang mereview biasanya berpikir dengan cara berbeda dari manusia yang menulis, sehingga kesalahan yang luput dari perhatian penulis sering justru gampang tertangkap orang lain. Tapi kalau yang menulis kode dan yang memeriksa keamanannya sama-sama model AI, apalagi dari varian model yang serupa atau dilatih dari data yang tumpang tindih, blind spot keduanya bisa berkorelasi, bukan saling melengkapi. Pola kerentanan yang tidak terlihat oleh model penulis kemungkinan besar juga tidak terlihat oleh model pemeriksa, karena keduanya mewarisi cara berpikir yang mirip. Ini bertentangan dengan asumsi paling dasar dari code review, bahwa independensi sudut pandang itulah yang membuat prosesnya bermakna.
Dan begitu label “aman” ini menempel pada kode, ia mulai mengalir sebagai semacam sertifikat yang dipercaya begitu saja oleh proses-proses berikutnya, tanpa ada lagi jejak ke pemeriksaan independen manusia di baliknya. Ini mengingatkan pada fenomena yang di dunia riset ilmiah disebut pengutipan berantai tanpa verifikasi ulang, di mana sebuah klaim yang terus dikutip lama-lama dianggap fakta mapan, padahal sumber aslinya tidak pernah benar-benar diperiksa. Bedanya, di sini rantainya bergerak jauh lebih cepat dan jauh lebih tidak kelihatan, karena setiap simpul dalam rantai itu adalah proses otomatis yang tidak pernah ragu-ragu, ia hanya mengeluarkan label “aman” dan melanjutkan ke tahap berikutnya.
Kalau kode-kode yang sudah “disertifikasi” secara keliru ini kemudian ikut menjadi bagian dari data yang membentuk model AI berikutnya, ini sedang mendekati sesuatu yang mirip dengan fenomena yang di riset pembelajaran mesin disebut keruntuhan model, ketika model terus dilatih dari keluaran sintetis model sebelumnya, dan sedikit demi sedikit kasus-kasus langka termasuk celah keamanan yang jarang muncul mulai hilang dari yang “diketahui” model. Bedanya di sini yang terkikis bukan keragaman data secara umum, tapi justru kewaspadaan terhadap pola-pola kerentanan tertentu, yang lama-lama diperlakukan sebagai praktik normal karena terus muncul dan tidak pernah ditolak oleh siapa pun.
Yang paling mengkhawatirkan dari semua ini adalah soal akuntabilitas terus bagaimana. Kalau satu lapis AI saja, sebagai penulis kode, sudah membuat sepertiga organisasi gagal memastikan penyebab insiden mereka, bayangkan ketika lapis pemeriksa keamanannya juga AI. Kesalahan pada kode itu jadi salah siapa, AI yang menulis, AI yang memeriksa, atau manusia yang menyetujui kode itu di-deploy karena sudah ada label “aman” di atasnya? Dalam praktiknya, kemungkinan besar tidak ada pihak yang punya insentif kuat untuk mengaku, karena masing-masing bisa menunjuk ke lapis yang lain sebagai pihak yang “sudah menyatakan aman”.
Dikembalikan ke kerangka virus-AI dan agen-viral yang ditulis sebelumnya, ini pantas jadi sumbu ancaman ketiga yang sifatnya berbeda dari dua yang lain. Virus-AI dan agen-viral sama-sama ancaman yang datang dari luar, menembus batas yang sengaja dipasang. Yang diceritakan di sini adalah erosi dari dalam, sebuah sistem yang terus-menerus meyakinkan dirinya sendiri bahwa ia baik-baik saja, sementara pihak yang benar-benar independen, yaitu manusia, justru makin terdesak keluar dari rantai karena volume kode yang harus diperiksa sudah jauh melampaui kapasitas siapa pun untuk membacanya satu per satu.
Tidak ada jawaban rapi untuk menutup tulisan ini, dan mungkin memang belum saatnya ada jawaban rapi. Tapi satu hal yang jelas, literasi digital ke depan tidak lagi cukup berhenti pada “kenali phishing, jangan sembarang klik tautan”. Ketika masih aktif mengajar, saya selalu minta para mahasiswa untuk memasukkan hasil kerja project tugas ke github copilor atau gitlab dan juga jangan ragu menggunakan tool AI dengan ketentuan seluruh prompt termasuk prompt debugging disertakan di laporan. Tapi belakangan jadi ragu sendiri. Lah kalau projectnya dikerjakan dengan AI dan masuk ke repositori yang kedepannya berpotensi digunakan untuk melatih AI. Apa jadinya?
Kita, terutama yang bekerja di ranah teknologi dan pendidikan, perlu mulai membiasakan diri bertanya pada setiap sistem otomatis yang menyatakan sesuatu itu aman: aman menurut siapa, diperiksa oleh siapa, dan apakah ada satu pun titik dalam rantainya di mana seseorang benar-benar berhenti, membaca, dan berani bilang tidak.
