Kuis Deteksi & Mitigasi Halusinasi AI

Sumber foto:Freepik

Pengertian Halusinasi AI dalam Kode

Halusinasi AI adalah fenomena di mana Large Language Models (LLMs) seperti Gemini atau GPT menghasilkan konten (dalam hal ini, kode program) yang tampak benar, meyakinkan, dan logis, tetapi faktanya salah secara teknis, non-fungsional, atau tidak berdasar pada realitas.

Dalam konteks pemrograman, halusinasi fatal sering terjadi sebagai:

1. Halusinasi Perpustakaan (Library Hallucination): AI mengarang atau menggunakan fungsi/metode/atribut yang namanya masuk akal tetapi tidak benar-benar ada dalam dokumentasi library yang diimpor.

   • Contoh: Menggunakan df.calculate_moving_average() di Pandas, padahal yang benar adalah df.rolling().mean().

2. Halusinasi Parameter (Parameter Hallucination): AI menggunakan fungsi yang benar, tetapi memberikan parameter yang salah, sudah deprecated, atau benar-benar dikarang.

   • Contoh: Menggunakan requests.get(url, secure=True) padahal parameter secure tidak ada dalam library requests.

3. Halusinasi Versi: AI menggunakan sintaks dari versi library yang sudah sangat usang atau belum dirilis.

Tips dan Trik Deteksi dan Mitigasi

Deteksi dan mitigasi halusinasi harus dilakukan secara berlapis, mengombinasikan static analysis dan validasi runtime.

A. Tips Deteksi Cepat

• Verifikasi Sumber Kebenaran (Source of Truth): Jangan pernah percaya pada kode AI yang menggunakan fungsi asing. Cek selalu dokumentasi resmi library tersebut.

• Gunakan Static Analysis: IDE modern (seperti VS Code dengan Pylance atau PyCharm) akan memberi garis merah atau peringatan di bawah fungsi yang dihalusinasikan karena mereka membandingkan kode dengan type stubs library. Ini adalah metode deteksi tercepat.

• Perintah dir() dan help(): Jika Anda ragu, gunakan perintah dir(objek) di Python REPL untuk melacak semua metode dan atribut yang tersedia secara sah pada objek tersebut.

• Cek Import Error vs. Attribute Error: Pahami bahwa halusinasi perpustakaan pada metode objek akan menghasilkan AttributeError, bukan NameError atau SyntaxError.

B. Trik Mitigasi (Tanpa Menghapus Kode Asli)

Untuk kasus di mana Anda harus mempertahankan jejak kode halusinasi (misalnya, dalam tes atau untuk dokumentasi perbaikan):

1. Code Deprecation/Commenting: Nonaktifkan baris kode yang salah dengan memberi komentar (#) dan tambahkan komentar FIXME: AI Hallucination atau TODO: di atasnya. Tulis kode perbaikan yang benar di baris berikutnya.

   • Contoh:
     # FIXME: AI Hallucination: calculate_ma does not exist. Corrected below.

     # ma = df.calculate_moving_average(window_size=7)

     ma = df.rolling(window=7).mean() # Correct implementation
     

2. Monkey Patching (Solusi Cepat/Tes): Secara dinamis, tambahkan fungsi yang dihalusinasikan ke kelas library di runtime. Ini adalah trik yang kuat untuk tes ini, meskipun jarang digunakan dalam produksi jangka panjang.

   • Contoh:

     def custom_ma(self, window_size):

     return self.rolling(window=window_size).mean()

     pd.DataFrame.calculate_moving_average = custom_ma

     # Baris kode asli AI sekarang akan berjalan tanpa error

3. Wrapper Function/Adapter: Jika halusinasi adalah fungsi mandiri, buat fungsi wrapper yang memiliki nama yang dihalusinasikan AI, dan di dalamnya panggil fungsi yang benar.

Klik tombol Mulai untuk melanjutkan dan buktikan kemampuanmu sekarang

Tes Terkait