Riset AI Waktu baca 5 menit

Pengujian Prompt 2026: Perbaiki Tanpa Merusak yang Sudah Berhasil

Oleh Emmanuel Abou Chabke, Pendiri dan Editor · Ditinjau oleh tim editorial AIQuickPrompt · Tentang penerbit

Menguji prompt berarti memeriksa instruksi tersimpan dengan contoh dan kriteria keberhasilan yang jelas. Uji regresi menambahkan satu pertanyaan: apakah versi baru masih menangani pekerjaan yang sebelumnya berhasil? Sebelum mengganti prompt ChatGPT, Claude, atau Gemini yang berguna, bandingkan kedua versi dengan masukan yang sama. Jawaban bagus untuk satu permintaan sulit adalah alasan untuk menguji perubahan, bukan bukti bahwa perubahan itu layak masuk pustaka.

Dua versi prompt melewati tiga kasus uji yang sama sebelum versi revisi dimasukkan ke pustaka prompt
Dua versi prompt melewati tiga kasus uji yang sama sebelum versi revisi dimasukkan ke pustaka prompt

Berita November: optimasi prompt perlu pemeriksaan perilaku yang dipertahankan

STEVE, yang diterbitkan dalam Findings IJCNLP-AACL 2026 untuk konferensi 6–10 November, meneliti ketidakstabilan optimasi prompt otomatis. Pracetaknya muncul pada 20 September; ini publikasi konferensi baru, bukan teknik yang baru diumumkan hari ini.

Peneliti menemukan dua masalah: umpan balik pada jawaban yang sudah benar dapat menghasilkan perubahan yang tidak membantu, dan optimasi berulang untuk contoh sulit dapat merusak kinerja pada contoh sederhana. Metodenya menggunakan kegagalan untuk mengarahkan revisi dan kumpulan pelestarian terpisah untuk memeriksa kandidat. Mereka melaporkan hasil yang lebih stabil pada sepuluh tolok ukur penalaran.

Panduan praktis berikut adalah adaptasi kami untuk pustaka prompt sehari-hari. Ini bukan reproduksi STEVE, perbandingan aplikasi chat, atau klaim bahwa templat ini menghasilkan capaian makalah tersebut.

Seperti apa regresi prompt dalam pekerjaan

Bayangkan prompt tersimpan yang mengubah arahan klien menjadi email singkat. Prompt berfungsi sampai datang arahan tanpa tenggat. Anda menambahkan: ‘Selalu ajukan pertanyaan sebelum menulis.’ Ini mendeteksi tanggal yang hilang, tetapi sekarang model juga bertanya saat arahannya lengkap. Anda memperbaiki satu kasus dan membuat kasus rutin kurang berguna.

Coba perubahan lebih spesifik: ‘Jika arahan tidak memuat fakta yang diperlukan untuk email, daftarkan fakta yang hilang tanpa mengarangnya. Jika lengkap, tulis email.’ Ini contoh revisi untuk diuji, bukan hasil pengukuran.

Seperti apa regresi prompt dalam pekerjaan
Masukan ujiPerilaku yang diwajibkan
Arahan lengkapTulis email tanpa pertanyaan yang tidak perlu
Arahan tanpa tanggal pentingIdentifikasi tanggal yang hilang; jangan mengarang
Arahan dengan tanggal bertentanganTandai pertentangan sebelum menulis

Cara menguji prompt AI dalam lima langkah

Mulai dengan satu tugas berulang. Tentukan aturan penerimaan sebelum membaca jawaban baru agar tulisan yang bagus tidak menutupi persyaratan yang terlewat.

  • Simpan acuan: simpan prompt saat ini sebelum mengeditnya.
  • Buat kumpulan kecil kasus: sertakan masukan rutin, kegagalan yang diketahui, serta masukan bertentangan atau tidak lengkap. Tambahkan contoh realistis saat menemukannya.
  • Ubah satu persyaratan: tangani kegagalan yang diamati tanpa menulis ulang instruksi lain yang tidak terkait.
  • Bandingkan dengan kondisi setara: gunakan model, masukan, alat, dan pengaturan yang sama jika tersedia. Pisahkan percakapan agar jawaban sebelumnya tidak memengaruhi perbandingan.
  • Tinjau setiap kasus: pertahankan perubahan hanya jika menyelesaikan masalah sasaran dan menjaga perilaku penting. Ulangi kasus yang tidak pasti dan catat perbedaan penilaian.
Kandidat prompt memperbaiki satu kasus tetapi gagal pada kasus yang sebelumnya berhasil, sehingga kembali direvisi alih-alih menggantikan versi tersimpan
Kandidat prompt memperbaiki satu kasus tetapi gagal pada kasus yang sebelumnya berhasil, sehingga kembali direvisi alih-alih menggantikan versi tersimpan

Templat siap salin: minta revisi prompt yang terarah

Isi placeholder dengan kegagalan nyata dan persyaratan Anda. Hapus informasi rahasia klien. Minta kandidat perubahan lalu uji sendiri pada kasus yang tersedia; penjelasan pengoptimal bukan hasil pengujian.

Revisi prompt yang dapat digunakan ulang ini: {{baseline_prompt}}
Kegagalan yang diamati: {{failed_input_and_output}}
Perilaku yang diwajibkan: {{acceptance_rules}}
Perilaku yang harus dipertahankan: {{preservation_rules}}
Usulkan perubahan berguna yang paling kecil.
Kembalikan prompt revisi, alasan setiap perubahan, dan kemungkinan regresi untuk diuji.
Jangan mengklaim telah menjalankan pengujian atau meningkatkan akurasi.

Templat siap salin: kartu uji evaluasi prompt

Pisahkan perilaku yang diharapkan dari jawaban yang Anda kumpulkan. Untuk tugas faktual, gunakan referensi terverifikasi; untuk penulisan, tentukan persyaratan teramati seperti panjang, klaim berdasar, dan kolom wajib. AI dapat membantu menemukan masalah, tetapi manusia harus menyelesaikan penilaian yang tidak pasti.

Tugas: {{task_name}}
Versi acuan: {{baseline_version}}
Versi kandidat: {{candidate_version}}
Model dan tanggal: {{model_and_date}}
Alat dan pengaturan: {{tools_and_settings}}
Masukan uji: {{test_input}}
Perilaku yang diharapkan: {{expected_behavior}}
Keluaran acuan: {{baseline_output}}
Keluaran kandidat: {{candidate_output}}
Periksa: fakta wajib, format, informasi hilang, dan langkah yang tidak perlu.
Catat: lulus, gagal, atau tidak pasti untuk setiap versi, disertai bukti.
Keputusan: pertahankan, revisi, atau tolak kandidat.
Pertanyaan yang belum terjawab: {{review_notes}}

Simpan versi prompt di AIQuickPrompt, lalu uji di alat kerja Anda

Simpan acuan, kandidat, dan kartu uji dalam pustaka. Gunakan judul jelas seperti ‘Email klien — periksa tanggal hilang’, serta variabel yang dapat digunakan ulang untuk masukan yang berubah. Catat perubahan dan model yang diperiksa sebelum menjadikan kandidat versi sehari-hari.

AIQuickPrompt menyediakan penyimpanan prompt, variabel yang dapat digunakan ulang, dan riwayat versi. Alur ini memakai fitur tersebut untuk mengatur pekerjaan; Anda menjalankan perbandingan di alat AI pilihan dan mencatat hasilnya sendiri. Menyimpan prompt tidak otomatis menjalankan rangkaian uji regresi.

Jika sudah menggunakan AI Optimise, perlakukan susunan kata sarannya sebagai kandidat untuk pemeriksaan yang sama. Untuk proses penyuntingan lebih luas, baca panduan optimasi prompt kami; gunakan kartu uji ini saat memerlukan bukti bahwa perubahan layak dipertahankan.

Pilih satu prompt yang Anda gunakan setiap minggu. Simpan versi sekarang, tulis persyaratan jawaban yang baik, lalu bandingkan satu perubahan kecil pada kasus yang sama. Pertahankan versi yang lolos pemeriksaan beserta bukti untuk memercayainya pada penggunaan berikutnya.

Bacaan lanjutan

Sumber primer dan panduan praktis terkait artikel ini.

Pertanyaan yang sering diajukan

Apa itu uji regresi prompt?

Pengujian ini memeriksa apakah revisi prompt merusak perilaku yang sebelumnya berhasil. Jalankan acuan dan kandidat pada masukan representatif yang sama, lalu bandingkan dengan persyaratan eksplisit.

Berapa contoh yang diperlukan untuk menguji prompt?

Tidak ada jumlah minimum universal. Mulai dari kasus rutin dan kegagalan yang diketahui, lalu perluas sesuai keragaman dan konsekuensi tugas. Pemeriksaan manual kecil adalah titik awal, bukan bukti keandalan produksi.

Apakah ini mereproduksi optimasi prompt otomatis STEVE?

Tidak. Templat ini mendukung tinjauan manual yang terinspirasi riset. Templat tidak menerapkan pengoptimal STEVE atau membuktikan kinerja tolok ukur yang dilaporkan.

Lanjutkan membaca