Meta prompting adalah prompting tentang prompt: alih-alih meminta model mengerjakan tugas, kamu memintanya menulis prompt untuk tugas itu, memperbaiki prompt yang sudah kamu punya, atau memecah tugasnya menjadi prompt-prompt yang lebih kecil untuk dijalankan oleh pemanggilan model lain. Dua yang pertama adalah trik sehari-hari yang bisa dipakai di ChatGPT, Claude, dan Gemini. Yang ketiga adalah teknik dari riset, di mana satu instance model bertindak sebagai conductor untuk beberapa instance lainnya.
Ketiganya mengandalkan fakta yang sama: model saat ini sudah melihat sangat banyak teks tentang cara memberi instruksi kepada model, jadi model pandai melihat apa yang tidak dicantumkan sebuah prompt. Model juga sama pandainya mengisi celah-celah itu dengan tebakan, dan itulah hal utama yang perlu diwaspadai.
Minta model menulis prompt-nya
Cara paling lemah untuk membuat prompt adalah "buatkan aku prompt untuk X". Model tidak tahu apa-apa tentang X milikmu, jadi model menulis prompt umum untuk versi rata-rata dari pekerjaan itu. Solusinya adalah membuat model bertanya lebih dulu. Pertanyaan memaksa konteks yang kurang muncul ke permukaan, dan jawaban-jawabanmu menjadi isi dari prompt-nya.
- Siapa yang membaca email-nya: hanya orang-orang yang ikut rapat, atau juga manajer dan tim lain?
- Apa yang harus selalu ada di setiap ringkasan? Misalnya keputusan yang diambil, daftar tindakan dengan penanggung jawab dan tenggat, serta pertanyaan yang masih terbuka.
- Seberapa panjang email-nya, dan kamu lebih suka poin-poin atau paragraf pendek?
- Nada apa yang dipakai timmu dalam email: formal, netral, atau santai?
- Apakah ada hal yang tidak boleh muncul sama sekali, seperti obrolan sampingan, komentar pribadi, atau angka yang rahasia?
Jawab semua pertanyaannya dalam satu pesan dan kamu mendapat prompt yang berisi keputusan-keputusanmu, bukan nilai bawaan dari model. Simpan prompt itu: prompt dengan placeholder adalah template prompt yang bisa kamu pakai setiap minggu.
Perbaiki prompt yang sudah kamu punya
"Perbaiki prompt ini" adalah salah satu meta prompt yang paling umum, dan kegagalannya yang khas terlihat di tab pertama di bawah. Model membuat prompt-nya lebih panjang dan lebih meyakinkan dengan mengarang detail: pembaca, jumlah kata, ajakan bertindak. Setiap karangan itu masuk akal, dan setiap karangan itu adalah keputusan yang tidak kamu ambil. Tab kedua memberi model aturan untuk penulisan ulangnya.
Ini versi prompt-mu yang sudah diperbaiki:
"Kamu adalah penulis dan editor konten ahli dengan pengalaman bertahun-tahun di dunia penerbitan digital. Ringkas artikel berikut untuk newsletter-ku, yang dibaca oleh para profesional sibuk di industri teknologi. Tulis ringkasan yang menarik sepanjang 150 sampai 200 kata dengan nada yang ramah tapi tetap profesional. Mulai dengan kalimat pembuka yang memikat, soroti tiga wawasan terpenting, dan akhiri dengan ajakan bertindak yang mendorong pembaca membaca artikel lengkapnya."
Versi ini menambahkan peran, pembaca, panjang, nada, dan struktur yang jelas, yang akan memberimu ringkasan yang lebih fokus dan berguna.
Balasan pertama tidak salah; balasan itu lancang: kalau newsletter-mu ditujukan untuk penghobi berkebun, "para profesional sibuk di industri teknologi" akan diam-diam mengarahkan setiap ringkasan. Balasan kedua melakukan lebih sedikit dan membiarkanmu tetap memegang keputusan-keputusan yang penting. Placeholder-nya juga menunjukkan konteks apa yang kurang dari prompt aslimu, dan itu berguna meskipun kamu membuang hasil tulisan ulangnya.
Cek prompt buatan model sebelum memercayainya
Prompt yang ditulis model enak dibaca, dan itu membuat masalah-masalahnya mudah terlewat. Cari hal-hal ini sebelum kamu memakainya:
- Persyaratan karangan. Panjang, pembaca, nada, atau aturan apa pun yang tidak kamu minta. Hapus atau ganti dengan jawabanmu yang sebenarnya.
- Peran yang umum. "Kamu adalah ahli kelas dunia" hanya menambah panjang dan tidak banyak lagi. Peran membantu ketika menyebut pembaca dan standarnya; lihat role prompting.
- Pengulangan. Prompt buatan model sering menyatakan instruksi yang sama dengan tiga cara. Satu kalimat yang jelas sama efektifnya dan menyisakan lebih sedikit ruang untuk kontradiksi.
- Tidak ada pengujian. Membaca sebuah prompt tidak banyak memberi tahu tentang hasilnya. Jalankan prompt itu pada tiga atau empat input sungguhan, termasuk satu yang aneh, lalu bandingkan output-nya dengan hasil dari prompt lamamu. Iterasi prompt menjelaskan cara melakukannya tanpa menipu diri sendiri.
Model juga bisa membantumu mendiagnosis prompt yang gagal. Ketika sebuah prompt memberikan hasil yang buruk, tempel prompt-nya, input-nya, dan output yang buruk itu, lalu tanyakan: "Bagian mana dari prompt ini yang paling mungkin menyebabkan output ini? Sarankan perubahan terkecil yang bisa memperbaikinya." Diagnosis yang terarah lebih berguna daripada penulisan ulang total, karena kamu jadi tahu instruksi mana yang bermasalah.
Metode conductor (Suzgun dan Kalai, 2024)
Dalam riset, "meta-prompting" juga merujuk ke metode spesifik dari paper Suzgun dan Kalai tahun 2024, "Meta-Prompting: Enhancing Language Models with Task-Agnostic Scaffolding". Satu instance model, sang conductor, menerima tugasnya beserta instruksi tingkat tinggi yang tetap dan sama untuk setiap tugas. Conductor memecah tugas menjadi bagian-bagian, dan untuk setiap bagian menulis prompt untuk seorang "ahli": pemanggilan baru ke model yang sama, dengan instruksi yang ditulis conductor untuk bagian itu. Para ahli hanya melihat apa yang dikirim conductor kepada mereka, bukan seluruh riwayatnya, jadi mereka mengecek pekerjaannya dengan mata yang segar. Conductor membaca jawaban-jawaban mereka, meminta verifikasi ketika meragukan salah satunya, lalu menyusun jawaban akhirnya. Dalam beberapa eksperimen, salah satu ahli bisa menjalankan kode Python.
Para penulisnya menguji metode ini dengan GPT-4 pada campuran tugas, termasuk teka-teki Game of 24, mencari skakmat dalam satu langkah catur, teka-teki pemrograman Python, dan menulis soneta. Jika dirata-ratakan di semua tugas, pengaturan conductor dengan interpreter Python mengalahkan prompting standar dan scaffold prompting lain yang mereka bandingkan.
Ini adalah sebuah program, bukan satu pesan chat: setiap pemanggilan ahli adalah permintaan terpisah yang dibuat oleh kodemu, sama seperti prompt chaining meneruskan output di antara langkah-langkahnya. Bedanya, dalam sebuah rantai kamu merancang langkah-langkahnya dari awal, sementara conductor memutuskannya saat berjalan. Fleksibilitas itu membutuhkan lebih banyak pemanggilan dan lebih sulit di-debug, jadi untuk tugas yang langkah-langkahnya sudah kamu ketahui, rantai yang tetap biasanya pilihan yang lebih baik.
Pertanyaan yang sering diajukan
Apa itu meta prompting?
Meta prompting adalah memakai model bahasa untuk mengerjakan prompt alih-alih mengerjakan tugasnya sendiri: memintanya menulis prompt, menulis ulang prompt supaya hasilnya lebih baik, atau memecah tugas menjadi sub-prompt untuk pemanggilan model lain. Arti yang terakhir adalah metode di paper Suzgun dan Kalai tahun 2024, "Meta-Prompting", di mana satu pemanggilan model mengoordinasikan pemanggilan-pemanggilan baru ke model yang sama.
Prompt apa yang bagus untuk membuat ChatGPT menulis prompt?
Jelaskan pekerjaan yang akan dikerjakan prompt itu, lalu minta model bertanya kepadamu sebelum menulis apa pun: "Sebelum kamu menulis prompt-nya, ajukan maksimal lima pertanyaan kepadaku tentang apa yang perlu kamu ketahui." Jawab pertanyaan-pertanyaannya, lalu minta prompt akhirnya dalam code block dengan placeholder untuk bagian-bagian yang berubah setiap kali. Sebagian besar manfaatnya datang dari pertanyaan-pertanyaan itu, karena pertanyaan itu memunculkan konteks yang lupa kamu berikan.
Apakah prompt buatan AI lebih bagus daripada prompt yang aku tulis sendiri?
Biasanya lebih tertata dan lebih lengkap, dan biasanya juga lebih panjang dari yang dibutuhkan. Model tidak bisa mengetahui pembacamu, datamu, atau standarmu, jadi prompt buatan model mengisi celah-celah itu dengan tebakan yang masuk akal. Anggap prompt itu sebagai draf: hapus apa pun yang tidak kamu minta, lalu uji dengan input sungguhan.
Kenapa model menambahkan "You are an expert" ke setiap prompt yang diperbaikinya?
Mungkin karena begitu banyak prompt yang dipublikasikan diawali dengan cara itu, sehingga model menganggapnya bagian dari tampilan prompt yang sudah diperbaiki. Peran ahli yang umum jarang mengubah banyak hal; peran spesifik yang menyebut pembaca dan standarnya yang berpengaruh. Saat kamu meminta perbaikan, sebutkan jenis tambahan apa yang kamu inginkan dan minta model untuk tidak menambahkan persyaratan yang tidak kamu sebutkan.
