Meta prompting, promptlar hakkında prompt yazmaktır: bir modelden bir görevi yapmasını istemek yerine, o görev için promptu yazmasını, elindeki bir promptu iyileştirmesini ya da görevi başka model çağrılarının çalıştıracağı daha küçük promptlara bölmesini istersin. İlk ikisi ChatGPT, Claude ve Gemini'de işe yarayan gündelik numaralardır. Üçüncüsü, bir model örneğinin birkaç başka örneğe orkestra şefliği yaptığı, araştırmadan gelen bir tekniktir.
Üçü de aynı gerçeğe dayanır: güncel modeller modellere talimat vermek hakkında çok fazla metin gördü, bu yüzden bir promptun neyi dışarıda bıraktığını fark etmekte iyiler. Bu boşlukları tahminlerle doldurmakta da aynı derecede iyiler ve korunman gereken asıl şey bu.
Promptu modele yazdır
Bir prompt üretmenin en zayıf yolu "bana X için bir prompt yaz" demektir. Model senin X'in hakkında hiçbir şey bilmez, bu yüzden işin ortalama hâli için genel bir prompt yazar. Çözüm, önce soru sormasını sağlamaktır. Sorular eksik bağlamı ortaya çıkmaya zorlar ve senin cevapların promptun özü olur.
- E-postayı kim okuyor: sadece toplantıda olanlar mı, yoksa yöneticiler ve diğer ekipler de mi?
- Her özette neler mutlaka olmalı? Örneğin alınan kararlar, sorumlusu ve son tarihi olan yapılacaklar ve açık sorular.
- Ne kadar uzun olmalı ve madde işaretlerini mi yoksa kısa paragrafları mı tercih edersin?
- Ekibin e-postalarda hangi tonu kullanıyor: resmî, nötr ya da samimi?
- Asla yer almaması gereken bir şey var mı, örneğin yan konuşmalar, kişisel yorumlar ya da gizli rakamlar?
Soruları tek bir mesajda cevapla, modelin varsayılanları yerine senin kararlarını içeren bir prompt alırsın. Onu kaydet: yer tutucuları olan bir prompt, her hafta kullanabileceğin bir prompt şablonudur.
Elindeki bir promptu iyileştir
"Bu promptu iyileştir" en yaygın meta promptlardan biridir ve tipik başarısızlığı aşağıdaki ilk sekmede görünüyor. Model ayrıntılar uydurarak promptu daha uzun ve daha kendinden emin yapıyor: bir okur kitlesi, bir kelime sayısı, bir eylem çağrısı. Her uydurma makul ve her biri senin vermediğin bir karar. İkinci sekme modele yeniden yazım için kurallar veriyor.
İşte promptunun iyileştirilmiş bir sürümü:
"Dijital yayıncılıkta yılların deneyimine sahip uzman bir içerik yazarı ve editörsün. Aşağıdaki makaleyi, teknoloji sektöründeki yoğun profesyonellerin okuduğu bültenim için özetle. Samimi ama profesyonel bir tonla 150 ile 200 kelime arasında ilgi çekici bir özet yaz. Dikkat çekici bir girişle başla, en önemli üç içgörüyü vurgula ve okurları makalenin tamamını okumaya teşvik eden bir eylem çağrısıyla bitir."
Bu sürüm bir rol, bir okur kitlesi, bir uzunluk, bir ton ve net bir yapı ekliyor; bu da sana daha odaklı ve faydalı özetler verecek.
İlk yanıt yanlış değil, küstah: bültenin hobi bahçıvanları içinse "teknoloji sektöründeki yoğun profesyoneller" her özeti sessizce yönlendirir. İkinci yanıt daha azını yapıyor ve önemli kararları sana bırakıyor. Yer tutucular ayrıca orijinal promptunda hangi bağlamın eksik olduğunu gösteriyor; yeniden yazımı çöpe atsan bile bu işe yarar.
Üretilen bir prompta güvenmeden önce kontrol et
Bir modelin yazdığı prompt iyi okunur ve bu da sorunlarını gözden kaçırmayı kolaylaştırır. Birini kullanmadan önce şunlara bak:
- Uydurma gereksinimler. İstemediğin her uzunluk, okur kitlesi, ton ya da kural. Sil ya da gerçek cevabınla değiştir.
- Genel bir rol. "Dünya çapında bir uzmansın" uzunluk ekler, başka pek bir şey eklemez. Rol, okur kitlesini ve standardı adlandırdığında işe yarar; bkz. rol verme.
- Tekrar. Üretilen promptlar çoğu zaman aynı talimatı üç şekilde söyler. Tek ve net bir cümle aynı işi görür ve çelişkilere daha az yer bırakır.
- Test yok. Bir promptu okumak sonuçları hakkında sana çok az şey söyler. Biri zorlu olmak üzere üç dört gerçek girdiyle çalıştır ve çıktıları eski promptunun ürettikleriyle karşılaştır. Promptları yinelemek bunu kendini kandırmadan nasıl yapacağını anlatır.
Bir model başarısız olmuş bir promptu teşhis etmene de yardım edebilir. Bir prompt kötü sonuç verdiğinde promptu, girdiyi ve kötü çıktıyı yapıştır ve sor: "Bu promptun hangi kısmı büyük ihtimalle bu çıktıya yol açtı? Bunu düzeltecek en küçük değişikliği öner." Hedefli bir teşhis tam bir yeniden yazımdan daha faydalıdır, çünkü hangi talimatın suçlu olduğunu öğrenirsin.
Orkestra şefi yöntemi (Suzgun ve Kalai, 2024)
Araştırmada "meta-prompting" ayrıca Suzgun ve Kalai'nin 2024 tarihli "Meta-Prompting: Enhancing Language Models with Task-Agnostic Scaffolding" makalesindeki belirli bir yöntemin de adıdır. Bir model örneği, yani orkestra şefi (conductor), görevi her görev için aynı olan sabit üst düzey talimatlarla birlikte alır. Görevi parçalara böler ve her parça için bir "uzman" için prompt yazar: aynı modele, şefin o parça için yazdığı talimatlarla yapılan yeni bir çağrı. Uzmanlar bütün geçmişi değil, sadece şefin onlara gönderdiğini görür, bu yüzden işi taze bir gözle kontrol ederler. Şef onların cevaplarını okur, birinden şüphelendiğinde doğrulama ister ve nihai cevabı birleştirir. Bazı deneylerde uzmanlardan biri Python kodu çalıştırabiliyordu.
Yazarlar bunu GPT-4 ile 24 Oyunu bulmacası, tek hamlede şah mat bulmak, Python programlama bulmacaları ve sone yazmak dahil karışık görevlerde test etti. Görevlerin ortalamasında, Python yorumlayıcısı olan orkestra şefi düzeni standart prompt yazımını ve karşılaştırdıkları diğer prompt iskelelerini geride bıraktı.
Bu tek bir sohbet mesajı değil, bir programdır: her uzman çağrısı kodunun yaptığı ayrı bir istektir; tıpkı prompt zincirlemenin adımlar arasında çıktı aktarması gibi. Fark şu: bir zincirde adımları önceden sen tasarlarsın, şef ise onlara çalışma anında karar verir. Bu esneklik daha fazla çağrıya mal olur ve hata ayıklaması daha zordur, bu yüzden adımlarını zaten bildiğin bir görev için sabit bir zincir genellikle daha iyi bir seçimdir.
Sıkça Sorulan Sorular
Meta prompting nedir?
Meta prompting, bir dil modelini görevin kendisi yerine promptlar üzerinde çalıştırmaktır: ondan bir prompt yazmasını, daha iyi sonuç alması için bir promptu yeniden yazmasını ya da bir görevi başka model çağrıları için alt promptlara bölmesini istemek. Son anlam, Suzgun ve Kalai'nin 2024 tarihli "Meta-Prompting" makalesindeki yöntemdir; orada tek bir model çağrısı aynı modele yapılan yeni çağrıları koordine eder.
ChatGPT'ye prompt yazdırmak için iyi bir prompt nedir?
Promptun hangi iş için olduğunu tarif et, sonra modelden bir şey yazmadan önce seni sorgulamasını iste: "Promptu yazmadan önce bilmen gerekenler hakkında bana en fazla beş soru sor." Soruları cevapla ve nihai promptu her seferinde değişen kısımlar için yer tutucular içeren bir kod bloğunda iste. Değerin çoğu sorulardan gelir, çünkü vermeyi unuttuğun bağlamı ortaya çıkarırlar.
Yapay zekânın ürettiği promptlar benim yazdıklarımdan daha mı iyi?
Genellikle daha düzenli ve daha eksiksizdirler, genellikle de gerektiğinden uzundurlar. Bir model okur kitleni, verini ya da standartlarını bilemez, bu yüzden üretilen bir prompt bu boşlukları makul tahminlerle doldurur. Onu bir taslak olarak gör: istemediğin her şeyi çıkar, sonra gerçek girdilerle test et.
Model iyileştirdiği her prompta neden "Sen bir uzmansın" ekliyor?
Muhtemelen yayımlanmış promptların çok büyük kısmı böyle başladığı için model bunu iyileştirilmiş bir promptun parçası sayıyor. Genel bir uzman rolü nadiren çok şey değiştirir; okur kitlesini ve standardı adlandıran belirgin bir rol değiştirir. İyileştirme isterken ne tür eklemeler istediğini söyle ve senin belirtmediğin gereksinimleri eklememesini iste.
