Meta prompting é fazer prompts sobre prompts: em vez de pedir a um modelo que faça uma tarefa, você pede que ele escreva o prompt para a tarefa, que melhore um prompt que você já tem ou que divida a tarefa em prompts menores que outras chamadas ao modelo vão rodar. Os dois primeiros são truques do dia a dia que funcionam no ChatGPT, no Claude e no Gemini. O terceiro é uma técnica da pesquisa, em que uma instância do modelo atua como maestro de várias outras.
Os três dependem do mesmo fato: os modelos atuais viram muito texto sobre como dar instruções a modelos, então são bons em perceber o que um prompt deixa de fora. E são igualmente bons em preencher essas lacunas com palpites, que é a principal coisa contra a qual você precisa se proteger.
Peça ao modelo que escreva o prompt
O jeito mais fraco de gerar um prompt é "escreva um prompt para X". O modelo não sabe nada sobre o seu X, então escreve um prompt genérico para a versão média do trabalho. A solução é fazê-lo perguntar primeiro. As perguntas trazem à tona o contexto que falta, e as suas respostas viram a substância do prompt.
- Quem lê o e-mail: só as pessoas que estavam na reunião ou também gestores e outras equipes?
- O que todo resumo precisa conter? Por exemplo, decisões tomadas, tarefas com responsável e prazo e perguntas em aberto.
- Qual deve ser o tamanho, e você prefere tópicos ou parágrafos curtos?
- Que tom a sua equipe usa nos e-mails: formal, neutro ou descontraído?
- Há algo que nunca deve aparecer, como conversas paralelas, comentários pessoais ou números confidenciais?
Responda às perguntas em uma mensagem e você recebe um prompt com as suas decisões, e não com os padrões do modelo. Guarde-o: um prompt com marcadores é um template de prompt que você pode usar toda semana.
Melhore um prompt que você já tem
"Melhore este prompt" é um dos meta prompts mais comuns, e a falha típica dele aparece na primeira aba abaixo. O modelo deixa o prompt mais longo e mais confiante inventando detalhes: um público, um número de palavras, uma chamada para ação. Cada invenção é plausível, e cada uma é uma decisão que você não tomou. A segunda aba dá ao modelo regras para a reescrita.
Aqui está uma versão melhorada do seu prompt:
"Você é um redator e editor de conteúdo especialista, com anos de experiência em publicações digitais. Resuma o artigo a seguir para a minha newsletter, lida por profissionais ocupados da área de tecnologia. Escreva um resumo envolvente de 150 a 200 palavras, em um tom amigável, mas profissional. Comece com um gancho, destaque os três insights mais importantes e termine com uma chamada para ação incentivando os leitores a lerem o artigo completo."
Esta versão acrescenta um papel, um público, um tamanho, um tom e uma estrutura clara, o que vai gerar resumos mais focados e úteis.
A primeira resposta não está errada; ela é presunçosa: se a sua newsletter é para quem cuida de horta em casa, "profissionais ocupados da área de tecnologia" vai direcionar cada resumo sem ninguém perceber. A segunda resposta faz menos e deixa com você as decisões que importam. Os marcadores também mostram que contexto faltava no seu prompt original, o que é útil mesmo que você jogue a reescrita fora.
Confira um prompt gerado antes de confiar nele
Um prompt escrito por um modelo parece bem escrito, e isso faz os problemas dele passarem despercebidos. Procure estas coisas antes de usar um:
- Requisitos inventados. Qualquer tamanho, público, tom ou regra que você não pediu. Apague ou troque pela sua resposta real.
- Um papel genérico. "Você é um especialista de nível mundial" acrescenta tamanho e pouco mais. Um papel ajuda quando diz o público e o padrão; veja prompt de papel.
- Repetição. Prompts gerados muitas vezes dizem a mesma instrução de três jeitos. Uma frase clara funciona igual e deixa menos espaço para contradições.
- Nenhum teste. Ler um prompt diz pouco sobre os resultados dele. Rode-o com três ou quatro entradas reais, incluindo uma difícil, e compare as saídas com o que o seu prompt antigo produzia. Iterar em prompts mostra como fazer isso sem se enganar.
Um modelo também pode ajudar a diagnosticar um prompt que falhou. Quando um prompt dá um resultado ruim, cole o prompt, a entrada e a saída ruim e pergunte: "Qual parte deste prompt provavelmente causou esta saída? Sugira a menor mudança que resolveria." Um diagnóstico direcionado é mais útil do que uma reescrita completa, porque você descobre qual instrução estava com problema.
O método do maestro (Suzgun e Kalai, 2024)
Na pesquisa, "meta-prompting" também é o nome de um método específico do artigo de 2024 de Suzgun e Kalai, "Meta-Prompting: Enhancing Language Models with Task-Agnostic Scaffolding". Uma instância do modelo, o maestro (conductor), recebe a tarefa junto com instruções gerais fixas, que são as mesmas para toda tarefa. Ele divide a tarefa em partes e, para cada parte, escreve um prompt para um "especialista": uma chamada nova ao mesmo modelo, com instruções que o maestro escreveu para aquela parte. Os especialistas veem só o que o maestro envia, não o histórico inteiro, então conferem o trabalho com olhos frescos. O maestro lê as respostas, pede verificação quando duvida de uma e monta a resposta final. Em alguns experimentos, um dos especialistas podia rodar código Python.
Os autores testaram isso com o GPT-4 em uma mistura de tarefas, incluindo o quebra-cabeça do Jogo do 24, encontrar um xeque-mate em um lance no xadrez, desafios de programação em Python e escrever sonetos. Na média das tarefas, a configuração com maestro e um interpretador Python superou o prompt padrão e as outras estruturas de prompt com que eles compararam.
Isso é um programa, não uma única mensagem de chat: cada chamada a um especialista é uma requisição separada feita pelo seu código, do mesmo jeito que o encadeamento de prompts passa saídas entre etapas. A diferença é que, em uma cadeia, você desenha as etapas de antemão, enquanto o maestro as decide durante a execução. Essa flexibilidade custa mais chamadas e é mais difícil de depurar, então, para uma tarefa cujas etapas você já conhece, uma cadeia fixa costuma ser a melhor escolha.
Perguntas frequentes
O que é meta prompting?
Meta prompting é usar um modelo de linguagem para trabalhar em prompts em vez de trabalhar na tarefa em si: pedir que ele escreva um prompt, que reescreva um para conseguir resultados melhores ou que divida uma tarefa em subprompts para outras chamadas ao modelo. O último sentido é o método do artigo de 2024 de Suzgun e Kalai, "Meta-Prompting", em que uma chamada ao modelo coordena novas chamadas ao mesmo modelo.
Qual é um bom prompt para o ChatGPT criar prompts?
Descreva o trabalho para o qual o prompt serve e depois peça que o modelo faça perguntas antes de escrever qualquer coisa: "Antes de escrever o prompt, me faça até cinco perguntas sobre o que você precisa saber." Responda e peça o prompt final em um bloco de código, com marcadores para as partes que mudam a cada uso. As perguntas são de onde vem a maior parte do valor, porque trazem à tona o contexto que você esqueceu de dar.
Prompts gerados por IA são melhores do que os que eu escrevo?
Costumam ser mais organizados e mais completos, e costumam ser mais longos do que precisariam. Um modelo não tem como saber o seu público, os seus dados ou os seus padrões, então um prompt gerado preenche essas lacunas com palpites plausíveis. Trate-o como um rascunho: tire tudo o que você não pediu e depois teste com entradas reais.
Por que o modelo coloca "Você é um especialista" em todo prompt que melhora?
Provavelmente porque muitos prompts publicados começam assim, então o modelo trata isso como parte da cara de um prompt melhorado. Um papel genérico de especialista raramente muda muita coisa; um papel específico que diz o público e o padrão muda. Quando pedir uma melhoria, diga que tipo de acréscimo você quer e diga para não acrescentar requisitos que você não declarou.
