Мета-промптинг: это промптинг о промптах. Вместо того чтобы просить модель выполнить задачу, вы просите её написать промпт для задачи, улучшить уже имеющийся промпт или разбить задачу на промпты поменьше, которые выполнят другие вызовы модели. Первые два: повседневные приёмы, которые работают в ChatGPT, Claude и Gemini. Третий: техника из исследований, где один экземпляр модели дирижирует несколькими другими.
Все три опираются на один факт: современные модели видели очень много текста о том, как инструктировать модели, поэтому хорошо замечают, чего не хватает в промпте. И ровно так же хорошо заполняют эти пробелы догадками, и главное, от чего нужно защищаться, именно это.
Попросите модель написать промпт
Самый слабый способ сгенерировать промпт: «напиши мне промпт для X». Модель ничего не знает о вашем X, поэтому пишет шаблонный промпт для средней версии этой работы. Решение: заставить её сначала спросить. Вопросы вытаскивают недостающий контекст наружу, а ваши ответы становятся содержанием промпта.
- Кто читает письмо: только участники встречи или ещё руководители и другие команды?
- Что обязательно должно быть в каждом итоге? Например, принятые решения, задачи с ответственным и сроком и открытые вопросы.
- Какой длины оно должно быть, и что вам больше нравится: пункты списка или короткие абзацы?
- Какой тон принят в вашей команде в переписке: официальный, нейтральный или неформальный?
- Есть ли что-то, чего там никогда не должно быть, например разговоры не по теме, личные замечания или конфиденциальные цифры?
Ответьте на вопросы одним сообщением, и вы получите промпт, в котором записаны ваши решения, а не значения модели по умолчанию. Сохраните его: промпт с заполнителями: это шаблон промпта, которым можно пользоваться каждую неделю.
Улучшите промпт, который у вас уже есть
«Улучши этот промпт»: один из самых частых мета-промптов, и его типичный провал виден на первой вкладке ниже. Модель делает промпт длиннее и увереннее, выдумывая детали: аудиторию, число слов, призыв к действию. Каждая выдумка правдоподобна, и каждая: решение, которого вы не принимали. Вторая вкладка даёт модели правила для переписывания.
Вот улучшенная версия вашего промпта:
"Ты опытный автор контента и редактор с многолетним опытом в цифровых медиа. Кратко перескажи следующую статью для моей рассылки, которую читают занятые специалисты из IT-индустрии. Напиши увлекательный пересказ от 150 до 200 слов в дружелюбном, но профессиональном тоне. Начни с цепляющей фразы, выдели три самых важных вывода и закончи призывом прочитать статью целиком."
В этой версии есть роль, аудитория, длина, тон и чёткая структура, благодаря чему пересказы будут более сфокусированными и полезными.
Первый ответ не ошибочен; он самонадеян. Если ваша рассылка для садоводов-любителей, «занятые специалисты из IT-индустрии» будут незаметно уводить каждый пересказ в сторону. Второй ответ делает меньше и оставляет важные решения за вами. Заполнители к тому же показывают, какого контекста не хватало исходному промпту, и это полезно, даже если переписанную версию вы выбросите.
Проверьте сгенерированный промпт, прежде чем ему доверять
Промпт, написанный моделью, хорошо читается, и поэтому его проблемы легко пропустить. Прежде чем им пользоваться, поищите вот что:
- Выдуманные требования. Любую длину, аудиторию, тон или правило, о которых вы не просили. Удалите или замените своим настоящим ответом.
- Общую роль. «Ты эксперт мирового уровня» добавляет длину и почти ничего больше. Роль помогает, когда называет аудиторию и планку; см. ролевой промптинг.
- Повторы. Сгенерированные промпты часто говорят одну и ту же инструкцию тремя способами. Одно ясное предложение работает не хуже и оставляет меньше места для противоречий.
- Отсутствие проверки. По чтению промпта мало что можно сказать о его результатах. Запустите его на трёх-четырёх реальных входах, включая неудобный, и сравните результаты с тем, что давал ваш старый промпт. Как делать это, не обманывая себя, описано на странице доработка промптов.
Модель также может помочь разобраться в промпте, который не сработал. Когда промпт даёт плохой результат, вставьте промпт, входные данные и плохой ответ и спросите: «Какая часть этого промпта, скорее всего, вызвала такой ответ? Предложи минимальное изменение, которое это исправит». Точечная диагностика полезнее полного переписывания, потому что вы узнаёте, какая инструкция была виновата.
Метод дирижёра (Suzgun и Kalai, 2024)
В исследованиях «meta-prompting» также называют конкретный метод из статьи Suzgun и Kalai 2024 года «Meta-Prompting: Enhancing Language Models with Task-Agnostic Scaffolding». Один экземпляр модели, дирижёр, получает задачу вместе с фиксированными общими инструкциями, одинаковыми для любой задачи. Он делит задачу на части и для каждой пишет промпт для «эксперта»: нового вызова той же модели с инструкциями, которые дирижёр написал для этой части. Эксперты видят только то, что им прислал дирижёр, а не всю историю, поэтому проверяют работу свежим взглядом. Дирижёр читает их ответы, просит перепроверку, когда в каком-то сомневается, и собирает итоговый ответ. В некоторых экспериментах один из экспертов мог выполнять код на Python.
Авторы проверили это на GPT-4 на наборе задач, включая головоломку «24», поиск мата в один ход в шахматах, задачи по программированию на Python и написание сонетов. В среднем по задачам схема с дирижёром и интерпретатором Python обошла стандартный промптинг и другие схемы промптинга, с которыми её сравнивали.
Это программа, а не одно сообщение в чате: каждый вызов эксперта: отдельный запрос, который делает ваш код, так же как цепочка промптов передаёт результаты между шагами. Разница в том, что в цепочке шаги вы проектируете заранее, а дирижёр решает их во время работы. Такая гибкость стоит больше вызовов и сложнее в отладке, поэтому для задачи, шаги которой вы уже знаете, фиксированная цепочка обычно лучше.
Часто задаваемые вопросы
Что такое мета-промптинг?
Мета-промптинг: это использование языковой модели для работы над промптами, а не над самой задачей: попросить её написать промпт, переписать промпт так, чтобы он давал лучшие результаты, или разбить задачу на подпромпты для других вызовов модели. Последнее значение: метод из статьи Suzgun и Kalai 2024 года «Meta-Prompting», где один вызов модели координирует новые вызовы той же модели.
Какой промпт использовать, чтобы ChatGPT писал промпты?
Опишите работу, для которой нужен промпт, а затем попросите модель сначала задать вам вопросы: «Прежде чем писать промпт, задай мне до пяти вопросов о том, что тебе нужно знать». Ответьте на них и попросите итоговый промпт в блоке кода с заполнителями для частей, которые меняются каждый раз. Основная польза как раз в вопросах, потому что они вытаскивают контекст, который вы забыли дать.
Промпты, написанные ИИ, лучше тех, что я пишу сам?
Обычно они лучше организованы и полнее, и обычно длиннее, чем нужно. Модель не может знать вашу аудиторию, ваши данные или ваши стандарты, поэтому сгенерированный промпт заполняет эти пробелы правдоподобными догадками. Относитесь к нему как к черновику: уберите всё, о чём вы не просили, а потом проверьте на реальных входных данных.
Почему модель добавляет «Ты эксперт» в каждый промпт, который улучшает?
Вероятно, потому что очень многие опубликованные промпты начинаются именно так, и модель считает это частью того, как выглядит улучшенный промпт. Общая роль эксперта редко что-то меняет; конкретная роль, которая называет аудиторию и планку, меняет. Когда просите улучшение, скажите, какие добавления вам нужны, и запретите добавлять требования, которых вы не называли.
