Meta prompting to promptowanie o promptach: zamiast prosić model o wykonanie zadania, prosisz go o napisanie promptu do tego zadania, o ulepszenie promptu, który już masz, albo o rozbicie zadania na mniejsze prompty, które uruchomią inne wywołania modelu. Pierwsze dwie rzeczy to codzienne triki działające w ChatGPT, Claude i Gemini. Trzecia to technika z badań, w której jedna instancja modelu pełni rolę dyrygenta dla kilku innych.
Wszystkie trzy opierają się na tym samym fakcie: obecne modele widziały mnóstwo tekstów o instruowaniu modeli, więc dobrze wychwytują, czego w prompcie brakuje. Równie dobrze wypełniają te luki domysłami i właśnie przed tym trzeba się głównie pilnować.
Poproś model o napisanie promptu
Najsłabszy sposób na wygenerowanie promptu to "napisz mi prompt do X". Model nic nie wie o twoim X, więc pisze ogólny prompt dla przeciętnej wersji zadania. Rozwiązanie: każ mu najpierw zapytać. Pytania wyciągają brakujący kontekst na wierzch, a twoje odpowiedzi stają się treścią promptu.
- Kto czyta e-mail: tylko osoby obecne na spotkaniu czy także menedżerowie i inne zespoły?
- Co musi zawierać każde podsumowanie? Na przykład podjęte decyzje, zadania z osobą odpowiedzialną i terminem oraz otwarte pytania.
- Jak długie ma być i czy wolisz punkty, czy krótkie akapity?
- Jakiego tonu używa twój zespół w e-mailach: formalnego, neutralnego czy swobodnego?
- Czy jest coś, co nigdy nie może się pojawić, na przykład rozmowy poboczne, osobiste uwagi albo poufne liczby?
Odpowiedz na pytania w jednej wiadomości, a dostaniesz prompt zawierający twoje decyzje zamiast domyślnych ustawień modelu. Zapisz go: prompt z polami do uzupełnienia to szablon promptu, którego możesz używać co tydzień.
Ulepsz prompt, który już masz
"Ulepsz ten prompt" to jeden z najczęstszych metapromptów, a jego typowa wada jest widoczna w pierwszej zakładce poniżej. Model wydłuża prompt i dodaje mu pewności siebie, wymyślając szczegóły: odbiorców, liczbę słów, wezwanie do działania. Każdy wymysł jest wiarygodny i każdy to decyzja, której nie podejmujesz ty. Druga zakładka daje modelowi zasady przepisywania.
Oto ulepszona wersja twojego promptu:
"Jesteś ekspertem od tworzenia treści i redaktorem z wieloletnim doświadczeniem w publikacjach cyfrowych. Streść poniższy artykuł do mojego newslettera, który czytają zapracowani profesjonaliści z branży technologicznej. Napisz angażujące streszczenie liczące od 150 do 200 słów, w przyjaznym, ale profesjonalnym tonie. Zacznij od chwytliwego wstępu, wyróżnij trzy najważniejsze wnioski i zakończ wezwaniem do działania zachęcającym czytelników do przeczytania całego artykułu."
Ta wersja dodaje rolę, odbiorców, długość, ton i jasną strukturę, dzięki czemu streszczenia będą bardziej skupione i przydatne.
Pierwsza odpowiedź nie jest błędna; jest zarozumiała: jeśli twój newsletter jest dla ogrodników amatorów, "zapracowani profesjonaliści z branży technologicznej" po cichu wpłyną na każde streszczenie. Druga odpowiedź robi mniej i zostawia ci decyzje, które mają znaczenie. Pola pokazują też, jakiego kontekstu brakowało w oryginalnym prompcie, co jest przydatne, nawet jeśli wyrzucisz przepisaną wersję.
Sprawdź wygenerowany prompt, zanim mu zaufasz
Prompt napisany przez model dobrze się czyta i przez to łatwo przeoczyć jego problemy. Zanim go użyjesz, poszukaj tych rzeczy:
- Wymyślone wymagania. Każda długość, grupa odbiorców, ton czy zasada, o które nie prosisz. Usuń je albo zastąp swoją prawdziwą odpowiedzią.
- Ogólna rola. "Jesteś ekspertem światowej klasy" dodaje długość i niewiele więcej. Rola pomaga, gdy nazywa odbiorców i poziom wymagań; zobacz role prompting.
- Powtórzenia. Wygenerowane prompty często mówią to samo polecenie na trzy sposoby. Jedno jasne zdanie działa równie dobrze i zostawia mniej miejsca na sprzeczności.
- Brak testu. Czytanie promptu niewiele mówi o jego wynikach. Uruchom go na trzech albo czterech prawdziwych wejściach, w tym jednym niewygodnym, i porównaj wyniki z tym, co dawał stary prompt. Iteracja promptów opisuje, jak to robić, nie oszukując samego siebie.
Model może też pomóc zdiagnozować prompt, który zawiódł. Gdy prompt daje zły wynik, wklej prompt, wejście i zły wynik i zapytaj: "Która część tego promptu najpewniej spowodowała ten wynik? Zaproponuj najmniejszą zmianę, która by to naprawiła." Celowana diagnoza jest bardziej przydatna niż pełne przepisanie, bo dowiadujesz się, które polecenie zawiodło.
Metoda dyrygenta (Suzgun i Kalai, 2024)
W badaniach "meta-prompting" to także nazwa konkretnej metody z pracy Suzguna i Kalaia z 2024 roku "Meta-Prompting: Enhancing Language Models with Task-Agnostic Scaffolding". Jedna instancja modelu, dyrygent, dostaje zadanie razem ze stałymi, ogólnymi instrukcjami, które są takie same dla każdego zadania. Rozbija zadanie na części i dla każdej pisze prompt dla "eksperta": nowego wywołania tego samego modelu z instrukcjami napisanymi przez dyrygenta dla tej części. Eksperci widzą tylko to, co przesyła im dyrygent, a nie całą historię, więc sprawdzają pracę świeżym okiem. Dyrygent czyta ich odpowiedzi, prosi o weryfikację, gdy ma wątpliwości co do którejś, i składa odpowiedź końcową. W niektórych eksperymentach jeden z ekspertów mógł uruchamiać kod w Pythonie.
Autorzy przetestowali to z GPT-4 na zestawie zadań, w tym na łamigłówce Game of 24, znajdowaniu mata w jednym ruchu w szachach, zagadkach programistycznych w Pythonie i pisaniu sonetów. Średnio we wszystkich zadaniach układ z dyrygentem i interpreterem Pythona pokonał standardowe promptowanie i inne porównywane techniki.
To program, a nie pojedyncza wiadomość w czacie: każde wywołanie eksperta to osobne zapytanie wysyłane przez twój kod, tak samo jak prompt chaining przekazuje wyniki między krokami. Różnica polega na tym, że w łańcuchu projektujesz kroki z góry, a dyrygent decyduje o nich w trakcie działania. Ta elastyczność kosztuje więcej wywołań i trudniej ją debugować, więc przy zadaniu, którego kroki już znasz, stały łańcuch jest zwykle lepszym wyborem.
Najczęściej zadawane pytania
Czym jest meta prompting?
Meta prompting to używanie modelu językowego do pracy nad promptami zamiast nad samym zadaniem: prośba o napisanie promptu, o przepisanie go tak, żeby dawał lepsze wyniki, albo o podzielenie zadania na podprompty dla innych wywołań modelu. To ostatnie znaczenie to metoda z pracy Suzguna i Kalaia "Meta-Prompting" z 2024 roku, w której jedno wywołanie modelu koordynuje nowe wywołania tego samego modelu.
Jaki prompt sprawi, że ChatGPT napisze dobre prompty?
Opisz zadanie, do którego ma służyć prompt, a potem poproś model, żeby zadał ci pytania, zanim cokolwiek napisze: "Zanim napiszesz prompt, zadaj mi do pięciu pytań o to, co musisz wiedzieć." Odpowiedz na nie i poproś o gotowy prompt w bloku kodu z polami na części, które za każdym razem się zmieniają. Największą wartość dają właśnie pytania, bo wydobywają kontekst, o którym łatwo zapomnieć.
Czy prompty wygenerowane przez AI są lepsze od moich własnych?
Zwykle są lepiej uporządkowane i pełniejsze, a przy tym zwykle dłuższe, niż trzeba. Model nie zna twoich odbiorców, danych ani standardów, więc wygenerowany prompt wypełnia te luki wiarygodnymi domysłami. Traktuj go jak szkic: usuń wszystko, o co nie prosisz, a potem przetestuj go na prawdziwych wejściach.
Dlaczego model dodaje "Jesteś ekspertem" do każdego promptu, który ulepsza?
Prawdopodobnie dlatego, że tak wiele opublikowanych promptów zaczyna się w ten sposób, więc model uznaje to za część tego, jak wygląda ulepszony prompt. Ogólna rola eksperta rzadko wiele zmienia; konkretna rola, która nazywa odbiorców i poziom wymagań, już tak. Gdy prosisz o ulepszenie, powiedz, jakich dodatków chcesz, i zabroń dodawania wymagań, których nie podajesz.
