La finestra di contesto
Fa parte della sezione Fondamenti del percorso AI Prompts di Coddy. Lezione 10 di 23.
La finestra di contesto è il limite di memoria dell'IA: il numero massimo di token che può contenere contemporaneamente. Pensala come un contenitore di dimensioni fisse in cui deve entrare tutto: il tuo prompt, la cronologia della conversazione, il prompt di sistema e la risposta dell'IA.
Modelli diversi hanno finestre di contesto di dimensioni diverse. Alcuni modelli più vecchi gestiscono circa 4.000 token. I modelli più recenti potrebbero supportare 100.000 token o più.
Una volta raggiunto il limite, l'IA semplicemente non può elaborare altre informazioni.
Ecco cosa occupa spazio in quella finestra:
| Componente | Occupa spazio? |
|---|---|
| Il tuo prompt attuale | Sì |
| I messaggi precedenti della conversazione | Sì |
| Il prompt di sistema | Sì |
| La risposta dell'IA | Sì |
Ecco perché le conversazioni lunghe possono diventare problematiche. Ogni scambio aggiunge token. Alla fine, l'IA deve «dimenticare» le parti precedenti della conversazione per fare spazio ai nuovi contenuti.
Quando succede, perde il contesto e potrebbe fornire risposte incoerenti o dimenticare le istruzioni che gli hai dato in precedenza.
Sfida
Poiché tutto ciò che compare in una conversazione occupa spazio nella finestra di contesto, fare prompting in modo efficiente significa ottenere informazioni complete in risposte concise. Fai in modo che l'IA ti fornisca un programma settimanale completo (tutti e 7 i giorni) nel formato con il minor numero possibile di token. La risposta deve essere in English.
La risposta dell'IA deve:
- Contenere i nomi di tutti e 7 i giorni:
Monday,Tuesday,Wednesday,Thursday,Friday,SaturdayeSunday - Essere composta da 30 parole o meno in totale
Formato di esempio:
Monday: Gym
Tuesday: Work
...e così via per tutti e 7 i giorni.
Mettiti alla provaQuesta lezione include un breve quiz. Inizia la lezione per rispondere e tenere traccia dei tuoi progressi.
Tutte le lezioni di Fondamenti
2Come l’IA ti legge: token
Cosa sono i token?Parole ≠ tokenPerché il numero di token contaLa finestra di contestoI token in altre lingueToken speciali che non vedi mai