Τι είναι το context window;

Ένα γλωσσικό μοντέλο δεν θυμάται αυτόματα ό,τι του είπες παλιότερα. Για να απαντήσει, χρησιμοποιεί μόνο όσο κείμενο του δίνεται εκείνη τη στιγμή. Το όριο σε αυτό το κείμενο λέγεται context window.

Πώς λειτουργεί

Το context window μετριέται σε tokens και περιλαμβάνει τα πάντα: τις οδηγίες, τα προηγούμενα μηνύματα της συνομιλίας, τα έγγραφα που επισυνάπτεις και την απάντηση που γράφει το μοντέλο. Όταν το συνολικό κείμενο ξεπερνά το όριο, κάτι πρέπει να κοπεί ή να συντομευτεί, αλλιώς το μοντέλο δεν μπορεί να το επεξεργαστεί.

Μπορείς να το σκεφτείς σαν ένα γραφείο με περιορισμένο χώρο: ό,τι χωράει πάνω του, το βλέπει το μοντέλο. Ό,τι έμεινε έξω, δεν υπάρχει για εκείνο.

Γιατί μετράει

Όσο μεγαλύτερο είναι το context window, τόσο μεγαλύτερο έγγραφο μπορείς να δώσεις σε μία φορά και τόσο πιο μακριά συζήτηση μπορεί να κρατηθεί. Παρ' όλα αυτά, ένα μεγάλο παράθυρο δεν εγγυάται ότι το μοντέλο θα χρησιμοποιήσει σωστά κάθε λεπτομέρεια μέσα του.

Παραδείγματα

• Μια πολύ μεγάλη συνομιλία στην οποία το μοντέλο «ξεχνά» τα πρώτα μηνύματα.
• Ένα μακρύ έγγραφο που πρέπει να κοπεί σε κομμάτια για να χωρέσει.

Τι να προσέχεις

Το όριο διαφέρει από μοντέλο σε μοντέλο και αλλάζει με τις εκδόσεις. Δες την τεκμηρίωση της υπηρεσίας που χρησιμοποιείς για το τρέχον όριο.