Τι είναι το token στην τεχνητή νοημοσύνη;

Ένα γλωσσικό μοντέλο δεν διαβάζει το κείμενο γράμμα προς γράμμα ούτε πάντα λέξη προς λέξη. Πρώτα το «τεμαχίζει» σε μικρά κομμάτια, που ονομάζονται tokens. Ένα token μπορεί να είναι μια ολόκληρη λέξη, ένα κομμάτι λέξης ή ακόμη και ένα σημείο στίξης.

Πώς λειτουργεί

Κάθε μοντέλο έχει ένα σταθερό «λεξιλόγιο» από tokens και έναν κανόνα για το πώς σπάει το κείμενο. Οι συνηθισμένες λέξεις συχνά είναι ένα token, ενώ οι σπάνιες ή οι μεγάλες σπάνε σε περισσότερα. Το μοντέλο δουλεύει με αυτά τα κομμάτια και όχι με το αρχικό κείμενο, και η απάντησή του βγαίνει επίσης token προς token.

Γιατί μετράει

Τα tokens είναι η μονάδα με την οποία μετριέται ό,τι αφορά ένα μοντέλο: πόσο κείμενο χωράει σε μία συνομιλία (context window) και, σε πολλές υπηρεσίες, πόσο κοστίζει η χρήση. Επειδή κάθε γλώσσα σπάει διαφορετικά, το ίδιο κείμενο μπορεί να χρειάζεται διαφορετικό αριθμό tokens ανά μοντέλο και ανά γλώσσα.

Παραδείγματα

• Μια σύντομη, συνηθισμένη λέξη μπορεί να είναι ένα token.
• Μια σπάνια ή πολύ μακριά λέξη σπάει σε περισσότερα.

Τι να προσέχεις

Ο αριθμός των tokens δεν ταυτίζεται με τον αριθμό των λέξεων. Αν μια υπηρεσία χρεώνει ή περιορίζει ανά token, αξίζει να ελέγξεις με το εργαλείο που παρέχει ο ίδιος ο πάροχος πόσα tokens έχει το κείμενό σου.