Τι είναι το Transformer στην τεχνητή νοημοσύνη;

Το όνομα δεν έχει σχέση με τους μετασχηματιστές ρεύματος ούτε με τα παιχνίδια. Το Transformer είναι μια αρχιτεκτονική νευρωνικού δικτύου, δηλαδή ένας τρόπος να οργανώνεις τα κομμάτια ενός δικτύου, που παρουσιάστηκε το 2017 στην εργασία «Attention Is All You Need».

Πώς λειτουργεί

Η βασική ιδέα λέγεται «προσοχή» (attention). Όταν το δίκτυο διαβάζει μια πρόταση, για κάθε λέξη υπολογίζει πόσο σχετίζεται με τις υπόλοιπες. Στην πρόταση «Ο σκύλος κυνήγησε τη μπάλα και την έπιασε», το «την» πρέπει να συνδεθεί με τη «μπάλα», και η προσοχή είναι ο μηχανισμός που το κάνει δυνατό.

Σε αντίθεση με παλαιότερες προσεγγίσεις που διάβαζαν το κείμενο λέξη προς λέξη, το Transformer μπορεί να επεξεργάζεται πολλά κομμάτια του κειμένου ταυτόχρονα, κάτι που ταιριάζει καλά με τις κάρτες γραφικών και επιτρέπει εκπαίδευση σε πολύ μεγάλη κλίμακα.

Γιατί μετράει

Η αρχιτεκτονική αυτή είναι η βάση των περισσότερων σύγχρονων μεγάλων γλωσσικών μοντέλων και χρησιμοποιείται και σε εφαρμογές εικόνας και ήχου.

Παραδείγματα

• Ένα LLM που απαντά σε ερωτήσεις.
• Ένα σύστημα αυτόματης μετάφρασης.

Τι να προσέχεις

Ο όρος Transformer περιγράφει την αρχιτεκτονική, όχι ένα συγκεκριμένο προϊόν. Πολλά διαφορετικά μοντέλα από διαφορετικές εταιρείες στηρίζονται σε παραλλαγές της.