Τι είναι η NPU (Neural Processing Unit);

Ένα νευρωνικό δίκτυο, δηλαδή η βάση των περισσότερων σύγχρονων εφαρμογών AI, είναι στην ουσία ένας τεράστιος αριθμός απλών πολλαπλασιασμών και προσθέσεων. Η NPU είναι ένα κομμάτι υλικού που κάνει ακριβώς αυτές τις πράξεις, και μόνο αυτές, πολύ αποδοτικά.

Πώς λειτουργεί

Μια CPU είναι ευέλικτη αλλά κάνει λίγες πράξεις ταυτόχρονα. Μια GPU κάνει πολλές, αλλά καταναλώνει αρκετή ενέργεια. Η NPU έχει μεγάλο αριθμό μικρών μονάδων υπολογισμού, φτιαγμένων για πράξεις πινάκων με μικρούς αριθμούς, και μνήμη πολύ κοντά τους. Έτσι μεταφέρονται λιγότερα δεδομένα και χρειάζεται λιγότερη ενέργεια ανά πράξη. Η ισχύς της συνήθως μετριέται σε TOPS (τρισεκατομμύρια πράξεις το δευτερόλεπτο).

Γιατί μετράει

Όταν ένα κινητό ή ένας φορητός αναγνωρίζει φωνή, θολώνει το φόντο σε μια βιντεοκλήση ή βελτιώνει μια φωτογραφία, η δουλειά αυτή μπορεί να γίνει τοπικά, στη συσκευή, χωρίς να στέλνονται δεδομένα στο cloud. Η NPU το επιτρέπει χωρίς να αδειάζει η μπαταρία και χωρίς να φορτώνει την CPU ή την GPU.

Παραδείγματα

• Το τσιπ ενός σύγχρονου κινητού, με CPU, GPU και NPU στο ίδιο κομμάτι πυριτίου.
• Οι επεξεργαστές φορητών υπολογιστών που διαφημίζονται ως «AI PC».
• Κάμερες και έξυπνες συσκευές που αναγνωρίζουν πρόσωπα ή αντικείμενα τοπικά.

Τι να προσέχεις

Το νούμερο TOPS από μόνο του δεν λέει πόσο γρήγορα θα τρέξει ένα συγκεκριμένο πρόγραμμα: εξαρτάται από την ακρίβεια των αριθμών που μετράει ο κατασκευαστής και από το αν η εφαρμογή έχει γραφτεί ώστε να χρησιμοποιεί την NPU. Πολλά προγράμματα δεν την αξιοποιούν ακόμη, και τα μεγάλα μοντέλα AI εξακολουθούν να χρειάζονται GPU ή cloud.