Το NarrateAI διασφαλίζει την ποιότητα των LLM σε επίπεδο παραγωγής με πέντε τεχνικές στο Amazon Bedrock

Η πλατφόρμα υποστηρίζει άμεση λειτουργία με ακρίβεια 99% σε πραγματικό χρόνο για χιλιάδες στελέχη της AWS

Η AWS παρουσίασε την πλατφόρμα NarrateAI, έναν ολοκληρωμένο μηχανισμό ποιοτικού ελέγχου για μεγάλες γλωσσικές μοντέλες (LLM), που λειτουργεί σε παραγωγικό περιβάλλον μέσω του Amazon Bedrock. Το NarrateAI υποστηρίζει περισσότερους από 4.000 ανώτερους στελέχους της AWS, παρέχοντας διαρκή, σε πραγματικό χρόνο αξιολόγηση των απαντήσεων μεγάλων γλωσσικών μοντέλων.

Η πρωτοτυπία της πλατφόρμας βασίζεται σε πέντε βασικές τεχνικές ποιοτικού ελέγχου που, σύμφωνα με την ανακοίνωση της AWS, διασφαλίζουν υψηλή ακρίβεια και απόδοση.

Πέντε τεχνικές για έλεγχο ποιότητας

• Προσαρμοστικός συντονισμός pipeline: Περίπου το 90% των ερωτημάτων ακολουθούν ένα γρήγορο και προσαρμοστικό pipeline, το οποίο μειώνει στον ελάχιστο δυνατό χρόνο την καθυστέρηση και την κατανάλωση πόρων, χωρίς να υποβαθμίζει την ποιότητα των πιο σύνθετων αιτημάτων.
• Διαχείριση αποτυχίας με πολλαπλά μοντέλα και λογαριασμούς: Επιχειρείται η χρήση διαφορετικών λογαριασμών AWS και μοντέλων για να διπλασιαστεί η διαθεσιμότητα μέσω ανεξάρτητων ορίων χρήσης, αν και δεν έχει επιβεβαιωθεί πλήρως η υλοποίηση αυτή.
• Αξιολόγηση σε πραγματικό χρόνο με streaming: Το σύστημα ελέγχει τις απαντήσεις καθώς παράγονται, μειώνοντας την αντιληπτή καθυστέρηση κατά 86,8% συγκριτικά με τις διαδικασίες που πραγματοποιούνται μετά τη δημιουργία των αποτελεσμάτων.
• Σύνθετο πλαίσιο αξιολόγησης: Το NarrateAI χρησιμοποιεί πολλαπλές μεταβλητές για την αξιολόγηση της ποιότητας, καλύπτοντας διαφορετικές πτυχές του κειμένου για πιο εμπεριστατωμένο έλεγχο.
• Διπλό στάδιο επαλήθευσης δεδομένων: Πρωτίστως εφαρμόζεται έλεγχος ακριβούς αντιστοιχίας αριθμητικών δεδομένων και ακολουθεί μια πιο απαιτητική, βασισμένη σε LLM αξιολόγηση για τη σημασιολογική ορθότητα. Σύμφωνα με την AWS, φτάνει σε ακρίβεια σχεδόν 99%, μειώνοντας παράλληλα το κόστος υπολογισμών κατά 54% σε σχέση με μια μονολιθική διαδικασία.

Ποια η πρακτική σημασία;

Οι τεχνικές αυτές επιτρέπουν στο NarrateAI να διαχειρίζεται μεγάλο όγκο αιτημάτων ταυτόχρονα χωρίς αποτυχίες, ενώ παράλληλα οι χρήστες απολαμβάνουν απαντήσεις με πολύ μικρή καθυστέρηση. Η πλατφόρμα ήταν σε λειτουργία για έξι μήνες, υποστηρίζοντας πάνω από 100 ταυτόχρονους χρήστες που λάμβαναν ροές απαντήσεων χωρίς διακοπές.

Ακόμη, δίνεται ιδιαίτερη σημασία στην ακρίβεια των αριθμητικών στοιχείων που παράγονται, κάτι που είναι κρίσιμο σε επιχειρησιακές εφαρμογές όπου η ορθότητα των δεδομένων επηρεάζει τις αποφάσεις στελεχών υψηλού επιπέδου.

Η αρχιτεκτονική στο Amazon Bedrock

Το σύστημα αξιοποιεί τα χαρακτηριστικά των επιμέρους ορίων χρήσης (quotas) του Amazon Bedrock, πολλαπλασιάζοντας τις δυνατότητες μέσω διαχείρισης πολλαπλών λογαριασμών και μοντέλων, κάτι που βοηθά στην αποφυγή περιορισμών χρήσης (throttling) χωρίς να απαιτεί νέες υποδομές.

Η AWS αναφέρει τα αποτελέσματα ως επίσημα στοιχεία της πλατφόρμας, αλλά η ακρίβεια 99% και άλλες βελτιώσεις παραμένουν ισχυρισμοί της εταιρείας και δεν έχουν επιβεβαιωθεί ανεξάρτητα.