Τι είναι το RAG (Retrieval-Augmented Generation);

Ένα γλωσσικό μοντέλο ξέρει μόνο όσα είδε στην εκπαίδευσή του και δεν έχει πρόσβαση στα έγγραφα της εταιρείας σου ή στα πρόσφατα νέα. Το RAG λύνει αυτό το πρόβλημα με έναν απλό τρόπο: πριν απαντήσει, το σύστημα βρίσκει τα σχετικά κομμάτια από μια συλλογή εγγράφων και τα δίνει στο μοντέλο μαζί με την ερώτηση.

Πώς λειτουργεί

1. Ο χρήστης κάνει μια ερώτηση.
2. Το σύστημα ψάχνει σε μια συλλογή εγγράφων, όπως εσωτερικά έγγραφα, άρθρα ή σελίδες τεκμηρίωσης, και βρίσκει τα πιο σχετικά κομμάτια.
3. Αυτά τα κομμάτια μπαίνουν στο κείμενο που βλέπει το μοντέλο, δηλαδή στο context window του, μαζί με την ερώτηση.
4. Το μοντέλο γράφει την απάντηση με βάση αυτά τα κομμάτια.

Γιατί μετράει

Έτσι η απάντηση μπορεί να στηρίζεται σε πρόσφατες ή ιδιωτικές πληροφορίες, χωρίς να χρειάζεται νέα εκπαίδευση του μοντέλου. Επιπλέον, το σύστημα μπορεί να δείχνει από ποια έγγραφα βγήκε η απάντηση, ώστε να ελέγχεται.

Παραδείγματα

• Ένας βοηθός που απαντά σε ερωτήσεις πάνω στο εγχειρίδιο ενός προϊόντος.
• Ένα εσωτερικό εργαλείο αναζήτησης σε έγγραφα μιας εταιρείας.

Τι να προσέχεις

Το RAG βελτιώνει τις απαντήσεις αλλά δεν τις κάνει αλάθητες. Αν η αναζήτηση φέρει λάθος έγγραφα ή το μοντέλο παρερμηνεύσει το κείμενο, η απάντηση μπορεί να είναι λάθος. Η ποιότητα της συλλογής εγγράφων μετράει πολύ.