Πόσο αξιόπιστα είναι τα γλωσσικά μοντέλα στην λήψη επενδυτικών αποφάσεων; (γράφημα)

Οι αυτοματοποιημένες εργασίες με πράκτορες τεχνητής νοημοσύνης (agents) χρησιμοποιούνται ολοένα και περισσότερο στις επενδυτικές εφαρμογές. Αυτό είναι θετικό, καθώς μπορούν να ενισχύσουν σημαντικά την παραγωγικότητα των αναλυτών και των διαχειριστών χαρτοφυλακίων. Παράλληλα, όμως, αυξάνεται ο κίνδυνος να περάσουν απαρατήρητες οι «παραισθήσεις» της τεχνητής νοημοσύνης, καθώς κανένας χρήστης δεν ελέγχει το αποτέλεσμα κάθε επιμέρους σταδίου που οδηγεί στο αξιολογικό αποτέλεσμα.

Μια ομάδα ερευνητών από τις ΗΠΑ, το Ηνωμένο Βασίλειο, την Κίνα, την JP Morgan, την BlackRock και τη State Street επιχείρησε να εκτιμήσει πόσο μεγάλος είναι ο κίνδυνος αυτές οι ροές εργασίας να οδηγήσουν σε σφάλματα στην επενδυτική διαδικασία. Για τον σκοπό αυτό, χώρισαν μια τυπική διαδικασία σε δύο διαδοχικά στάδια.

Αρχικά, ζήτησαν από τα γλωσσικά μοντέλα των ChatGPT, Gemini, Qwen και DeepSeek να συνοψίσουν την ενότητα «Συζήτηση και Ανάλυση της Διοίκησης» (MD&A) από τις τριμηνιαίες εκθέσεις αποτελεσμάτων των 100 μεγαλύτερων αμερικανικών μετοχών για τα τρία πρώτα τρίμηνα του 2025. Τα μοντέλα έπρεπε να εντοπίσουν τα 20 σημαντικότερα σημεία, διατηρώντας όσο το δυνατόν πιστότερα την κατεύθυνση της επενδυτικής απόφασης και τον βαθμό βεβαιότητας που υποδήλωνε το αρχικό κείμενο.

Στη συνέχεια, έδωσαν τις περιλήψεις στο Gemini και του ζήτησαν να διατυπώσει σύσταση αγοράς, διακράτησης ή πώλησης για κάθε μετοχή. Έδωσαν επίσης στο ίδιο μοντέλο το πλήρες κείμενο της ενότητας MD&A και ζήτησαν την ίδια αξιολόγηση. Ως πρόσθετο έλεγχο, επανέλαβαν τη διαδικασία με τις απομαγνητοφωνήσεις των τηλεδιασκέψεων παρουσίασης αποτελεσμάτων για τις ίδιες περιόδους.

Θα περίμενε κανείς ότι το Gemini θα κατέληγε στην ίδια σύσταση για κάθε μετοχή, είτε χρησιμοποιούσε το πλήρες κείμενο είτε την περίληψη που είχε συντάξει η τεχνητή νοημοσύνη. Όταν οι συστάσεις διαφέρουν, η απόκλιση αποτελεί ένδειξη της αξιοπιστίας —ή της έλλειψής της— μιας αυτοματοποιημένης διαδικασίας που διαβάζει εταιρικές ανακοινώσεις και διατυπώνει αυτόνομα επενδυτικές συστάσεις.

Επειδή, βεβαίως, το Gemini, όπως όλα τα μοντέλα τεχνητής νοημοσύνης, ενίοτε παράγει ανακριβείς απαντήσεις, είναι αναμενόμενο να υπάρχουν αποκλίσεις. Για το Gemini 3.1 Flash, που χρησιμοποιήθηκε για τη διατύπωση των συστάσεων, η συχνότητα αλλαγής της απάντησης κατά την επανάληψη της αξιολόγησης του ίδιου πλήρους κειμένου ήταν περίπου 11% για τις ενότητες MD&A και 9% για τις τηλεδιασκέψεις αποτελεσμάτων. Δηλαδή, ακόμη και χωρίς να αλλάξει το υλικό εισόδου, το μοντέλο έδινε διαφορετική σύσταση αγοράς, διακράτησης ή πώλησης περίπου σε μία στις δέκα περιπτώσεις.

Αν θεωρείτε ότι αυτό το ποσοστό είναι υψηλό και ότι το πιο προηγμένο μοντέλο της Google αποκλείεται να κάνει τόσο συχνά λάθη, τα στοιχεία ίσως σας εκπλήξουν. Οι New York Times εξέτασαν πρόσφατα τις απαντήσεις του AI Overviews της Google, που εμφανίζονται στη σελίδα αναζήτησης. Διαπίστωσαν ότι οι απαντήσεις ήταν ακριβείς στο 85% των περιπτώσεων με το Gemini 2 και στο 91% με το Gemini 3.

Αυτό σημαίνει ότι ακόμη και με το Gemini 3, το 9% των απαντήσεων ήταν λανθασμένο. Επιπλέον, ακόμη και όταν η απάντηση ήταν σωστή, στο 56% των περιπτώσεων είτε δεν συνοδευόταν από πηγή είτε παρέπεμπε σε λανθασμένη πηγή, άσχετη με την απάντηση. Επομένως, μια λανθασμένη σύσταση για περίπου μία στις δέκα μετοχές φαίνεται να εντάσσεται στα συνήθη επίπεδα σφάλματος, ακόμη και για τα πιο προηγμένα μοντέλα.

Ωστόσο, το βασικό εύρημα της μελέτης ήταν πολύ πιο ανησυχητικό. Όταν το μοντέλο χρησιμοποιούσε την σύνοψη δηλαδή την περίληψη των 20 σημείων, η τελική σύσταση διέφερε συχνότερα από εκείνη που προέκυπτε από το πλήρες κείμενο. Η συχνότητα αντιστροφής της σύστασης, από αγορά σε πώληση ή από πώληση σε αγορά, κυμαινόταν από μία στις τέσσερις έως μία στις τρεις περιπτώσεις.

Ένα σύστημα τεχνητής νοημοσύνης που αλλάζει τη σύσταση αγοράς ή πώλησης για το 25%–33% των μετοχών ενός χαρτοφυλακίου κάθε άλλο παρά αξιόπιστο μπορεί να θεωρηθεί, ανάλογα με το αν διαβάζει το πλήρες κείμενο ή μια περίληψή του. Πώς μπορεί κανείς να βασιστεί σε ένα εργαλείο με τόσο μεγάλη αστάθεια στις απαντήσεις του; Η περαιτέρω εξέλιξη των μοντέλων και η βελτίωση της εκπαίδευσής τους ενδέχεται στο μέλλον να περιορίσουν αυτές τις αποκλίσεις. Επί του παρόντος, ωστόσο, η εικόνα παραμένει προβληματική και η ανθρώπινη κρίση και επαλήθευση αποτελούν αναγκαίες προϋποθέσεις για τη χρήση τους στην επενδυτική διαδικασία.