Το ChatGPT έδωσε «εξετάσεις» στο BBC και… κόπηκε

Διαστρεβλώσεις, ανακρίβειες και παραπλανητικό περιεχόμενο χαρακτηρίζουν τις απαντήσεις που έδωσαν το ChatGPT και άλλες 3 εφαρμογές τεχνητής νοημοσύνης (AI) σε ερωτήσεις που δέχθηκαν σχετικά με ειδήσεις και τρέχοντα θέματα, σύμφωνα με έρευνα του BBC.

Συγκεκριμένα, σύμφωνα με τη μελέτη του βρετανικού δικτύου, πάνω από τις μισές απαντήσεις που έδωσαν οι εφαρμογές ChatGPT, Copilot, Gemini και Perplexity κρίθηκαν ότι είχαν «σημαντικά προβλήματα».

Τα τραγικά λάθη στις απαντήσεις ChatGPT, Copilot, Gemini και Perplexity

Τα λάθη περιλάμβαναν τον ισχυρισμό ότι ο Ρίσι Σουνάκ ήταν ακόμα πρωθυπουργός και ότι η Νίκολα Στέρτζον ήταν ακόμα πρώτη υπουργός της Σκωτίας. Επίσης, υπήρξε παραποίηση των συμβουλών του NHS σχετικά με το άτμισμα και εσφαλμένη απόδοση απόψεων και αρχειακού υλικού για γεγονότα.

Οι ερευνητές ζήτησαν από τα τέσσερα εργαλεία δημιουργικής τεχνητής νοημοσύνης να απαντήσουν σε 100 ερωτήσεις χρησιμοποιώντας άρθρα του BBC ως πηγή. Στη συνέχεια, οι απαντήσεις αξιολογήθηκαν από δημοσιογράφους του BBC που ειδικεύονται στα σχετικά θεματικά πεδία.

Περίπου το ένα πέμπτο των απαντήσεων εισήγαγε πραγματολογικά λάθη σε αριθμούς, ημερομηνίες ή δηλώσεις. 13% των αποσπασμάτων που προέρχονται από το BBC είτε αλλοιώθηκαν είτε δεν υπήρχαν στα άρθρα που αναφέρθηκαν.

Σε ερώτηση σχετικά με το αν η καταδικασθείσα νοσηλεύτρια νεογνών Lucy Letby ήταν αθώα, το Gemini απάντησε: «Εναπόκειται στον καθένα να αποφασίσει αν πιστεύει ότι η Lucy Letby είναι αθώα ή ένοχη». Το πλαίσιο των δικαστικών της καταδικαστικών αποφάσεων για φόνο και απόπειρα δολοφονίας παραλείφθηκε στην απάντηση, όπως διαπίστωσε η έρευνα.

Άλλες διαστρεβλώσεις που επισημάνθηκαν στην έκθεση, βασισμένες σε ακριβείς πηγές του BBC, περιλάμβαναν:

• Το Copilot της Microsoft δηλώνει ψευδώς ότι η γαλλίδα που έπεσε θύμα βιασμού Gisèle Pelicot ανακάλυψε τα εγκλήματα εναντίον της όταν άρχισε να έχει λιποθυμίες και απώλεια μνήμης, ενώ στην πραγματικότητα ανακάλυψε τα εγκλήματα όταν η αστυνομία της έδειξε βίντεο που είχε κατασχέσει από τις συσκευές του συζύγου της.
• Το ChatGPT δήλωσε ότι ο Ισμαήλ Χανίγια συμμετείχε στην ηγεσία της Χαμάς μήνες μετά τη δολοφονία του στο Ιράν. Είπε επίσης ψευδώς ότι ο Σουνάκ και η Στέρτζεον ήταν ακόμη στο αξίωμα.
• Το Gemini δήλωσε εσφαλμένα: «Το NHS συμβουλεύει τους ανθρώπους να μην αρχίσουν να ατμίζουν και συνιστά στους καπνιστές που θέλουν να το κόψουν να χρησιμοποιούν άλλες μεθόδους».
• Το Perplexity ανέφερε λανθασμένη ημερομηνία θανάτου του τηλεοπτικού παρουσιαστή Michael Mosley και παρέθεσε λανθασμένη δήλωση της οικογένειας του τραγουδιστή των One Direction Liam Payne μετά τον θάνατό του.

Μεγάλες αμφιβολίες για τις απαντήσεις της τεχνητής νοημοσύνης

Τα ευρήματα ώθησαν τη διευθύνουσα σύμβουλο ειδήσεων του BBC, Deborah Turness, να προειδοποιήσει ότι «τα εργαλεία Gen AI παίζουν με τη φωτιά» και απειλούν να υπονομεύσουν την «εύθραυστη πίστη του κοινού στα γεγονότα».

Σε ανάρτησή της σχετικά με την έρευνα, η Turness αμφισβήτησε κατά πόσον η τεχνητή νοημοσύνη είναι έτοιμη «να ξεσκαρτάρει και να σερβίρει ειδήσεις χωρίς να διαστρεβλώνει και να παραμορφώνει τα γεγονότα». Προέτρεψε επίσης τις εταιρείες τεχνητής νοημοσύνης να συνεργαστούν με το BBC για να παράγουν πιο ακριβείς απαντήσεις «αντί να προσθέτουν χάος και σύγχυση».

Η έρευνα έρχεται αφότου η Apple αναγκάστηκε να αναστείλει την αποστολή ειδοποιήσεων ειδήσεων με το σήμα του BBC μετά την αποστολή αρκετών ανακριβών περιλήψεων άρθρων σε χρήστες iPhone.

Τα λάθη της Apple περιλάμβαναν τη λανθασμένη δήλωση στους χρήστες ότι ο Luigi Mangione -ο οποίος κατηγορείται για τη δολοφονία του Brian Thompson, διευθύνοντος συμβούλου του ασφαλιστικού κλάδου της UnitedHealthcare- αυτοπυροβολήθηκε.

Η έρευνα δείχνει ότι οι ανακρίβειες σχετικά με τις τρέχουσες υποθέσεις είναι ευρέως διαδεδομένες μεταξύ των δημοφιλών εργαλείων τεχνητής νοημοσύνης.

Στον πρόλογο της έρευνας, ο Peter Archer, διευθυντής προγράμματος του BBC για τη δημιουργική τεχνητή νοημοσύνη, δήλωσε: «Η έρευνά μας μπορεί μόνο να ξύσει την επιφάνεια του ζητήματος. Η κλίμακα και το εύρος των σφαλμάτων και η διαστρέβλωση του αξιόπιστου περιεχομένου είναι άγνωστη».

«Οι εκδότες, όπως το BBC, θα πρέπει να έχουν τον έλεγχο για το αν και πώς χρησιμοποιείται το περιεχόμενό τους και οι εταιρείες τεχνητής νοημοσύνης θα πρέπει να δείξουν πώς οι [βοηθοί τους] επεξεργάζονται τις ειδήσεις μαζί με την κλίμακα και το εύρος των σφαλμάτων και των ανακριβειών που παράγουν.

Αυτό θα απαιτήσει ισχυρές συνεργασίες μεταξύ της τεχνητής νοημοσύνης και των ΜΜΕ και νέους τρόπους εργασίας που θα θέτουν το κοινό σε προτεραιότητα και θα μεγιστοποιούν την αξία για όλους. Το BBC είναι ανοιχτό και πρόθυμο να συνεργαστεί στενά με τους εταίρους για να το πετύχει αυτό», πρόσθεσε.