Ενώ τα συστήματα τεχνητής νοημοσύνης (AI) μπορούν σε ορισμένες περιπτώσεις να ανταγωνιστούν τους γιατρούς στην ανίχνευση του καρκίνου του δέρματος ή στην αξιολόγηση ακτινολογικών εικόνων, στην παροχή συμβουλών για φαρμακευτική θεραπεία η εικόνα είναι διαφορετική.

Σε μια μελέτη της Ιατρικής Σχολής του Ανόβερου (MHH), η ανθρώπινη εμπειρογνωμοσύνη ξεπέρασε σημαντικά το chatbot ChatGPT. Τα αποτελέσματα δημοσιεύθηκαν στο "British Journal of Clinical Pharmacology".

"Η τεχνητή νοημοσύνη έχει ήδη επιτύχει πολύ καλά αποτελέσματα στην αναγνώριση προτύπων στην ιατρική απεικόνιση. Στη μελέτη μας θέλαμε να εξετάσουμε αν έχει παρόμοια απόδοση και στην κλινική φαρμακολογία όσον αφορά τη συμβουλευτική φαρμακευτικής θεραπείας", δήλωσε ο πρώτος συγγραφέας της μελέτης, Benjamin Krichevsky, από το Ινστιτούτο Γενικής Ιατρικής και Παρηγορητικής Ιατρικής της MHH.

Σε αυτόν τον τομέα, αναλύθηκαν σύνθετες φαρμακοθεραπευτικές ερωτήσεις, λαμβάνοντας υπόψη παράγοντες που αφορούν συγκεκριμένα τον ασθενή, όπως η ηλικία, οι συννοσηρότητες ή η νεφρική και ηπατική λειτουργία, και να διατυπώνονται με γλωσσική ακρίβεια προτάσεις θεραπείας. "Τα αποτελέσματά μας υποδηλώνουν ότι οι ειδικοί της τεχνητής νοημοσύνης εξακολουθούν να υπερέχουν σε αυτόν τον τομέα".

Σύγκριση απαντήσεων τεχνητής νοημοσύνης και ιατρικής εμπειρογνωμοσύνης

Η ομάδα του Krichevsky και του τελευταίου συγγραφέα της μελέτης, Johannes Heck, από το Ινστιτούτο Κλινικής Φαρμακολογίας του MHH συνέκρινε τις απαντήσεις του ChatGPT (έκδοση 3.5) σε 70 πραγματικές φαρμακοθεραπευτικές ερωτήσεις με εκείνες που είχαν δημιουργήσει οι γιατροί το χρονικό διάστημα μεταξύ Ιουνίου - Οκτωβρίου 2023 στο κλινικό-φαρμακολογικό κέντρο πληροφοριών φαρμάκων του MHH.

3 ανεξάρτητοι αξιολογητές με διαφορετική επαγγελματική εμπειρία – ένας νεοεισερχόμενος στην αγορά εργασίας, ένας έμπειρος βοηθός ιατρός και ένας ειδικός στην κλινική φαρμακολογία – αξιολόγησαν την ποιότητα των πληροφοριών, την προτίμηση των απαντήσεων, την ορθότητα του περιεχομένου και την γλωσσική ποιότητα. 2 επιπλέον ειδικοί, που δεν συμμετείχαν στην μελέτη, εντόπισαν στη συνέχεια τα 3 πιο κλινικά σημαντικά λάθη στις απαντήσεις.

Η ποιότητα των ιατρικών πληροφοριών ήταν υψηλότερη – και σπανιότερα λανθασμένη

Όλοι οι αξιολογητές βαθμολόγησαν την ποιότητα των πληροφοριών των ιατρικών απαντήσεων σημαντικά υψηλότερα από εκείνη των απαντήσεων της τεχνητής νοημοσύνης και αξιολόγησαν τις ιατρικές εξηγήσεις συνολικά ως καλύτερες.

Σε μια κλίμακα 5 βαθμών, η μέση τιμή για την ποιότητα των πληροφοριών των ιατρικών απαντήσεων ήταν "πολύ καλή'), έναντι 2 ("αδύναμη") για το ChatGPT – ανεξάρτητα από το επίπεδο εμπειρίας των αξιολογητών.

Στην πραγματικότητα, οι λανθασμένες πληροφορίες ήταν πολύ πιο συχνές στις απαντήσεις του ChatGPT (32,9–55,7 %) από ό,τι στις απαντήσεις των γιατρών (5,7–17,1 %). Όσον αφορά την ποιότητα της γλώσσας, ο νεοεισερχόμενος στην αγορά εργασίας και ο ειδικός γιατρός αξιολόγησαν επίσης καλύτερα τα κείμενα των γιατρών, ενώ ο βοηθός γιατρός δεν είδε καμία διαφορά σε αυτό το σημείο.

Ορισμένα σφάλματα της τεχνητής νοημοσύνης θα μπορούσαν να έχουν σοβαρές συνέπειες

Ορισμένα από τα σφάλματα που παρήγαγε το ChatGPT θα μπορούσαν να έχουν σοβαρές κλινικές συνέπειες. "Οι λανθασμένες πληροφορίες αφορούσαν, μεταξύ άλλων, την περιγραφή του Actrapid (ανθρώπινη ινσουλίνη) ως αναλγητικού, καθώς και τη σύσταση να χρησιμοποιείται η τιμή INR (International Normalized Ratio) ως παράμετρος για την παρακολούθηση και τον έλεγχο της θεραπείας με άμεσα από του στόματος αντιπηκτικά (DOAK)", αναφέρει ο Heck.

"Όταν οι επαγγελματίες του τομέα της υγείας είχαν υιοθετήσει χωρίς κριτική τέτοιες συμβουλές, αυτό θα μπορούσε να έχει δυνητικά επικίνδυνες συνέπειες – από ανεπαρκή θεραπεία του πόνου έως αυξημένο κίνδυνο υπογλυκαιμίας, αιμορραγίας ή θρομβοεμβολικών επιπλοκών".

 Δεδομένου ότι το ChatGPT είχε σημαντικά χειρότερη απόδοση από τους γιατρούς στην απάντηση πρακτικών φαρμακοθεραπευτικών ερωτήσεων – τόσο όσον αφορά την ποιότητα των πληροφοριών όσο και την ορθότητα του περιεχομένου – "το chatbot δεν πρέπει να χρησιμοποιείται για την παροχή συμβουλών σχετικά με τη φαρμακευτική αγωγή μέχρι νεωτέρας", συνοψίζει ο Heck.

Η απόδοση άλλων συστημάτων τεχνητής νοημοσύνης παραμένει ασαφής

Ωστόσο, η ερευνητική ομάδα τονίζει επίσης ότι εξέτασε μόνο ένα chatbot και μάλιστα την έκδοση που ήταν τρέχουσα κατά τη στιγμή της μελέτης, αλλά έχει πλέον ξεπεραστεί. Για παράδειγμα, το ChatGPT 3.5 δεν ήταν σε θέση να τεκμηριώσει τις δηλώσεις του με πηγές κατά τη στιγμή της μελέτης.

"Άλλα συστήματα τεχνητής νοημοσύνης, όπως το Perplexity, θα μπορούσαν, αντίθετα, να παρέχουν αναφορές, αν και αυτές θα έπρεπε να ελέγχονται πολύ κριτικά", λέει ο Heck.

Το αν τέτοια μοντέλα ή μεταγενέστερες εκδόσεις του ChatGPT – επί του παρόντος η έκδοση 5 – θα είχαν καλύτερα αποτελέσματα στη συμβουλευτική φαρμακευτικής θεραπείας, θα πρέπει να διερευνηθεί σε μελλοντικές μελέτες.

Ειδήσεις υγείας σήμερα
Ι. Βαρδακαστάνης: Το αναπηρικό κίνημα συνεχίζει να αγωνίζεται και να διεκδικεί
Ενδυνάμωση των ασθενών: Καμπάνια ευαισθητοποίησης για την ενίσχυση υιοθέτησης της περιτοναϊκής κάθαρσης στην Ελλάδα
Ποιες τροφές αυξάνουν την καλή χοληστερόλη