Μια νέα απειλή αφορά τους χρήστες του Gmail, με την Google να προειδοποιεί για παραπλάνησή τους και κλοπή κωδικών μέσω του ΑΙ εργαλείου Gemini, το οποίο είναι ενσωματωμένο σε Gmail και Google Workspace, αναφέρει η dailymail.



Οι ειδικοί στον κυβερνοχώρο διαπίστωσαν ότι κακόβουλοι χρήστες στέλνουν μειλ με κρυμμένες εντολές που ενεργοποιούν παραπλανητικές λειτουργίες ηλεκτρονικού «ψαρέματος» (phishing), ξεγελώντας τους χρήστες ώστε να κοινοποιήσουν τον κωδικό πρόσβασης του λογαριασμού τους ή να επισκεφθούν κακόβουλους ιστότοπους.



Αυτά τα μειλ έχουν σχεδιαστεί έτσι ώστε να δείχνουν ως επείγοντα και μερικές φορές να προέρχονται από κάποια επιχείρηση. Οι χάκερς ενσωματώνουν λευκό κείμενο πάνω σε λευκό φόντο, το οποίο είναι αόρατο στον χρήστη αλλά ανιχνεύσιμο από το AI.



Όταν ο χρήστης πατήσει «περίληψη» στο μειλ το Gemini διαβάζει το κρυφό κείμενο και αυτό με τη σειρά του το παρασύρει να δημιουργήσει ψεύτικες ειδοποιήσεις ασφαλείας που μοιάζουν να προέρχονται από την Google.



Ο Marco Figueroa, διαχειριστής του GenAI bounty, επέδειξε πώς ένα τέτοιο κακόβουλο μήνυμα θα μπορούσε να ειδοποιήσει ψευδώς τους χρήστες ότι ο λογαριασμός ηλεκτρονικού ταχυδρομείου τους παραβιάστηκε, προτρέποντάς τους να καλέσουν έναν ψεύτικο αριθμό τηλεφώνου «υποστήριξης Google» που παρέχεται για να επιλύσουν το πρόβλημα.



Για την αντιμετώπιση αυτών των επιθέσεων που ονομάζονται «indirect prompt injection», οι ειδικοί συνιστούν στις εταιρείες να ρυθμίζουν τα προγράμματα-πελάτες ηλεκτρονικού ταχυδρομείου ώστε να ανιχνεύουν και να εξουδετερώνουν κρυφόπεριεχόμενο στα σώματα των μηνυμάτων.



Επιπλέον, η εφαρμογή φίλτρων μετεπεξεργασίας για τη σάρωση των εισερχομένων για ύποπτα στοιχεία, όπως «επείγοντα μηνύματα», διευθύνσεις URL ή αριθμούςτηλεφώνου, θα μπορούσε να ενισχύσει την άμυνα έναντι τέτοιων απειλών. Το κόλπο αποκάλυψε ομάδα ασφαλείας 0Din της Mozilla, η οποία παρουσίασε στοιχεία για μία από τις επιθέσεις την περασμένη εβδομάδα, όπου η AI εμφάνιζε ένα ψεύτικο alert που έλεγε πως ο λογαριασμός του χρήστη παραβιάστηκε.



Αυτός ο τύπος χειραγώγησης εκμεταλλεύεται την αδυναμία της τεχνητής νοημοσύνης να διακρίνει τη διαφορά μεταξύ της ερώτησης ενός χρήστη και του κρυφού μηνύματος ενός χάκερ.

Σύμφωνα με την IBM, η τεχνητή νοημοσύνη δεν μπορεί να διακρίνει τη διαφορά, καθώς και τα δύο μοιάζουν με κείμενο, επομένως η τεχνητή νοημοσύνη ακολουθεί όποιο από τα δύο συμβεί πρώτο, ακόμα κι αν είναι κακόβουλο.



Η Google παραδέχεται ότι αυτό το είδος επίθεσης αποτελεί πρόβλημα από το 2024 και δήλωσε ότι έχει προσθέσει νέα εργαλεία ασφαλείας για να το σταματήσει, αλλά αυτό φαίνεται να εξακολουθεί να λειτουργεί.

Οι ειδικοί ανησυχούν για το ότι η τεχνητή νοημοσύνη δεν μπορεί να διακρίνει τη διαφορά μεταξύ ενός πραγματικού μηνύματος και μιας κρυφής επίθεσης, και αν η Google δεν διορθώσει αυτή τη συμπεριφορά, τότε ο κίνδυνος παραμένει ενεργός.



Ωστόσο, δεν είναι μόνο το Gmail. Ο κίνδυνος εξαπλώνεται καθώς η τεχνητή νοημοσύνη ενσωματώνεται στα Έγγραφα Google, στο Ημερολόγιο και σε εξωτερικές εφαρμογές.

Οι ειδικοί στον κυβερνοχώρο λένε ότι ορισμένες από αυτές τις επιθέσεις δημιουργούνται και εκτελούνται ακόμη και από άλλα συστήματα τεχνητής νοημοσύνης και όχι μόνο από ανθρώπους χάκερ.

Η Google υπενθύμισε στους χρήστες ότι δεν ενημερώνει για παραβιάσεις μέσω του Gemini ή της λειτουργίας περίληψης. Επομένως, εάν μια AI summary σάς ενημερώνει ότι ο κωδικός πρόσβασής σας διατρέχει κίνδυνο ή σας δίνει έναν σύνδεσμο για να κάνετε «κλικ», αντιμετωπίστε την ως ύποπτη και διαγράψτε το μειλ.



H Google ανέφερε ότι το Gemini ζητά πλέον επιβεβαίωση πριν κάνει οτιδήποτε επικίνδυνο, όπως η αποστολή ενός μειλ ή η διαγραφή κάποιου στοιχείου. Αυτό το επιπλέον βήμα δίνει στους χρήστες την ευκαιρία να σταματήσουν την ενέργεια, ακόμα κι αν η τεχνητή νοημοσύνη έχει εξαπατηθεί.

Η Google εμφανίζει επίσης ένα κίτρινο banner εάν εντοπίσει και μπλοκάρει μια επίθεση. Ωστόσο, ορισμένα προβλήματα δεν έχουν ακόμη λυθεί.