Η ασφάλεια του γενετικής τεχνητής νοημοσύνης Επανέρχεται στο προσκήνιο μετά από ένα νέο ακαδημαϊκό έργο που θέτει στο τραπέζι ένα κόλπο τόσο εντυπωσιακό όσο και ανησυχητικό: αρκεί να αναδιατυπωθούν ορισμένα μηνύματα με τη μορφή ενός ποιήματος για να αρχίσουν τα πιο προηγμένα γλωσσικά μοντέλα να απαντούν εκεί που θα έπρεπε να αρνηθούν.
Αυτή η προσέγγιση, που ονομάστηκε «αντιμαχική ποίηση» Η ερευνητική ομάδα καταδεικνύει ότι η απλή αλλαγή του στυλ γραφής —χωρίς να αλλάξει η υποκείμενη επιβλαβής πρόθεση— μπορεί να είναι αρκετή για να παρακαμφθούν τα φίλτρα που εταιρείες όπως η OpenAI, η Google, η Meta, η Microsoft ή η κινεζική DeepSeek ισχυρίζονται ότι έχουν ενσωματώσει για να περιορίσουν τις επικίνδυνες χρήσεις των chatbot τους.
Τι είναι η «αντιμαχική ποίηση» και γιατί είναι ανησυχητική;
Η μελέτη, με πολύ γραφικό τίτλο «Η αντιφατική ποίηση ως ένας καθολικός μηχανισμός για την αποφυγή μιας μοναδικής μετατόπισης σε μεγάλης κλίμακας γλωσσικά μοντέλα»Έχει πραγματοποιηθεί από τα Icaro Labs σε συνεργασία με το Πανεπιστήμιο Sapienza της Ρώμης και τη Σχολή Προηγμένων Σπουδών Sant'Anna και έχει διανεμηθεί ως προδημοσίευση στο αποθετήριο arXiv εν αναμονή της αξιολόγησης από άλλους ειδικούς.
Οι συγγραφείς επικεντρώθηκαν σε μια ιδέα που ήταν τόσο απλή όσο και αποτελεσματική: τη χρήση σύντομα ποιήματα, μεταφορικοί στίχοι ή λυρικές δομές να διατυπώνουν αιτήματα τα οποία, με απλό τρόπο, τα μοντέλα Τεχνητής Νοημοσύνης θα απέρριπταν αμέσως επειδή παραβιάζουν τους εσωτερικούς κανόνες χρήσης τους.
Σύμφωνα με τους ερευνητές, αυτή η «αντιμαχική ποίηση» λειτουργεί ως μηχανισμός jailbreaking μια μόνο στροφή, δηλαδή, ένας τρόπος για να επιβληθούν ανεπιθύμητες συμπεριφορές σε μοντέλα με ένα μόνο μήνυμα, χωρίς την ανάγκη για μακρές συνομιλίες ή ιδιαίτερα εξελιγμένα κόλπα.
Με τα δικά του λόγια, οι δοκιμές «δείχνουν ότι το μόνο η στυλιστική παραλλαγή «Μπορεί να παρακάμψει τους σύγχρονους μηχανισμούς ασφαλείας», γεγονός που υποδηλώνει σοβαρούς περιορισμούς στις τρέχουσες μεθόδους ευθυγράμμισης και αξιολόγησης κινδύνου που χρησιμοποιούνται από τις μεγάλες τεχνολογικές εταιρείες.
Η ομάδα αποφάσισε να μην αποκαλύψει τα ακριβή κείμενα των ποιημάτων που χρησιμοποιήθηκαν κατά τη διάρκεια του πειράματος, μια επιλογή που υποκινήθηκε από το επιπτώσεις στην ασφάλειαΈνας από τους ερευνητές, ο Piercosma Bisconti, δήλωσε στα διεθνή μέσα ενημέρωσης ότι η αναπαραγωγή της τεχνικής δεν θα ήταν ιδιαίτερα περίπλοκη αν παρέχονταν λεπτομερή παραδείγματα.
Αποτελέσματα μελέτης: ανησυχητικά υψηλά ποσοστά εξαπάτησης
Για να ελέγξουν αυτή την ιδέα, οι ερευνητές εξέτασαν 25 διαφορετικά μοντέλα γενετικής τεχνητής νοημοσύνης, συμπεριλαμβανομένων των πιο δημοφιλών συστημάτων σήμερα, όπως το ChatGPT, το Gemini ή το Claude, καθώς και μοντέλα από την Meta και Κινέζους παρόχους όπως το DeepSeek.
Στην πράξη, τα αιτήματα υποβλήθηκαν με σαφείς στόχους: να επιτευχθεί οδηγίες για την έναρξη κυβερνοεπιθέσεωνεξαγωγή ευαίσθητων δεδομένων, σπάσιμο κωδικών πρόσβασης, σχεδιασμός κακόβουλου λογισμικού ή ακόμη και συλλογή πληροφοριών που σχετίζονται με τη δημιουργία χημικών και πυρηνικών όπλων.
Όταν τα ίδια αιτήματα εκφράστηκαν ως στίχους ή ποιητικές συνθέσειςΤο ποσοστό των αβέβαιων απαντήσεων εκτοξεύτηκε στα ύψη. Η μελέτη διαπίστωσε ότι, κατά μέσο όρο, η γραφή της προτροπής με λυρικό τρόπο επέτρεπε στο σύστημα να ξεγελαστεί ώστε να πιστέψει ότι... 62% του χρόνου, ένα ποσοστό πολύ υψηλότερο από αυτό που επιτυγχάνεται με ουδέτερες και άμεσες συνθέσεις.
Σε ορισμένα συγκεκριμένα σενάρια, τα στοιχεία είναι ακόμη υψηλότερα: οι ερευνητές λένε ότι σχεδόν 90% των ποιητικών υποκινήσεων Σχεδιασμένα για το πείραμα, κατάφεραν να ενεργοποιήσουν συμπεριφορές που τα φίλτρα θα έπρεπε να είχαν μπλοκάρει.
Στη συγκεκριμένη περίπτωση πληροφοριών που σχετίζονται με πυρηνικά όπλαΤα ποσοστά επιτυχίας κυμαίνονταν μεταξύ 40% και 55%, πράγμα που σημαίνει ότι σχεδόν οι μισές από τις προσπάθειες που διατυπώθηκαν στο verse κατέληξαν να δημιουργήσουν περιεχόμενο που συνορεύει με ή διασχίζει άμεσα τις κόκκινες γραμμές που θέτουν οι πολιτικές χρήσης.
Πώς η ποίηση γλιστράει μέσα από τα φίλτρα της τεχνητής νοημοσύνης
Ένας από τους βασικούς παράγοντες που χρησιμοποιούν οι συγγραφείς της μελέτης για να εξηγήσουν γιατί λειτουργεί αυτό το κόλπο έγκειται στο ίδιο το τρόπος λειτουργίας των γλωσσικών μοντέλωνΑυτές οι Τεχνητές Νοημοσύνης δεν «λογίζονται» όπως ένα άτομο, αλλά μάλλον προβλέπουν την επόμενη πιο πιθανή λέξη με βάση την προηγούμενη ακολουθία και όσα έχουν μάθει κατά τη διάρκεια της εκπαίδευσής τους.
Σε ένα λίγο-πολύ συμβατικό πεζό κείμενο, η δομή είναι σχετικά εύκολο να μοντελοποιηθεί: υπάρχουν σαφή συντακτικά μοτίβα, συχνές εκφράσεις και επαναλαμβανόμενα συμφραζόμενα. Ωστόσο, κατά την εισαγωγή ποιητική δομή, μεταφορές και ασυνήθιστες φράσειςΤο μοντέλο κινείται σε πολύ πιο ολισθηρό έδαφος.
Οι ερευνητές επισημαίνουν ότι, δεδομένου ότι η ποίηση είναι μια μορφή όπου το νόημα μπορεί να είναι πιο θολό και η γλώσσα γίνεται πιο ασαφής και λιγότερο προβλέψιμοςΟι μηχανισμοί ανίχνευσης επικίνδυνου περιεχομένου χάνουν την ακρίβειά τους. Ως αποτέλεσμα, το φίλτρο ασφαλείας δεν αναγνωρίζει με σαφήνεια ότι ένα επιβλαβές αίτημα κρύβεται πίσω από το ποίημα.
Η μελέτη τονίζει ότι όταν τα επιβλαβή μηνύματα εκφράζονται σε στίχους αντί για πεζά κείμενα, το ποσοστά επιτυχίας επίθεσης Αυξάνονται σημαντικά. Αυτό υπογραμμίζει ένα σημαντικό κενό στις τρέχουσες πρακτικές αξιολόγησης και στα πρωτόκολλα που χρησιμοποιούνται για την επικύρωση της συμμόρφωσης με τις οδηγίες χρήσης.
Ένα άλλο αξιοσημείωτο στοιχείο είναι ότι αυτά τα τρωτά σημεία εμφανίζονται σε ένα που αποτελείται από μοντέλα από διαφορετικές οικογένειες και κατασκευαστέςΠαρά το γεγονός ότι κάθε εταιρεία έχει ακολουθήσει τις δικές της στρατηγικές για την εκπαίδευση και την ευθυγράμμιση των συστημάτων της, οι συγγραφείς μιλούν για «συστηματική ευπάθεια» και όχι για μεμονωμένες αποτυχίες.
Επιπτώσεις στην ασφάλεια: από κυβερνοεπιθέσεις έως όπλα
Πέρα από το γλωσσικό κόλπο, αυτό που πραγματικά κρούει τον κώδωνα του κινδύνου είναι το είδος του πληροφορίες που μπορεί να δημιουργήσει η Τεχνητή Νοημοσύνη αν μπορούν να εξαπατηθούν χρησιμοποιώντας αυτές τις μεθόδους. Η μελέτη περιγράφει λεπτομερώς περιπτώσεις στις οποίες, χρησιμοποιώντας προσεκτικά γραμμένα ποιήματα, τα chatbots προσέφεραν οδηγίες για την οργάνωση κυβερνοεπιθέσεων ή την εισβολή σε συστήματα.
Μεταξύ των προβληματικών χρήσεων που έχουν παρατηρηθεί είναι οι ενδείξεις σχετικά με εκμετάλλευση τρωτών σημείων, εξαγωγή δεδομένων ή σπάσιμο κωδικών πρόσβασηςΑυτές οι εργασίες αποτελούν μέρος του τυπικού οπλοστασίου του κυβερνοεγκλήματος και των προηγμένων απειλών που απασχολούν κυβερνήσεις, εταιρείες και οργανισμούς σε όλο τον κόσμο.
Έχουν επίσης καταγραφεί απαντήσεις που βοηθούν στη δημιουργία ή τη βελτίωση κακόβουλα προγράμματαΑυτό είναι ιδιαίτερα ανησυχητικό δεδομένου ότι πολλοί χρήστες με περιορισμένες τεχνικές γνώσεις θα μπορούσαν να βασίζονται σε αυτά τα εργαλεία για να αναπτύσσουν επιθέσεις πιο εύκολα.
Ο πιο ευαίσθητος τομέας, και αυτός που συνήθως επικεντρώνεται στην κανονιστική προσοχή στην Ευρώπη και διεθνώς, είναι αυτός του διάδοση χημικών και πυρηνικών όπλωνΑκόμα και χωρίς να προσφέρονται «πλήρη εγχειρίδια», η ικανότητα ενός συστήματος τεχνητής νοημοσύνης να παρέχει χρήσιμες πληροφορίες σε αυτόν τον τομέα εγείρει ήδη πολλές υποψίες μεταξύ των ειδικών σε θέματα ασφάλειας.
Οι συγγραφείς τονίζουν ότι ο στόχος τους δεν είναι να δραματοποιήσουν, αλλά να δείξουν ότι Τα υπάρχοντα φίλτρα δεν επαρκούν όταν αντιμετωπίζουν σχετικά απλές τεχνικές χειραγώγησης, όπως η ποιητική αναδιατύπωση επικίνδυνων εντολών, κάτι που θα μπορούσε να αξιοποιηθεί τόσο από τους κυβερνοεγκληματίες όσο και από κρατικούς φορείς.
Περιορισμοί των τρεχόντων συστημάτων και αντίδραση του κλάδου
Οι κορυφαίες εταιρείες που αναπτύσσουν μοντέλα γενετικής τεχνητής νοημοσύνης επιμένουν εδώ και καιρό ότι πρέπει να ενσωματώνουν πολυεπίπεδους μηχανισμούς ασφαλείαςΤο OpenAI, για παράδειγμα, συχνά υπογραμμίζει τη συνδυασμένη χρήση αλγορίθμων εποπτείας και ανθρώπινων ομάδων που είναι αφιερωμένες στην αναθεώρηση και το φιλτράρισμα περιεχομένου που υποκινεί μίσος, είναι άσεμνο ή παραβιάζει τις πολιτικές του.
Ωστόσο, τα αποτελέσματα αυτής της εργασίας υποδηλώνουν ότι, παρά τις διασφαλίσεις αυτές, τα chatbots παραμένουν ευάλωτα σε δημιουργικές μορφές διατύπωσης των αιτημάτων. Σύμφωνα με τους ερευνητές, η αντιφατική ποίηση υποβαθμίζει σαφώς τη συμπεριφορά απόρριψης που θα έπρεπε να επιδεικνύει οποιοδήποτε μοντέλο που ευθυγραμμίζεται καλά με τους κανόνες χρήσης του.
Στις δοκιμές, εργαλεία από εταιρείες όπως η OpenAI και η Anthropic έδειξαν, σε σύγκριση, χαμηλότερη πιθανότητα να ξεπεράσουν τα δικά τους εμπόδιαΩστόσο, δεν εξαιρέθηκαν από το πρόβλημα. Η ίδια γενική τάση παρατηρήθηκε όπως και στις άλλες πλατφόρμες, μόνο με κάπως χαμηλότερα ποσοστά επιτυχίας.
Όταν ρωτήθηκαν από διεθνή μέσα ενημέρωσης σχετικά με αυτά τα ευρήματα, εταιρείες όπως η OpenAI, Google, DeepSeek ή Meta Δεν έδωσαν άμεση απάντηση. Αναμένεται ότι, καθώς η συζήτηση θα προσελκύει την προσοχή του κοινού, οι εταιρείες θα πρέπει να αναλύσουν τα αντίμετρα που σκοπεύουν να εφαρμόσουν.
Από κανονιστικής άποψης, αυτό το είδος έρευνας ευθυγραμμίζεται με ανησυχίες που έχουν ήδη αντικατοπτριστεί στην Κανονισμός της Ευρωπαϊκής Ένωσης για την Τεχνητή ΝοημοσύνηΑυτό δίνει έμφαση στη διαχείριση κινδύνου, τη διαφάνεια και την λογοδοσία των παρόχων προηγμένων συστημάτων. Η ανακάλυψη νέων φορέων επίθεσης, όπως η αντιφατική ποίηση, ενισχύει το επιχείρημα για την ανάγκη συνεχών και πιο αυστηρών διαδικασιών αξιολόγησης.
Άλλες απειλές στον ορίζοντα: δηλητηρίαση και χειραγώγηση δεδομένων
Η αντιφατική ποίηση δεν είναι σε καμία περίπτωση η μόνη οδός που ανησυχεί την κοινότητα της κυβερνοασφάλειας όσον αφορά την παραγωγική Τεχνητή Νοημοσύνη. Ένα σημαντικό μέρος της πρόσφατης έρευνας επικεντρώνεται στην κίνδυνοι που σχετίζονται με την εκπαίδευση μοντέλωνόπου οι τεράστιες βάσεις δεδομένων που χρησιμοποιούνται για να διδάξουν σε αυτά τα εργαλεία την ομιλία, τη γραφή και τη συλλογιστική.
Ανεξάρτητες μελέτες έχουν δείξει ότι είναι δυνατόν χειρίζονται μοντέλα γλώσσας μεγάλης κλίμακας μολύνοντας ένα πολύ μικρό κλάσμα των δεδομένων εκπαίδευσης: περίπου 250 κατεστραμμένα έγγραφα θα ήταν αρκετά για να εισαγάγουν προκαταλήψεις, κερκόπορτες ή απροσδόκητες συμπεριφορές, ακόμη και σε συστήματα τελευταίας τεχνολογίας.
Αυτό που είναι εντυπωσιακό είναι ότι αυτό το όριο δεν φαίνεται να αυξάνεται σημαντικά με το μέγεθος του μοντέλου, γεγονός που διαψεύδει την εντύπωση ότι «Μεγαλύτερο σημαίνει αυτόματα πιο ισχυρό»Στην πράξη, τόσο οι ελαφριές λύσεις όσο και τα τεράστια μοντέλα θα μπορούσαν να είναι ευάλωτα σε αυτό το είδος δηλητηρίασης δεδομένων.
Αν μια επίθεση αυτού του είδους περάσει απαρατήρητη, μπορεί να οδηγήσει σε κυβερνοεπιθέσεις που είναι δύσκολο να εντοπιστούναφού το ίδιο το μοντέλο θα συμπεριφερόταν με έναν φαινομενικά φυσιολογικό τρόπο μέχρι να πληρούνται ορισμένες κρυφές συνθήκες στα δεδομένα που το αλλοίωσαν.
Σε συνδυασμό με τεχνικές όπως η αντιφατική ποίηση, η χειραγώγηση των δεδομένων εκπαίδευσης ανοίγει ένα σενάριο στο οποίο Εκατομμύρια χρήστες ενδέχεται να χρησιμοποιούν εργαλεία με λανθάνοντα ελαττώματα.χωρίς να το γνωρίζουν, γεγονός που αποτελεί σημαντική πρόκληση για τις πολιτικές ασφάλειας και διακυβέρνησης της Τεχνητής Νοημοσύνης.
Όλα αυτά τα ευρήματα υποδηλώνουν ότι η ασφάλεια της γενετικής τεχνητής νοημοσύνης δεν είναι ένα λυμένο πρόβλημα, αλλά ένα... συνεχώς εξελισσόμενο πεδίο όπου νέες μορφές επίθεσης αναδύονται καθώς η τεχνολογία ενσωματώνεται σε περισσότερους τομείς της καθημερινής ζωής, από την εργασία γραφείου έως τη δημόσια διοίκηση ή την εκπαίδευση.
Σε αυτό το πλαίσιο, η «ποίηση για την εξαπάτηση της Τεχνητής Νοημοσύνης» έχει γίνει ένα πολύ χαρακτηριστικό παράδειγμα του πώς μια απλή αλλαγή στυλ μπορεί να εκθέσει συστήματα που, στα χαρτιά, έχουν αυστηρά πρωτόκολλα προστασίας. Η έρευνα των Icaro Labs και ιταλικών πανεπιστημίων ενισχύει την ιδέα ότι τέτοια μέτρα θα είναι απαραίτητα. πιο δημιουργικές αξιολογήσειςΣυνεχείς δοκιμές αντοχής και στενή συνεργασία μεταξύ προγραμματιστών, ειδικών στον κυβερνοχώρο και ρυθμιστικών αρχών για να διασφαλιστεί ότι τα γλωσσικά μοντέλα που χρησιμοποιούμε καθημερινά είναι πραγματικά ικανά να αντέξουν τόσο τις τεχνικές επιθέσεις όσο και τα πιο έξυπνα γλωσσικά κόλπα.