Αμερικανικές ναυτικές δυνάμεις προετοιμάστηκαν να αναχαιτίσουν και να επιβιβαστούν σε εμπορικό πλοίο κινεζικών συμφερόντων στα διεθνή ύδατα, έπειτα από αυτοματοποιημένη αναφορά πληροφοριών που αποδείχθηκε εσφαλμένη. Η επιχείρηση ακυρώθηκε λίγο πριν εκτελεστεί, όταν αναλυτές πληροφοριών εντόπισαν ότι τα στοιχεία που την είχαν προκαλέσει αποτελούσαν «παραίσθηση» συστήματος τεχνητής νοημοσύνης.
Όπως μετέδωσε το CNN, το αμερικανικό ναυτικό τέθηκε σε ύψιστο συναγερμό με βάση εκτίμηση αυτοματοποιημένου συστήματος, το οποίο υποδείκνυε με υψηλό βαθμό βεβαιότητας ότι το πλοίο έκρυβε στο αμπάρι του προηγμένα οπλικά συστήματα κατά παράβαση διεθνών κανονισμών ασφαλείας. Η εντολή αναχαίτισης εκδόθηκε σχεδόν αμέσως και ειδικές δυνάμεις ετοιμάζονταν για επιβίβαση.
Η διαδικασία σταμάτησε λίγο πριν από την εκτέλεσή της, όταν έμπειροι αναλυτές διαπίστωσαν ότι τα δεδομένα της αναφοράς δεν υπήρχαν στην πραγματικότητα. Στην αξιολόγησή τους, τα συστήματα οπτικής αναγνώρισης είχαν παρερμηνεύσει σκιές από containers ως συστήματα εκτόξευσης πυραύλων.
Ο αλγόριθμος συνέδεσε επίσης αυθαίρετα παλαιότερα, άσχετα ταξίδια του πλοίου με υποτιθέμενα μυστικά δρομολόγια διακίνησης όπλων. Παράλληλα, το σύστημα παρήγαγε πλαστά έγγραφα καταγραφής φορτίου, επιχειρώντας να καλύψει κενά στην ανάλυσή του.
Οι αναλυτές που παρενέβησαν εντόπισαν μικρές ασυνέπειες στα μεταδεδομένα των εικόνων που συνόδευαν την αναφορά της τεχνητής νοημοσύνης. Στη συνέχεια ζήτησαν ταχεία επαλήθευση από άλλα, ανεξάρτητα δορυφορικά συστήματα, τα οποία δεν επιβεβαίωσαν κανένα από τα ευρήματα του αρχικού αλγορίθμου.
Η χρήση AI στις στρατιωτικές πληροφορίες
Το Πεντάγωνο έχει επενδύσει δισεκατομμύρια δολάρια σε γλωσσικά μοντέλα και αλγορίθμους μηχανικής όρασης που επεξεργάζονται χιλιάδες δορυφορικές εικόνες και υποκλοπές επικοινωνιών σε πραγματικό χρόνο, με στόχο να περιορίσουν τον φόρτο εργασίας των αναλυτών. Ωστόσο, η χρήση τους ενέχει κινδύνους όταν συνδέουν άσχετα δεδομένα και καταλήγουν σε συμπεράσματα που μοιάζουν εύλογα στον χειριστή, αλλά δεν στηρίζονται σε πραγματικά στοιχεία.
Οι παραισθήσεις της τεχνητής νοημοσύνης συζητούνται συχνότερα σε εμπορικές εφαρμογές, όπου μπορούν να οδηγήσουν, μεταξύ άλλων, σε λανθασμένες ιατρικές συμβουλές ή νομικά λάθη. Στις στρατιωτικές επιχειρήσεις, όμως, ένα σφάλμα μπορεί να έχει πολύ σοβαρότερες συνέπειες.
Τα συστήματα αυτά έχουν σχεδιαστεί να αναζητούν μοτίβα και να παράγουν απαντήσεις ακόμη και όταν τα διαθέσιμα δεδομένα είναι ελλιπή. Αυτό μπορεί να τα οδηγήσει στη δημιουργία κατασκευασμένων πληροφοριών, ώστε να δώσουν αποτέλεσμα αντί να αναγνωρίσουν την αβεβαιότητα. Ο κίνδυνος εντείνεται όταν τέτοιες πληροφορίες παρουσιάζονται σε επίσημες αναφορές που φέρουν τη σφραγίδα του υπουργείου Άμυνας και ενδέχεται να περιορίσουν τον ανθρώπινο σκεπτικισμό απέναντι στις αυτοματοποιημένες εκτιμήσεις.
Το περιστατικό αναδεικνύει την ανάγκη ουσιαστικού ανθρώπινου ελέγχου της πρωτογενούς πληροφορίας και όχι απλής επικύρωσης μιας απόφασης της μηχανής. Στο επίκεντρο βρίσκεται και το automation bias, δηλαδή η τάση των χρηστών να εμπιστεύονται υπερβολικά τις προτάσεις αυτοματοποιημένων συστημάτων, παραβλέποντας την κρίση τους ή αντίθετα εμπειρικά δεδομένα.
Η στρατιωτική ηγεσία των ΗΠΑ καλείται να θεσπίσει αυστηρότερα κριτήρια ελέγχου προτού μια πληροφορία θεωρηθεί αξιοποιήσιμη σε κρίσιμες αποστολές κατασκοπείας. Η αξιοπιστία των δεδομένων, σύμφωνα με την εκτίμηση που περιγράφεται, απαιτεί μηχανισμούς εποπτείας που θα διασταυρώνουν τα ευρήματα των βασικών συστημάτων AI με φυσικές παρατηρήσεις και ιστορικά αρχεία.
Στα στρατιωτικά fora εξετάζεται επίσης η δημιουργία κλειστών μοντέλων που θα δηλώνουν ρητά την αβεβαιότητά τους και θα προτιμούν να επιστρέφουν μηδενικά αποτελέσματα αντί να κατασκευάζουν ψευδή σενάρια για να συμπληρώνουν τα κενά της ανάλυσης.
Πηγή: Techgear
