Όταν η Google κυκλοφόρησε την αυτόνομη εφαρμογή Photos τον Μάιο του 2015, οι άνθρωποι εντυπωσιάστηκαν από αυτό που μπορούσε να κάνει: να αναλύσει εικόνες για να επισημαίνει τα άτομα, τα μέρη και τα πράγματα σε αυτές, μια εκπληκτική προσφορά για τους καταναλωτές εκείνη την εποχή. Όμως, μερικούς μήνες μετά την κυκλοφορία, ένας προγραμματιστής λογισμικού, ο Jacky Alciné, ανακάλυψε ότι η Google είχε χαρακτηρίσει τις φωτογραφίες του και ενός φίλου του, που είναι και οι δύο μαύροι, ως «γορίλες», ένας όρος που είναι ιδιαίτερα προσβλητικός επειδή απηχεί ρατσιστικούς αιώνες τροπάρια.

Στη διαμάχη που ακολούθησε, η Google εμπόδισε το λογισμικό της να κατηγοριοποιήσει οτιδήποτε στις Φωτογραφίες ως γορίλες και υποσχέθηκε να διορθώσει το πρόβλημα. Οκτώ χρόνια αργότερα, με σημαντικές προόδους στην τεχνητή νοημοσύνη, δοκιμάσαμε εάν η Google είχε επιλύσει το πρόβλημα και εξετάσαμε συγκρίσιμα εργαλεία από τους ανταγωνιστές της: Apple, Amazon και Microsoft.

Υπήρχε ένα μέλος της οικογένειας των πρωτευόντων που η Google και η Apple μπόρεσαν να αναγνωρίσουν – οι λεμούριοι, τα μόνιμα τρομαγμένα, μακρυουρά ζώα που μοιράζονται τους αντίχειρες με τους ανθρώπους, αλλά συγγενεύουν πιο μακριά από τους πίθηκους.

Τα εργαλεία της Google και της Apple ήταν σαφώς τα πιο εξελιγμένα όσον αφορά την ανάλυση εικόνας.

Ωστόσο, η Google, της οποίας το λογισμικό Android υποστηρίζει τα περισσότερα smartphone του κόσμου, αποφάσισε να απενεργοποιήσει τη δυνατότητα οπτικής αναζήτησης πρωτευόντων από φόβο μήπως κάνει ένα προσβλητικό λάθος και χαρακτηρίσει ένα άτομο ως ζώο. Και η Apple, με τεχνολογία που είχε παρόμοια απόδοση με εκείνη της Google στη δοκιμή μας, φάνηκε να απενεργοποιεί τη δυνατότητα αναζήτησης πιθήκων και πιθήκων επίσης.

Οι καταναλωτές μπορεί να μην χρειάζεται να κάνουν συχνά μια τέτοια αναζήτηση – αν και το 2019, ένας χρήστης iPhone παραπονέθηκε στο φόρουμ υποστήριξης πελατών της Apple ότι το λογισμικό «δεν μπορεί να βρει πιθήκους στις φωτογραφίες της συσκευής μου». Ωστόσο, το ζήτημα εγείρει μεγαλύτερα ερωτήματα σχετικά με άλλα μη διορθωμένα ή μη διορθωμένα ελαττώματα που κρύβονται σε υπηρεσίες που βασίζονται στην όραση υπολογιστή – μια τεχνολογία που ερμηνεύει οπτικές εικόνες – καθώς και σε άλλα προϊόντα που υποστηρίζονται από AI.

Ο Alciné ήταν απογοητευμένος όταν έμαθε ότι η Google δεν έχει ακόμη λύσει πλήρως το πρόβλημα και είπε ότι η κοινωνία εμπιστεύεται υπερβολικά την τεχνολογία.

«Δεν θα έχω για πάντα καμία πίστη σε αυτό το AI», είπε.

Τα προϊόντα υπολογιστικής όρασης χρησιμοποιούνται πλέον για εργασίες τόσο συνηθισμένες όπως η αποστολή ειδοποίησης όταν υπάρχει ένα πακέτο στο κατώφλι και τόσο βαριές όσο η πλοήγηση αυτοκινήτων και η εύρεση δραστών στις έρευνες επιβολής του νόμου.

Τα σφάλματα μπορεί να αντικατοπτρίζουν ρατσιστικές συμπεριφορές μεταξύ εκείνων που κωδικοποιούν τα δεδομένα. Στο περιστατικό με τον γορίλα, δύο πρώην υπάλληλοι της Google που εργάστηκαν σε αυτήν την τεχνολογία είπαν ότι το πρόβλημα ήταν ότι η εταιρεία δεν είχε βάλει αρκετές φωτογραφίες μαύρων ανθρώπων στη συλλογή εικόνων που χρησιμοποιούσε για την εκπαίδευση του συστήματος AI. Ως αποτέλεσμα, η τεχνολογία δεν ήταν αρκετά εξοικειωμένη με άτομα με πιο σκουρόχρωμο δέρμα και τα μπέρδεψε με τους γορίλες.

Καθώς η τεχνητή νοημοσύνη ενσωματώνεται περισσότερο στη ζωή μας, προκαλεί φόβους για ακούσιες συνέπειες. Αν και τα προϊόντα υπολογιστικής όρασης και τα chatbot AI, όπως το ChatGPT, είναι διαφορετικά, και τα δύο εξαρτώνται από υποκείμενες ομάδες δεδομένων που εκπαιδεύουν το λογισμικό και και τα δύο μπορεί να διακοπούν λόγω ελαττωμάτων στα δεδομένα ή προκαταλήψεων που ενσωματώνονται στον κώδικά τους.

Η Microsoft πρόσφατα περιόρισε τη δυνατότητα των χρηστών να αλληλεπιδρούν με ένα chatbot ενσωματωμένο στη μηχανή αναζήτησής της, το Bing, αφού προκάλεσε ακατάλληλες συνομιλίες.

Η απόφαση της Microsoft, όπως και η επιλογή της Google να εμποδίσει τον αλγόριθμό της να εντοπίζει εντελώς τους γορίλες, απεικονίζει μια κοινή προσέγγιση του κλάδου – να αποκλείσει τα τεχνολογικά χαρακτηριστικά που δυσλειτουργούν αντί να τα διορθώσει.

«Η επίλυση αυτών των ζητημάτων είναι σημαντική», είπε ο Vicente Ordóñez, καθηγητής στο Πανεπιστήμιο Rice που μελετά την όραση υπολογιστών. “Πώς μπορούμε να εμπιστευτούμε αυτό το λογισμικό για άλλα σενάρια;”

Ο Michael Marconi, εκπρόσωπος της Google, είπε ότι η Google είχε εμποδίσει την εφαρμογή φωτογραφιών της να χαρακτηρίζει οτιδήποτε ως μαϊμού ή πίθηκο επειδή αποφάσισε ότι το όφελος «δεν υπερτερεί του κινδύνου βλάβης».

Η Apple αρνήθηκε να σχολιάσει την αδυναμία των χρηστών να αναζητήσουν τα περισσότερα πρωτεύοντα στην εφαρμογή της.

Εκπρόσωποι από την Amazon και τη Microsoft είπαν ότι οι εταιρείες πάντα προσπαθούσαν να βελτιώσουν τα προϊόντα τους.

Κακό όραμα

Όταν η Google ανέπτυξε την εφαρμογή φωτογραφιών της, συνέλεξε μεγάλο αριθμό εικόνων για να εκπαιδεύσει το σύστημα τεχνητής νοημοσύνης ώστε να αναγνωρίζει ανθρώπους, ζώα και αντικείμενα.

Η σημαντική παράβλεψή του – ότι δεν υπήρχαν αρκετές φωτογραφίες μαύρων ατόμων στα δεδομένα εκπαίδευσης – προκάλεσε αργότερα δυσλειτουργία της εφαρμογής, είπαν δύο πρώην υπάλληλοι της Google. Η εταιρεία απέτυχε να αποκαλύψει το πρόβλημα του «γορίλα» τότε επειδή δεν είχε ζητήσει από αρκετούς υπαλλήλους να δοκιμάσουν τη λειτουργία πριν από το δημόσιο ντεμπούτο της, είπαν οι πρώην υπάλληλοι.

Η Google ζήτησε άφθονα συγγνώμη για το περιστατικό με τους γορίλες, αλλά ήταν ένα από τα πολλά επεισόδια στην ευρύτερη βιομηχανία τεχνολογίας που οδήγησαν σε κατηγορίες για μεροληψία.

Άλλα προϊόντα που έχουν επικριθεί είναι οι κάμερες παρακολούθησης προσώπου της HP, οι οποίες δεν μπορούσαν να ανιχνεύσουν ορισμένα άτομα με σκούρο δέρμα και το Apple Watch, το οποίο, σύμφωνα με μήνυση, απέτυχε να διαβάσει με ακρίβεια τα επίπεδα οξυγόνου στο αίμα στα χρώματα του δέρματος. Τα λάθη υποδηλώνουν ότι τα προϊόντα τεχνολογίας δεν σχεδιάζονταν για άτομα με πιο σκούρο δέρμα. (Η Apple επισήμανε ένα έγγραφο από το 2022 που περιγράφει λεπτομερώς τις προσπάθειές της να δοκιμάσει την εφαρμογή της για οξυγόνο αίματος σε ένα «ευρύ φάσμα τύπων και τόνων δέρματος».)

Χρόνια μετά το σφάλμα Google Photos, η εταιρεία αντιμετώπισε παρόμοιο πρόβλημα με την κάμερα Nest home-security κατά τη διάρκεια εσωτερικών δοκιμών, σύμφωνα με ένα άτομο εξοικειωμένο με το περιστατικό που εργαζόταν στην Google εκείνη την εποχή. Η κάμερα Nest, η οποία χρησιμοποιούσε τεχνητή νοημοσύνη για να προσδιορίσει εάν κάποιος σε μια ιδιοκτησία ήταν οικείος ή άγνωστος, παρεξήγησε ορισμένους μαύρους με ζώα. Η Google έσπευσε να διορθώσει το πρόβλημα προτού οι χρήστες έχουν πρόσβαση στο προϊόν, είπε το άτομο.

Ωστόσο, οι πελάτες της Nest συνεχίζουν να διαμαρτύρονται στα φόρουμ της εταιρείας για άλλα ελαττώματα. Το 2021, ένας πελάτης έλαβε ειδοποιήσεις ότι η μητέρα του χτυπούσε το κουδούνι αλλά βρήκε την πεθερά του στην άλλη πλευρά της πόρτας. Όταν οι χρήστες παραπονέθηκαν ότι το σύστημα μπέρδευε πρόσωπα που είχαν επισημάνει ως “οικεία”, ένας εκπρόσωπος υποστήριξης πελατών στο φόρουμ τους συμβούλεψε να διαγράψουν όλες τις ετικέτες τους και να ξεκινήσουν από την αρχή.

Ο Marconi, εκπρόσωπος της Google, είπε ότι «στόχος μας είναι να αποτρέψουμε τέτοιου είδους λάθη από το να συμβούν ποτέ». Πρόσθεσε ότι η εταιρεία είχε βελτιώσει την τεχνολογία της «συνεργαζόμενη με ειδικούς και διαφοροποιώντας τα σύνολα δεδομένων εικόνων μας».

Το 2019, η Google προσπάθησε να βελτιώσει μια λειτουργία αναγνώρισης προσώπου για smartphone Android αυξάνοντας τον αριθμό των ατόμων με σκούρο δέρμα στο σύνολο δεδομένων της. Ωστόσο, οι εργολάβοι τους οποίους είχε προσλάβει η Google για τη συλλογή σαρώσεων προσώπου φέρεται να κατέφυγαν σε μια ανησυχητική τακτική για να αντισταθμίσουν αυτή την έλλειψη διαφορετικών δεδομένων: Στοχεύουν σε άστεγους και φοιτητές. Τα στελέχη της Google χαρακτήρισαν το περιστατικό «πολύ ανησυχητικό» εκείνη την εποχή.

Η επιδιόρθωση?

Ενώ η Google εργάστηκε στα παρασκήνια για να βελτιώσει την τεχνολογία, δεν επέτρεψε ποτέ στους χρήστες να κρίνουν αυτές τις προσπάθειες.

Η Μάργκαρετ Μίτσελ, ερευνήτρια και συνιδρυτής της ομάδας Ethical AI της Google, εντάχθηκε στην εταιρεία μετά το περιστατικό με τον γορίλα και συνεργάστηκε με την ομάδα Photos. Είπε σε πρόσφατη συνέντευξή της ότι ήταν υπέρμαχος της απόφασης της Google να αφαιρέσει «την ετικέτα γορίλες, τουλάχιστον για λίγο».

«Πρέπει να σκεφτείς πόσο συχνά χρειάζεται κάποιος να χαρακτηρίζει έναν γορίλα αντί να διαιωνίζει επιβλαβή στερεότυπα», είπε ο Μίτσελ. «Τα οφέλη δεν υπερτερούν των πιθανών βλαβών από το να το κάνεις λάθος».

Ο Ordóñez, ο καθηγητής, υπέθεσε ότι η Google και η Apple θα μπορούσαν πλέον να είναι σε θέση να διακρίνουν τα πρωτεύοντα από τους ανθρώπους, αλλά ότι δεν ήθελαν να ενεργοποιήσουν τη λειτουργία, δεδομένου του πιθανού κινδύνου για τη φήμη, σε περίπτωση που δεν ενεργοποιηθεί ξανά.

Η Google κυκλοφόρησε έκτοτε ένα πιο ισχυρό προϊόν ανάλυσης εικόνας, το Google Lens, ένα εργαλείο αναζήτησης στον ιστό με φωτογραφίες και όχι κείμενο. Το Wired ανακάλυψε το 2018 ότι το εργαλείο δεν ήταν επίσης σε θέση να αναγνωρίσει έναν γορίλα.

Αυτά τα συστήματα δεν είναι ποτέ αλάνθαστα, είπε ο Μίτσελ, ο οποίος δεν εργάζεται πλέον στην Google. Επειδή δισεκατομμύρια άνθρωποι χρησιμοποιούν τις υπηρεσίες της Google, θα εμφανιστούν ακόμη και σπάνιες δυσλειτουργίες που συμβαίνουν μόνο σε ένα άτομο από ένα δισεκατομμύριο χρήστες.

«Χρειάζεται μόνο ένα λάθος για να έχουμε τεράστιες κοινωνικές προεκτάσεις», είπε, αναφερόμενος σε αυτό ως «η δηλητηριασμένη βελόνα σε ένα άχυρο».

Αυτό το άρθρο δημοσιεύθηκε αρχικά στους New York Times.