Mittlerweile sind Algorithmen ganz gut darin, zu erkennen, was auf einem Foto abgebildet ist. Google Lens ist eines der besten Tools dafür. Ist man mal spazieren und weiß nicht was für ein Busch mit schönen Blüten das am Wegesrand ist, dann hilft eine App. Handy raus, Foto machen und in der Google Fotos-App unten auf den „Bildanalyse“-Button drücken. Fertig. Schon ist das Bilderrätsel gelöst.

Google Lens erkennt nicht nur, dass es sich um einen Busch, eine Blume, eine Kirche oder ein Haus handelt. Es erkennt sogar noch „Marke und Modell“, also die Blumensorte oder in vielen Fällen sogar welche Kirche das genau ist oder in welcher Straße das (markante) Haus steht.

Nun haben einige Tech-Riesen die Idee gehabt, dass man mit dieser Technologie auch Gutes tun kann. Zum Beispiel kann man automatisch Fotos erkennen, auf denen (Klein-)Kinder sexuell missbraucht werden. Eigentlich eine super Idee. Aber … wir überlassen mal wieder staatliche Aufgaben einem Privatunternehmen. Mit teils fatalen Folgen bei Fehlern der Algorithmen. Und was das heißt, bekommt seit Februar 2021 Mark, ein Vater in San Francisco, zu spüren.

Mark hatte auf Anweisung einem Kinderarzt während einer telefonischen Beratung ein Foto des geschwollenen Penis seines Sohnes im Säuglingsalter geschickt. Das Foto wurde aber nicht nur dem Arzt übertragen. Das Android-Telefon spielte sogleich ein Backup des Bildes in die Google Cloud. Dort erkannte der Bilderkennungs-Algorithmus, dass es sich um eine Nahaufnahme eines Baby-Genitals handelt und schlug Alarm. Ein Mensch, der die markierten Bilder dann zusätzlich überprüft kannte den medizinischen Kontext der Aufnahmen natürlich nicht, wusste auch nicht, dass Marks Hand nur als Größenvergleich mit auf dem Bild war – und informierte die Polizei.

Diese entlastete Mark sehr schnell vom Vorwurf des Kindesmissbrauchs und stellte die Untersuchung umgehend ein. Google hingegen sperrte Marks Google Account und hat ihn – trotz Einspruch – mittlerweile sogar komplett gelöscht. Und mit ihm auch alle in der Cloud-gesicherten Fotos der Familie, Marks gmail-Adresse, dem Zugang zu praktisch allen damit registrierten Diensten (wie PayTV oder Onlinegames) und sogar Marks Telefonnummer (er war Kunde bei Googles Mobilfunkdienst). Marks digitale Identität der letzten 10 Jahre ist für immer weg – obwohl er nicht Falsches getan hat. Googles Wille ist Gottes gleich.

Der ermittelnde Polizist hat Mark übrigens gar nicht mitteilen können, dass es Ermittlungen gegen ihn gab und auch nicht, dass er diese eingestellt hat. Der Grund: Der Beamte konnte Mark nicht erreichen. Google hatte da Marks gmail-Adresse und auch seine Telefonnummer bereits abgeschaltet.