Walter Krämer / 31.10.2018 / 06:20 / Foto: None / 22 / Seite ausdrucken

Erfolgreiche Gesichts-Erkennung? Von wegen!

Die Unstatistik des Monats Oktober ist die Pressemitteilung des Innenministeriums über das „erfolgreiche“ Projekt zur automatischen Gesichtserkennung mit einer Trefferrate von über 80 Prozent und Falsch-Alarm-Rate von unter 0,1 Prozent.   

Das Bundesministerium des Innern, für Bau und Heimat führte im Rahmen des gemeinsamen Pilotprojektes "Sicherheitsbahnhof Berlin Südkreuz" gemeinsam mit der Bundespolizei und der Deutsche Bahn AG einen Test von drei Gesichtserkennungssystemen am Bahnhof Südkreuz in Berlin durch. Das Bundeskriminalamt beriet hierbei. Bundesinnenminister Horst Seehofer war begeistert: „Die Systeme haben sich in beeindruckender Weise bewährt, so dass eine breite Einführung möglich ist“.

tagesschau.de wiederholte am 11. Oktober kritiklos zwei Zahlen, die den Erfolg des Projekts belegen sollten: Erstens, eine Trefferrate 80 Prozent, das heißt, von je 10 Gesuchten (Testpersonen) wurden 8 richtig erkannt und 2 nicht. Zweitens, eine Falsch-Alarm-Rate von 0,1 Prozent, das heißt, von je 1.000 Normalbürgern (die nicht als Testpersonen teilnahmen) wurden 999 als unverdächtig und einer fälschlicherweise als gesuchte Person klassifiziert.

Das klingt doch gut! Also so schnell wie möglich auf allen Bahnhöfen Kameras mit Gesichtserkennung installieren, um uns vor den rund 600 als gefährlich eingestuften Islamisten und anderen gesuchten Personen zu schützen. Oder gleich wie in China die totale Überwachung aller Bürger auf allen Straßen, öffentlichen Plätzen und Gebäuden einführen?

Als Treffer zählte schon, wenn eines der drei Systeme anschlug

Ein genauer Blick in den Abschlussbericht zeichnet ein anderes Bild. Keines der drei getesteten Systeme hat eine Trefferquote von 80 Prozent über beide Testphasen hinweg erreicht; die 80 Prozent sind auch nicht der Durchschnitt der drei Systeme. Diese Zahl bekam man nur nachträglich, indem man die Treffer aller drei Systeme addierte (das heißt, wenn mindestens eines der Systeme einen Treffer hatte, galt das als Treffer).

Die Bilder der „Gesuchten“, die den Systemen zur Verfügung standen, waren anders als Fahndungsfotos so gut wie perfekt: in der ersten Testphase mit 312 Freiwilligen wurden diese mit hochauflösenden Kameras aufgenommen, in der zweiten Phase, an der nur noch 201 Testpersonen weitermachten, wurden dann sogar die von den Überwachungskameras in der ersten Phase aufgenommenen Bilder verwendet, das heißt, am gleichen Ort, wo getestet wurde – damit bekam man bessere Werte, als man sie in Realität (in der man keine erste Testphase hat) je erreichen könnte. Die Zahlen beruhen auch nicht auf allen erhobenen Daten, sondern nur auf einer kleinen Auswahl, wobei nicht angegeben wurde, wie diese ausgesucht wurden. All das macht eine Bewertung unklar.

Der eigentlich interessante Punkt ist aber: Das Problem bei Massenüberwachungssystemen sind Fehlalarme, das heisst, Normalbürger, die vom Gesichtserkennungssystem für Gesuchte gehalten werden. Eine Person betritt einen Bahnhof und wird vom System als „Verdächtiger“ gemeldet. Was ist die Wahrscheinlichkeit, dass sie tatsächlich der Verdächtige ist? Eben nicht 80 Prozent. Und auch nicht 0,1 Prozent.

Eine Überschlagsrechnung kann diese Frage beantworten. Die Deutsche Bahn berichtet, dass rund 11,9 Millionen Menschen täglich mit der Bahn reisen. Der Abschlussbericht der Studie gibt an, es gäbe derzeit etwa 600 Verdächtige, die als islamistische Gefährder eingestuft werden, welche das System erkennen sollte. Um die Rechnung einfach zu machen, nehmen wir an, dass sich davon täglich 100 an Bahnhöfen aufhalten (etwa der gleiche Anteil wie bei der Normalbevölkerung). 

Von den 100 Verdächtigen erwarten wir, dass etwa 80 (80 Prozent) erkannt werden, und von den rund 11,9 Millionen anderen Menschen werden täglich nochmals etwa 11.900 (0,1 Prozent) fälschlicherweise als gesuchte Person eingestuft. Das heißt, die Wahrscheinlichkeit, dass jemand eine gesuchte Person ist, wenn die Kamera Alarm schlägt, ist etwa 80/11.980, also rund 7 in 1.000, oder 0,7 Prozent. In anderen Worten, etwa 99,3 Prozent der Einschätzungen des Systems sind falsch.

Im Monat 350.000 unnötige Personenkontrollen durch Fehlalarme

Jedem Alarm solle ein Einsatz der Polizei zur Abklärung folgen. Da eine flächendeckende Überwachung an Bahnhöfen jedoch 11.900 falsche Alarme pro Tag erwarten ließe, müssten jeden Monat über 350.000 Personen unnötigerweise kontrolliert werden. Das wäre nicht nur enorm aufwändig und teuer, unsere Bahnhöfe würden auch bald wie die Kontrollen an Flughäfen aussehen. Falls statt 600 nach doppelt so vielen Personen gefahndet wird, ändert sich das Ergebnis nur gering: etwa 98,7 Prozent der Einschätzungen des Systems sind falsch.

Es gibt noch eine dritte irreführende Zahl im Bericht und der Pressemitteilung: Es wird uns gesagt, dass sich die Falsch-Alarm-Rate durch Zusammenführung aller drei Systeme auf „bis zu 0,00018 Prozent“ reduzieren lässt. Was uns nicht gesagt wird, ist, dass dadurch die Trefferrate deutlich reduziert würde. Der ängstliche Bürger merkt’s ja nicht.

Diese Unstatistik zeigt, wie ein bisschen statistisches Denken Politikern, Ministerialen, Journalisten und Bürgern helfen könnte, sich nicht durch verdrehte Zahlen beeindrucken zu lassen. Dass das Gesichtserkennungssystem 99,3 Prozent der Verdächtigten zu Unrecht verdächtigt, ist mit der Regel von Bayes (ein Satz aus der Wahrscheinlichkeitsrechnung) berechnet, die in Bayern inzwischen jeder Schüler der 11. Klasse lernt. Im Bericht und der Pressemitteilung ist sie nicht zu finden. 

Wohin der Schutz des Bürgers durch den Staat führen kann, zeigen die über 300 Millionen Überwachungskameras mit Gesichtserkennungssoftware in China.

Mit der „Unstatistik des Monats“ hinterfragen der Berliner Psychologe Gerd Gigerenzer, der Dortmunder Statistiker Walter Krämer und RWI-Vizepräsident Thomas K. Bauer jeden Monat sowohl jüngst publizierte Zahlen als auch deren Interpretationen. Alle „Unstatistiken“ finden Sie im Internet unter www.unstatistik.de .

Sie lesen gern Achgut.com?
Zeigen Sie Ihre Wertschätzung!

via Direktüberweisung
Leserpost

netiquette:

Sebastian Gumbach / 31.10.2018

China ist das großeVorbild der EU-Bürokraten. Das dortige Punktesystem, in das natürlich auch die richtige Haltung zur KP einfließt, wird, so meine Prognose, über kurz oder lang auch von den EU-Bürokraten hier eingeführt. Demokeatie wäre eine schöne Sache, würde sie in der EU existieren ...

Dr. Christian Rapp / 31.10.2018

Politik, Medien und Statistik gehen eben selten Hand in Hand. Und der normale Bürger kann nur absolute Zahlen.

Weitere anzeigen Leserbrief schreiben:

Leserbrief schreiben

Leserbriefe können nur am Erscheinungstag des Artikel eingereicht werden. Die Zahl der veröffentlichten Leserzuschriften ist auf 50 pro Artikel begrenzt. An Wochenenden kann es zu Verzögerungen beim Erscheinen von Leserbriefen kommen. Wir bitten um Ihr Verständnis.

Verwandte Themen
Walter Krämer / 08.06.2019 / 14:30 / 4

Unstatistik des Monats: Brustkrebs-Test mit Falschalarm

Die Unstatistik des Monats Mai ist die Falsch-Alarm-Rate des Heidelberger Bluttests für Brustkrebs. Dieser Test wurde in einer Pressemitteilung des Universitätsklinikums Heidelberg als „Meilenstein in der…/ mehr

Walter Krämer / 17.04.2019 / 14:00 / 5

Unstatistik des Monats: Wo lebt es sich am besten?

Im April 2019 wurde eine Studie aus dem Mai 2018 als Unstatistik virulent: Wie unter anderen die WAZ berichtet, weigern sich mehrere Oberbürgermeister und Landräte des Ruhrgebiets,…/ mehr

Walter Krämer / 29.03.2019 / 14:30 / 4

Unstatistik des Monats:  Digitaler Scheinenthusiasmus

Die Unstatistik des Monats ist eine im März publizierte Studie der Firma Duden Learnattack, nach der sich deutsche Lehrer und Schüler mehr digital geprägten Unterricht wünschen.…/ mehr

Walter Krämer / 01.03.2019 / 13:30 / 0

Unstatistik des Monats: Bluttest erkennt Brustkrebs!

Die Unstatistik des Monats Februar ist eine Pressemitteilung der Universitätsklinik Heidelberg. Sie berichtet über einen neuen „marktfähigen“ Bluttest für Brustkrebs, der eine Trefferrate (Sensitivität) von 75 Prozent…/ mehr

Walter Krämer / 05.02.2019 / 12:00 / 25

Unstatistik des Monats: „Todesfalle Landwirtschaft“

Schweine sind gefährlicher als Diesel-Autos: Rund 50.000 Menschen sterben vorzeitig Jahr für Jahr in Deutschland an den Emissionen der Landwirtschaft (insbesondere der Massentierhaltung) errechnet das…/ mehr

Walter Krämer / 04.12.2018 / 16:00 / 3

Unstatistik des Monats: Die sogenannte „schwarze Null“

Die Unstatistik des Monats November 2018 ist die vielzitierte „schwarze Null“, mit der Bundesfinanzminister Scholz seinen Haushaltsentwurf 2019 abschließt. Über sie berichteten beispielsweise die „Deutsche Welle“ und tagesschau.de.…/ mehr

Walter Krämer / 28.09.2018 / 13:00 / 11

Unstatistik des Monats: Konfusion bei Sommer- und Winterzeit

Die Unstatistik des Septembers 2018 ist die Zahl 80 Prozent. So viele EU-Bürger wünschen sich angeblich das Ende der Umstellung von Sommer- auf Winterzeit und…/ mehr

Walter Krämer / 20.06.2018 / 17:00 / 4

Dümmer als Schimpansen

Das Time Magazine zählte ihn zu den 100 einflussreichsten Menschen dieser Erde. In seinem neuesten und leider auch letzten Buch (kurz vor Drucklegung ist er…/ mehr

Meine Favoriten.

Wenn Ihnen ein Artikel gefällt, können Sie ihn als Favoriten speichern.
Ihre persönliche Auswahl finden Sie Hier
Favoriten

Unsere Liste der Guten

Ob als Klimaleugner, Klugscheißer oder Betonköpfe tituliert, die Autoren der Achse des Guten lassen sich nicht darin beirren, mit unabhängigem Denken dem Mainstream der Angepassten etwas entgegenzusetzen. Wer macht mit? Hier
Autoren

Unerhört!

Warum senken so viele Menschen die Stimme, wenn sie ihre Meinung sagen? Wo darf in unserer bunten Republik noch bunt gedacht werden? Hier
Achgut.com