Walter Krämer / 31.10.2018 / 06:20 / Foto: None / 22 / Seite ausdrucken

Erfolgreiche Gesichts-Erkennung? Von wegen!

Die Unstatistik des Monats Oktober ist die Pressemitteilung des Innenministeriums über das „erfolgreiche“ Projekt zur automatischen Gesichtserkennung mit einer Trefferrate von über 80 Prozent und Falsch-Alarm-Rate von unter 0,1 Prozent.   

Das Bundesministerium des Innern, für Bau und Heimat führte im Rahmen des gemeinsamen Pilotprojektes "Sicherheitsbahnhof Berlin Südkreuz" gemeinsam mit der Bundespolizei und der Deutsche Bahn AG einen Test von drei Gesichtserkennungssystemen am Bahnhof Südkreuz in Berlin durch. Das Bundeskriminalamt beriet hierbei. Bundesinnenminister Horst Seehofer war begeistert: „Die Systeme haben sich in beeindruckender Weise bewährt, so dass eine breite Einführung möglich ist“.

tagesschau.de wiederholte am 11. Oktober kritiklos zwei Zahlen, die den Erfolg des Projekts belegen sollten: Erstens, eine Trefferrate 80 Prozent, das heißt, von je 10 Gesuchten (Testpersonen) wurden 8 richtig erkannt und 2 nicht. Zweitens, eine Falsch-Alarm-Rate von 0,1 Prozent, das heißt, von je 1.000 Normalbürgern (die nicht als Testpersonen teilnahmen) wurden 999 als unverdächtig und einer fälschlicherweise als gesuchte Person klassifiziert.

Das klingt doch gut! Also so schnell wie möglich auf allen Bahnhöfen Kameras mit Gesichtserkennung installieren, um uns vor den rund 600 als gefährlich eingestuften Islamisten und anderen gesuchten Personen zu schützen. Oder gleich wie in China die totale Überwachung aller Bürger auf allen Straßen, öffentlichen Plätzen und Gebäuden einführen?

Als Treffer zählte schon, wenn eines der drei Systeme anschlug

Ein genauer Blick in den Abschlussbericht zeichnet ein anderes Bild. Keines der drei getesteten Systeme hat eine Trefferquote von 80 Prozent über beide Testphasen hinweg erreicht; die 80 Prozent sind auch nicht der Durchschnitt der drei Systeme. Diese Zahl bekam man nur nachträglich, indem man die Treffer aller drei Systeme addierte (das heißt, wenn mindestens eines der Systeme einen Treffer hatte, galt das als Treffer).

Die Bilder der „Gesuchten“, die den Systemen zur Verfügung standen, waren anders als Fahndungsfotos so gut wie perfekt: in der ersten Testphase mit 312 Freiwilligen wurden diese mit hochauflösenden Kameras aufgenommen, in der zweiten Phase, an der nur noch 201 Testpersonen weitermachten, wurden dann sogar die von den Überwachungskameras in der ersten Phase aufgenommenen Bilder verwendet, das heißt, am gleichen Ort, wo getestet wurde – damit bekam man bessere Werte, als man sie in Realität (in der man keine erste Testphase hat) je erreichen könnte. Die Zahlen beruhen auch nicht auf allen erhobenen Daten, sondern nur auf einer kleinen Auswahl, wobei nicht angegeben wurde, wie diese ausgesucht wurden. All das macht eine Bewertung unklar.

Der eigentlich interessante Punkt ist aber: Das Problem bei Massenüberwachungssystemen sind Fehlalarme, das heisst, Normalbürger, die vom Gesichtserkennungssystem für Gesuchte gehalten werden. Eine Person betritt einen Bahnhof und wird vom System als „Verdächtiger“ gemeldet. Was ist die Wahrscheinlichkeit, dass sie tatsächlich der Verdächtige ist? Eben nicht 80 Prozent. Und auch nicht 0,1 Prozent.

Eine Überschlagsrechnung kann diese Frage beantworten. Die Deutsche Bahn berichtet, dass rund 11,9 Millionen Menschen täglich mit der Bahn reisen. Der Abschlussbericht der Studie gibt an, es gäbe derzeit etwa 600 Verdächtige, die als islamistische Gefährder eingestuft werden, welche das System erkennen sollte. Um die Rechnung einfach zu machen, nehmen wir an, dass sich davon täglich 100 an Bahnhöfen aufhalten (etwa der gleiche Anteil wie bei der Normalbevölkerung). 

Von den 100 Verdächtigen erwarten wir, dass etwa 80 (80 Prozent) erkannt werden, und von den rund 11,9 Millionen anderen Menschen werden täglich nochmals etwa 11.900 (0,1 Prozent) fälschlicherweise als gesuchte Person eingestuft. Das heißt, die Wahrscheinlichkeit, dass jemand eine gesuchte Person ist, wenn die Kamera Alarm schlägt, ist etwa 80/11.980, also rund 7 in 1.000, oder 0,7 Prozent. In anderen Worten, etwa 99,3 Prozent der Einschätzungen des Systems sind falsch.

Im Monat 350.000 unnötige Personenkontrollen durch Fehlalarme

Jedem Alarm solle ein Einsatz der Polizei zur Abklärung folgen. Da eine flächendeckende Überwachung an Bahnhöfen jedoch 11.900 falsche Alarme pro Tag erwarten ließe, müssten jeden Monat über 350.000 Personen unnötigerweise kontrolliert werden. Das wäre nicht nur enorm aufwändig und teuer, unsere Bahnhöfe würden auch bald wie die Kontrollen an Flughäfen aussehen. Falls statt 600 nach doppelt so vielen Personen gefahndet wird, ändert sich das Ergebnis nur gering: etwa 98,7 Prozent der Einschätzungen des Systems sind falsch.

Es gibt noch eine dritte irreführende Zahl im Bericht und der Pressemitteilung: Es wird uns gesagt, dass sich die Falsch-Alarm-Rate durch Zusammenführung aller drei Systeme auf „bis zu 0,00018 Prozent“ reduzieren lässt. Was uns nicht gesagt wird, ist, dass dadurch die Trefferrate deutlich reduziert würde. Der ängstliche Bürger merkt’s ja nicht.

Diese Unstatistik zeigt, wie ein bisschen statistisches Denken Politikern, Ministerialen, Journalisten und Bürgern helfen könnte, sich nicht durch verdrehte Zahlen beeindrucken zu lassen. Dass das Gesichtserkennungssystem 99,3 Prozent der Verdächtigten zu Unrecht verdächtigt, ist mit der Regel von Bayes (ein Satz aus der Wahrscheinlichkeitsrechnung) berechnet, die in Bayern inzwischen jeder Schüler der 11. Klasse lernt. Im Bericht und der Pressemitteilung ist sie nicht zu finden. 

Wohin der Schutz des Bürgers durch den Staat führen kann, zeigen die über 300 Millionen Überwachungskameras mit Gesichtserkennungssoftware in China.

Mit der „Unstatistik des Monats“ hinterfragen der Berliner Psychologe Gerd Gigerenzer, der Dortmunder Statistiker Walter Krämer und RWI-Vizepräsident Thomas K. Bauer jeden Monat sowohl jüngst publizierte Zahlen als auch deren Interpretationen. Alle „Unstatistiken“ finden Sie im Internet unter www.unstatistik.de .

Sie lesen gern Achgut.com?
Zeigen Sie Ihre Wertschätzung!

via Direktüberweisung
Leserpost

netiquette:

Rüdiger Kuth / 31.10.2018

Komisch, in Polen und Ungarn braucht man so was erst gar nicht! Wie kommt das nur?

Thomas Taterka / 31.10.2018

Die Chancen, hier Einsicht zu provozieren, stehen 1:666666666 (C-3PO).

Karla Kuhn / 31.10.2018

Wenn Sie Darüber berichten WAS klappt in diesem Land seit 2005, würden Sie da nicht nur eine Zeile benötigen ??

Robert Sleigh / 31.10.2018

Und wenn man/frau eine Burka trägt? Wie hoch wäre dann die Wahrscheinlichkeit, dass man/frau identifiziert werden könnte?

Werner Arning / 31.10.2018

Heißt das übersetzt, man lässt ein paar Hundert Terrorverdächtige ins Land, um einen Vorwand zu bekommen, ALLE zu überwachen. Hätte man das ich einfacher haben können, indem man die 600 an der Grenze abgewiesen hätte. Hatten doch sicher keine Pässe dabei. Und ohne Pass hätte man doch auch niemanden hineinlassen müssen, oder? Dann würden wir vermutlich das kostenspielige Überwachungssystem nicht brauchen und lebten weiter glücklich und in Frieden bis an das Ende unserer Tage. Aber nein, da hatte jemand etwas dagegen. Aber Überwachung hat ja auch Kollateralvorteile…

Sybille Freimann / 31.10.2018

Die Frage ist, ob bei 600 Gefährder sich tatsächlich der Aufwand lohnt. Was man allerdings bei der Bewertung der absoluten Zahlen hinsichtlich der Fehlertoleranz trotzdem positiv erwähnen sollte, ist die 80% ige Endeckungsquote. Von den 11.980 Treffern sind immerhin 80 von 100 Gesuchten richtig. Am nächsten Tag sind von den verbliebenen 20 Unentdeckten 16 entdeckt. Am dritten Tag werden drei weitere Gefährdet entdeckt, so dass nach insgesamt drei Tagen 99 (80+16+3) bzw. 99%  aufgespürt sind. Der Preis dafür wären nach drei Tagen 35.700 Fehlmeldungen (3 x 11.900). Lassen wir das mal so stehen. Eine angemessene Antwort darauf zu finden, impliziert eine Risiko-Nutzen-Analyse. Welchen Schaden könnten die 600 Gefährder wahrscheinlich anrichten und was für ein Aufwand würde sich zu dessen Vermeidung lohnen. Wahrscheinlich wäre es billiger gewesen, die Gefährder gar nicht erst ins Land reinzulassen.

Andreas Rühl / 31.10.2018

Um es noch drastischer zu sagen: Das System müßte, um halbwegs akzeptable Ergebnisse zu erzeugen, bei gleicher “Erkennungsrate” die Fehlalarme um den Faktor 100 reduzieren. Dann wären ebenso viele Stechflliegen in der Falle wie harmlose Schmetterlinge.  Schon das ist aber nicht hinzunehmen und nicht zu bezahlen. Wenn die Kontrolle, dass die 350.000 Verdächtigten nicht verdächtig ist, 30 Minuten in Anspruch nimmt (in diesen 30 Minuten wird zudem ein immenser volkswirtschaftlicher Schaden angerichtet,  das nur nebenbei), sind das 175000 Stunden/Monat oder knapp (bei 160 Stunden/monat + Überstunden) 1000 Beamte, die den Staat mindestens 4.000.000 Euro kosten im Monat oder 48 Millionen im Jahr. Nur um festzustellen, das nichts ist, wohlgemerkt. Zur Beseitigung eines Maschinenirrtums. Einfach nur genial, dieses System. Dann wäre es deutlich billiger, an alle größeren und mittelgroßen Bahnhöfe einen Beamten hinzustellen, der jeden, der einen langen Bart hat und Kaftan trägt unter die Augenlupe nimmt. Überhaupt wäre es billiger, diese Leute erst gar nicht ins Land zu lassen, dann muss man sie auch nicht wie die Nadel im Heuhaufen später suchen. Aus dem Grund übrigens wurden früher mal “Grenzen” (ich weiß, das Wort ist nicht mehr erlaubt) kontrolliert, und dabei wurde genau das gemacht: den Leuten, die reinwollen, ins Gesicht geguckt, weil man den Unerwünschten danach nicht mehr findet, bevor es zu spät ist.

Rolf Lindner / 31.10.2018

Dass man selbst mit einer geringen Fehlerquote bei der Testung sehr großer Mengen eine große Anzahl falsch positiver Ergebnisse erhält, ist einfach logisch. Das Ergebnis nach Bayes ist also: Das Testsystem ist ungeeignet. Die Tagesschau ist dafür bekannt, beim dem Bürger Nonsens unterzujubeln, eine geringe Anzahl falsch positiver Ergebnisse zu produzieren.

Detlef Dechant / 31.10.2018

Ich kann es nur immer wiederholen: Solange “Promis” aus Medien, Schowbiz und Politik sich nicht zu blöd sind, mit ihrer “Mathe 5” zu kokettieren und damit der Jugend ein unrühmliches Vorbild abgeben “Siehst Du, auch ohne gute MINT-Leistungen kannst Du was werden!” wird sich nichts daran ändern, dass sich Medien und damit auch die Bevölkerung so versch…. lassen!

Eckhard Pemsl / 31.10.2018

Fälschen , lügen, betrügen - wieso kommt mir das so bekannt vor ?

Weitere anzeigen Leserbrief schreiben:

Leserbrief schreiben

Leserbriefe können nur am Erscheinungstag des Artikel eingereicht werden. Die Zahl der veröffentlichten Leserzuschriften ist auf 50 pro Artikel begrenzt. An Wochenenden kann es zu Verzögerungen beim Erscheinen von Leserbriefen kommen. Wir bitten um Ihr Verständnis.

Verwandte Themen
Walter Krämer / 08.06.2019 / 14:30 / 4

Unstatistik des Monats: Brustkrebs-Test mit Falschalarm

Die Unstatistik des Monats Mai ist die Falsch-Alarm-Rate des Heidelberger Bluttests für Brustkrebs. Dieser Test wurde in einer Pressemitteilung des Universitätsklinikums Heidelberg als „Meilenstein in der…/ mehr

Walter Krämer / 17.04.2019 / 14:00 / 5

Unstatistik des Monats: Wo lebt es sich am besten?

Im April 2019 wurde eine Studie aus dem Mai 2018 als Unstatistik virulent: Wie unter anderen die WAZ berichtet, weigern sich mehrere Oberbürgermeister und Landräte des Ruhrgebiets,…/ mehr

Walter Krämer / 29.03.2019 / 14:30 / 4

Unstatistik des Monats:  Digitaler Scheinenthusiasmus

Die Unstatistik des Monats ist eine im März publizierte Studie der Firma Duden Learnattack, nach der sich deutsche Lehrer und Schüler mehr digital geprägten Unterricht wünschen.…/ mehr

Walter Krämer / 01.03.2019 / 13:30 / 0

Unstatistik des Monats: Bluttest erkennt Brustkrebs!

Die Unstatistik des Monats Februar ist eine Pressemitteilung der Universitätsklinik Heidelberg. Sie berichtet über einen neuen „marktfähigen“ Bluttest für Brustkrebs, der eine Trefferrate (Sensitivität) von 75 Prozent…/ mehr

Walter Krämer / 05.02.2019 / 12:00 / 25

Unstatistik des Monats: „Todesfalle Landwirtschaft“

Schweine sind gefährlicher als Diesel-Autos: Rund 50.000 Menschen sterben vorzeitig Jahr für Jahr in Deutschland an den Emissionen der Landwirtschaft (insbesondere der Massentierhaltung) errechnet das…/ mehr

Walter Krämer / 04.12.2018 / 16:00 / 3

Unstatistik des Monats: Die sogenannte „schwarze Null“

Die Unstatistik des Monats November 2018 ist die vielzitierte „schwarze Null“, mit der Bundesfinanzminister Scholz seinen Haushaltsentwurf 2019 abschließt. Über sie berichteten beispielsweise die „Deutsche Welle“ und tagesschau.de.…/ mehr

Walter Krämer / 28.09.2018 / 13:00 / 11

Unstatistik des Monats: Konfusion bei Sommer- und Winterzeit

Die Unstatistik des Septembers 2018 ist die Zahl 80 Prozent. So viele EU-Bürger wünschen sich angeblich das Ende der Umstellung von Sommer- auf Winterzeit und…/ mehr

Walter Krämer / 20.06.2018 / 17:00 / 4

Dümmer als Schimpansen

Das Time Magazine zählte ihn zu den 100 einflussreichsten Menschen dieser Erde. In seinem neuesten und leider auch letzten Buch (kurz vor Drucklegung ist er…/ mehr

Meine Favoriten.

Wenn Ihnen ein Artikel gefällt, können Sie ihn als Favoriten speichern.
Ihre persönliche Auswahl finden Sie Hier
Favoriten

Unsere Liste der Guten

Ob als Klimaleugner, Klugscheißer oder Betonköpfe tituliert, die Autoren der Achse des Guten lassen sich nicht darin beirren, mit unabhängigem Denken dem Mainstream der Angepassten etwas entgegenzusetzen. Wer macht mit? Hier
Autoren

Unerhört!

Warum senken so viele Menschen die Stimme, wenn sie ihre Meinung sagen? Wo darf in unserer bunten Republik noch bunt gedacht werden? Hier
Achgut.com