Benutzer-Werkzeuge

Goodharts Gesetz

Bezeichnet einen Merksatz, der daran erinnert, dass statistische Kenn­zahlen, welche zu Zielwerten gemacht werden, unzuverlässig oder irre­führend sein können.

Es gibt verschiedene Formulierungen dieser Regel, von denen die folgende wahrscheinlich die ver­brei­tet­ste ist:

When a measure becomes a target, it ceases to be a good measure.
(Wenn eine Kennzahl zu einem Zielwert wird, ist sie nicht mehr länger eine gute Kennzahl.)

Im Kern geht es dabei darum, dass sog. „Zwei­trunden­effekte“ (engl.: second-round effects) die Aus­sage­kraft einer Kenn­zahl reduzieren können.

Andere Namen

  • Goodhart’s law
  • Gesetz von Campbell / Campbell’s law

Hinweise zum Namen

Der englische Name „Goodhart’s law “, der hier direkt übersetzt benutzt wird, verweist auf den Öko­nomen Charles Goodhart. Allerdings war er nicht der Erste, der diese Beobachtung machte bzw. aus­formulierte, sondern einfach derjenige, der sie allgemein bekannt machte und dessen Namen des­wegen damit assoziiert wird.

Ähnliches hat u.a. der Psychologe Donald T. Campbell be­schrieben, der auch Namenspate für den alter­na­tiven Begriff „Campbell's law “ ist. Eben­so betrifft die vom Ökonomen Robert E. Lucas ge­äußerte Kritik an be­steh­en­den makroökonomischen Modellen (zum Teil) ähnliche Über­legungen.

Die prägnanteste und daher meist­benutzte Formu­lierung – die auch hier in der Einleitung steht – stammt von der Anthropologin Marilyn Strathern. Diese ist jedoch erst deut­lich später belegt.

Beschreibung

Die diesem Gesetz zugrunde liegenden Probleme haben mit mehreren (oft un­aus­ge­sproch­enen) Grund­annahmen der statistischen Analyse zu tun; dazu gehören die folgenden:

  • die Messung geschieht un­ab­hängig von dem beobachteten Phänomen und sie hat einen möglichst geringen (idealerweise gar keinen) Einfluss auf das Ergebnis;
  • Merkmale, die nicht direkt gemessen werden können, stehen in einem festen Verhältnis zu den ab­ge­leit­eten Maßzahlen, die ge­messen werden können (Beispiel: Produktivität lässt sich an­hand der Anzahl der hergestellten Produkte messen).
  • Probanden haben kein Inter­esse daran, die Ergebnisse der statistischen Aus­wertung zu manipulieren.

Alle drei Annahmen können unter be­stimmten Um­ständen nicht mehr gelten: wird Produktivität z.B. aus­schließ­lich anhand der Stückzahl gemessen, und haben die Arbeiter einen Anreiz, eine möglichst hohe „Pro­duk­tivi­tät“ vorzuspiegeln (etwa weil dies auf ihre Bezahlung Einfluss hat), kann die Ver­suchung groß sein, die Pro­duk­ti­ons­menge auf Kosten der Qualität künstlich zu erhöhen und die Brauchbarkeit dieser Kennzahl damit zu unter­laufen.

Ähnliche Effekte gibt es in allen Be­reichen des Lebens, wie die unten stehenden Beispiele illustrieren.

Beispiele

Produktivität von Programmierern

Während die Produktivität von Arbeit­ern, welche physische Objekte her­stellen noch relativ leicht anhand der Anzahl der hergestellten Produkte (und etwas weniger leicht an deren Qualität) gemessen werden kann, ist eine solche Messung bei immateriellen Produkten schon prinzipbedingt sehr viel schwieriger.

Ein gutes Beispiel hierfür sind Soft­ware­ent­wickler, die aber dennoch – gerade in größeren Teams – einer Form von Evaluation unterzogen werden müssen oder sollen. Hierfür werden oft abgeleitete Maßzahlen herangezogen, wie die Zahl der ab­ge­schloss­enen Jira-Tickets oder gar die Zahl der ge­schrieb­enen Programmzeilen. Diese Kennzahlen haben in vielen Fällen sehr konkrete Aus­wirk­ungen, wie Ent­lohn­ung oder Be­förder­ungs­chancen der jeweiligen Pro­gram­mierer. Möglichst hohe Werte hier werden daher zu Zielen, die diese zu erreichen versuchen.

Dabei sind beide Kennzahlen auch sehr leicht manipulierbar: so können Jira-Tickets so bearbeitet wer­den, dass sie weitere Änderungswünsche oder Fehlerbeseitigungen nach sich ziehen, oder Pro­gramm­code kann künstlich aufgebläht werden, um die Zahl der benötigten Programmzeilen zu erhöhen.

In beiden Fällen ist das Ergebnis eine deutlich geringere Produktivität, bei gleichzeitig besser erschein­en­den Kenn­zahlen.

Corona-Tests

Die Ausbreitung des Covid-19 Er­regers auch im deutschsprachigen Raum seit dem Frühjahr 2020 hat auch zu der Frage geführt, welche Maß­nahmen unter welchen Um­ständen ergriffen werden sollen. Da viele der damit verbundenen Probleme gar nicht oder nur schwer in Zahlen zu fassen sind, drehte sich die ge­sell­schaft­liche Debatte auch darum, welche der tat­säch­lich messbaren In­di­ka­toren her­an­gezogen werden können, um die Maßnahmen zu steuern.

Unter den möglichen Maßzahlen (u.a. Todesfälle, Belegung der Intensiv­stationen, Nach­­ver­­folg­­ungs­­kapa­­zi­täten der Gesund­­heits­­ämter, u.s.w.) hat sich die Zahl der Neu­infektionen (zur bes­seren Ver­gleich­bar­keit auf 100 000 Ein­wohner um­ge­rech­net) schnell durch­gesetzt, da sie zum einen leicht zu ermitteln ist, und zum anderen zeit­nah erfasst werden kann, d.h. dass sie schnell auf Veränderungen reagiert.

Da die Einschränkungen im täglichen Leben aber dennoch für viele Be­troff­ene sehr schwerwiegend sind, wur­den auch schnell Möglichkeiten diskutiert, wie anstatt das eigentliche Ziel zu verfolgen – nämlich die Ver­breit­ung des Virus zu unterbinden – einfach die Maßzahl „Infektionsrate“ manipuliert werden könnte. Ins­be­sondere die Idee, einfach weniger Tests zu machen, um so die Zahl der (er­kannten) Neu­infek­tionen niedrig zu halten, hat schnell viele Anhänger gefunden.

Tatsächlich werden in bestimmten Umgebungen Maßnahmen getroffen, die letztlich genau darauf hin­aus­laufen: sei es durch die Verweigerung von Tests, wenn es keine Symptome oder keine nachvollziehbare Infektionskette gibt, oder indem die (recht teuren!) Tests von den Patienten selbst bezahlt werden müssen.

Der Eindämmung der Infektionen dient das natürlich nicht, stattdessen wird sie sogar erschwert.

Manipulation von Abgasgrenzwerten

Zur Verbesserung der Luft­­qualität vor allem in den Städten existieren seit Mitte des 20. Jahr­hunderts Emis­si­ons­­­grenz­­werte für durch Ver­­brenn­ungs­­motoren­ angetriebene Fahr­zeuge, die seit ihrer Ein­führung auch kon­ti­nu­­ier­lich ver­schärft wurden.

Da sich die Abgase verschiedener Motoren unter unterschiedlichen Be­ding­ungen jedoch stark unter­­scheiden, gehören zu diesen Grenz­­werten auch genau Anweisungen, unter welchen Rahmen­bedingungen (Ge­schwind­ig­­keit, Temperatur, u.s.w.) diese gemessen werden sollen. Dies soll eigent­lich die Ver­gleich­barkeit der Werte sicher­stellen.

Man konnte aber auch fest­stellen, dass die Motoren immer mehr darauf optimiert wurden, genau unter den in diesen Richt­­linien definierten Be­ding­ungen optimale Werte zu erzielen – und bei nur gering­fügiger Ab­weichung von diesen gleich wesent­lich mehr zu emittieren.

Während es außer Frage steht, dass diese Grenz­werte einen ent­­scheid­­en­den Ein­fluss darauf hatten, dass der Aus­stoß schädlicher Abgase von Ver­brenn­ungs­motoren im Straßen­verkehr seit ihrer Ein­führung stetig zu­rück­­ge­gangen ist, ist dieser Gewinn bei weitem nicht so groß wie er bei Nach­justier­ung der Rahmen­­bedingungen unter Berück­sichtigung von Good­harts Gesetz hätte sein können.

Hinweis: dies sollte nicht mit der unter dem Namen „Diesel­gate“ bekannt gewordenen Mani­pula­tion der Abgas­werte ver­wechselt werden, auch wenn man diese als eine logische Folge der oben geschilderten Ent­wick­lung verstehen kann: während die meisten Hersteller ihre Motoren (legitimer­weise) auf die be­kannten Test­bedingungen hin opti­mieren, hatten einige die Motor­steuerung so ausgelegt, dass die Ab­gas­­­reini­gung überhaupt nur unter diesen Bedingungen aktiviert wurde und im täglichen Gebrauch aus­ge­schaltet blieb.

Siehe auch

Weitere Informationen

Über diese Site

Ad Hominem Info ist ein Projekt, die häufigsten Irr­tümer und Trug­schlüsse zu erklären und zu kate­gori­sieren. Auf dieser Seite finden sie einen Hinter­grund­artikel, der ein wichtiges Konzept aus dem Bereich „Statistik“, welches zum Ver­­ständnis von anderen Artikel nötig ist, kurz erklärt.
Für mehr In­for­ma­tionen, siehe die Haupt­kategorie  Statistik.

Diese Website verwendet Cookies. Durch die Nutzung der Web­site stimmen Sie dem Speichern von Cookies auf Ihrem Com­pu­ter zu. Außer­dem bestät­igen Sie, dass Sie unsere Daten­schutz­bestimm­ungen gelesen und ver­standen haben. Wenn Sie nicht ein­ver­standen sind, bitte ver­lassen Sie die Web­site.

Weitere Information