Uber und das Sherlock-Holmes-Prinzip: Wie die Kontrolle von Daten zu einer verzerrten wissenschaftlichen Forschung führen kann

Übersetzung des Artikels Uber and the Sherlock Holmes Principle: How Control of Data Can Lead to Biased Academic Research von Luigi Zingales erschienen am 9. Oktober 2019 auf promarket.org

 

Wie können wir sicherstellen, dass wissenschaftliche Zeitschriften nicht zu einem unbeabsichtigten Instrument in der PR-Arbeit mächtiger Unternehmen werden? Luigi Zingales bietet einige Lösungen an.

“Unser Data-Science-Team hat diesen Bericht überprüft und festgestellt, dass er fehlerhaft ist.” So sagte es ein Uber-Sprecher nach der Veröffentlichung eines Arbeitspapiers des Stigler Centers, das zeigte, dass, als Uber und Lyft in eine Stadt eintraten, die Verkehrstoten um 3 Prozent zunahmen. Insgesamt entspricht das fast 1000 weiteren verkehrsbedingten Todesfällen pro Jahr.

Sie können sehen, warum Uber diese Studie zurückweisen wollte. Tatsächlich verwies die Sprecherin auf deren “problematische Methodik” und “ungerechtfertigte Schlussfolgerungen”, bot aber keine Nachweise an, um ihre Behauptungen zu untermauern.

Dies ist nur ein Beispiel für ein viel größeres Thema, das nicht öffentlich diskutiert wird und das sehr reale Folgen hat, insbesondere in unserer datengesteuerten Welt. Unternehmen kontrollieren ihre Daten. Sie neigen dazu, diese Daten nur mit den Forschern zu teilen, die sie auf die Weise nutzen, die von den Unternehmen gewünscht wird. So sind wichtige Fragen nicht beantwortbar, oder schlimmer noch, die offensichtlichen Antworten könnten verzerrt oder unvollständig sein.

Gibt es eine Lösung?

Das Verwirrspiel Uber/Lyft fiel mir vor einem Jahr zum ersten Mal auf, als ich das Arbeitspapier des Stigler Centers durchsah. Die Studie von John Barrios und Co-Autoren war nur korrelational, denn ohne Zugang zu Uber- oder Lyft-Daten konnten Barrios et al. nicht feststellen, ob dieser Anstieg der Todesfälle einfach das Ergebnis eines erhöhten Verkehrsaufkommens oder einer schlechteren Qualität der Ride Hailing-Fahrer war. Darüber hinaus konnte (und wurde) nicht einmal behauptet, dass der beobachtete Zusammenhang zwangsläufig das Ergebnis eines kausalen Zusammenhangs zwischen Ride-Hailing und Unfällen sei. Um die Kausalität nachzuweisen, bräuchte man das improvisierte Experiment, bei dem die Städte nach dem Zufallsprinzip einer “Treatment”gruppe (Eintritt von Ride-Hailing) und einer Kontrollgruppe zugeordnet werden. Allerdings taten die Autoren ihr Bestes, um mögliche alternative Erklärungen zu zerstreuen. Zusammenfassend lässt sich sagen, dass die Studie eine wichtige Frage aufwirft: Welche Auswirkungen hat das Ride-Hailing auf die Umwelt?

Obwohl Uber die Methodik als “fehlerhaft” bezeichnete, war sie es nicht. Mit den verfügbaren Daten war es die bestmögliche Analyse. Aus diesem Grund habe ich in meiner Review Uber und Lyft eingeladen, ihre Daten mit den Autoren der umstrittenen Studie zu teilen, um ihnen die Möglichkeit zu geben, ihre Hypothesen zu testen. Mit proprietären Daten könnten die Autoren überprüfen, ob die erhöhte Sterblichkeit mit einer erhöhten Anzahl von Meilen korreliert ist, die von Ride-Hailing-Diensten gefahren werden. Sie konnten sogar prüfen, ob Ride Hailing Autos in mehr Unfälle verwickelt waren.

“Ist es nur ein Zufall, dass Studien, denen Uber Daten gewährt, dazu neigen, deren Image in der Öffentlichkeit zu verbessern?”

Ein Jahr verging ohne Antwort. Stattdessen beauftragten Uber und Lyft Fehr & Peers, ein Verkehrsberatungsunternehmen, mit der Durchführung einer Analyse des von ihren Dienstleistungen erzeugten Verkehrs. Der Fehr & Peers-Bericht ergab, dass Uber und Lyft zwischen zwei und 13 Prozent aller gefahrenen Fahrzeugmeilen (VMT) in sechs Metropolen ausmachen. Obwohl diese Studie die von Barrios et al. aufgeworfenen Fragen nicht direkt beantwortet, macht sie ihre Ergebnisse sicherlich glaubwürdiger. Zum Beispiel stellt der Fehr & Peers-Bericht fest, dass Uber- und Lyft-Autos die Hälfte der Zeit leer fahren. Wenn die Menschen also Uber anstelle ihres Autos benutzen, wird der Verkehr zunehmen. Kann dieser Verkehrsanstieg allein die Zunahme der tödlichen Unfälle erklären?

Leider wird diese Frage im Bericht Fehr & Peers nicht behandelt. Da Berater auf die Wünsche ihrer Kunden eingehen, ist klar, dass weder Uber noch Lyft Fehr & Peers für die Beantwortung der von Barrios und seinen Co-Autoren gestellten Frage bezahlen wollten. Dennoch hätten Barrios und Co. diese Antwort kostenlos zur Verfügung gestellt. Warum wollten Uber oder Lyft ihre Daten nicht weitergeben?

Es liegt nicht daran, dass diese Unternehmen nicht mit Akademikern zusammenarbeiten; das renommierte Journal of Political Economy (eine akademische Zeitschrift, die zu ihren Herausgebern Ubers ehemaligen Chefökonom, jetzt Lyft’s Chefökonom, zählt) hat gerade eine Studie akzeptiert, die zwei akademische Ökonomen gemeinsam mit ehemaligen und aktuellen Uber-Mitarbeitern unter Verwendung der urheberrechtlich geschützten Daten von Uber verfasst haben. Warum gewährt Uber manchmal Zugang zu Daten und zu anderen Zeiten nicht? Es wäre verlockend, mit einem Blick auf den Inhalt des Papiers zu antworten: Es dokumentiert, wie Ubers flexibler Zeitplan den Überschuss seiner Mitarbeiter mehr als verdoppelt, was das Image von Uber in der Öffentlichkeit und seine Lobbyarbeit zur Abwehr der Arbeitsregulierung erheblich verbessert.

Diese Schlussfolgerung wäre jedoch ungerecht. Das Papier ist sehr gut ausgeführt und die Ergebnisse sind sehr interessant und glaubwürdig. Wie die Autoren in einer Fußnote offenbaren, hat “Uber das Recht, das Papier zu überprüfen, “nur um zu bestätigen, dass vertrauliche Informationen auf nicht irreführende Weise dargestellt werden”, aber nicht, die Ergebnisse oder Schlussfolgerungen des Papiers zu bestreiten oder zu beeinflussen”. Ist es also nur ein Zufall, dass Studien, denen Uber Daten gewährt, dazu neigen, ihr öffentliches Image zu verbessern?

Nein. Jeder mit einer wirtschaftlichen Ausbildung kann verstehen, dass eine Studie über die Sozialleistungen eines flexiblen Arbeitsablaufs kaum ein Papier produzieren kann, das Ubers Image schädigt. Im besten Fall kann es zu einem großen positiven Ergebnis (wie mehr als einer Verdoppelung des Arbeitnehmereinkommens) führen, das in einer Top-Zeitschrift (wie dem Journal of Political Economy) veröffentlicht wird und Ubers Fall enorm unterstützt, sowohl vor dem Gericht der öffentlichen Meinung als auch möglicherweise vor einem Gericht. Im schlimmsten Fall werden die Sozialleistungen gering sein und das Papier wird uninteressant sein. Es wird nicht in einer großen Zeitschrift veröffentlicht und ignoriert, und Uber würde nichts verlieren. Daher die Bereitschaft des Unternehmens, die Daten zu teilen. Im Gegensatz dazu kann die Analyse der Verkehrstoten, an denen die Fahrer von Uber beteiligt sind, für Uber nur zu Problemen führen, weshalb es sich gegen diese spezielle Richtung wehrt.

“Durch das Studium digitaler Plattformen wird die akademische Forschung versehentlich Teil der Lobbyarbeit der Plattformen, ein Phänomen, das ich als akademische Gefangennahme bezeichnet habe.”

Einige Leute sehen hier vielleicht kein Problem. Schließlich besitzt Uber nach geltendem US-Recht seine Daten; warum sollte es sie nicht nach eigenem Ermessen verwenden? Diese Frage geht über Uber und Lyft hinaus: Sie gilt für alle Unternehmen, insbesondere aber für digitale Plattformen. Um die sozialen Auswirkungen dieser neuen Plattformen zu untersuchen, benötigen wir Daten. Diese Daten werden jedoch nur dann an unabhängige Forscher weitergegeben, wenn das Unternehmen, dem sie gehören, erwartet, von der Antwort zu profitieren. Infolgedessen sind die empirischen Erkenntnisse über die sozialen Auswirkungen dieser digitalen Plattformen stark verzerrt. Ironischerweise ist sie stark voreingenommen, auch wenn alle beteiligten Wissenschaftler ein Höchstmaß an beruflicher Integrität aufweisen, wie es hier der Fall ist.

Zusammenfassend lässt sich sagen, dass bei der Untersuchung digitaler Plattformen die akademische Forschung versehentlich Teil der Lobbyarbeit der Plattformen wird, ein Phänomen, das ich als akademische Gefangennahme bezeichnet habe, weil es mit dem bekannteren Begriff der regulatorischen Gefangennahme vergleichbar ist. Mit der zunehmenden Verbreitung der digitalen Wirtschaft wächst auch dieses Problem. Was kann man gemeinsam tun, um es anzugehen, da kein einziger Wissenschaftler das Problem lösen kann, indem er allein handelt?

Eine Lösung, die vom Ausschuss für digitale Plattformen des Stigler Centers vorgeschlagen wurde, besteht darin, eine digitale Behörde mit der Befugnis zu schaffen, den Datenaustausch zu erzwingen. Diese digitale Behörde würde selbst Studien durchführen und sicherstellen, dass unabhängige Forscher Zugang zu den Daten haben, ohne in ihren Fragen eingeschränkt zu sein.

Für diejenigen, die den Regulierungsansatz nicht mögen, gibt es auch eine private Prozesslösung: eine Umkehrung der Beweislast, sicherlich vor dem Gericht der öffentlichen Meinung, aber möglicherweise sogar vor einem ordentlichen Gericht. Nehmen wir den oben beschriebenen Fall: Da Uber und Lyft über die Daten verfügen, um die Korrelationsanalyse von Barrios et al. zu widerlegen, und dies innerhalb eines Jahres nicht getan haben, muss man zu dem Schluss kommen, dass die Korrelationsanalyse korrekt ist und dass Ride-Hailing tödliche Unfälle erhöht. Diese Logik stammt direkt von Sherlock Holmes in The Adventure of Silver Blaze: Wenn der Hund nicht bellte, muss es sein, dass er keinen Grund zum Bellen hatte, d.h. er kannte den Dieb. Wenn Uber und Lyft keinen gegenteiligen Beweis erbracht haben, während sie sowohl Motive als auch Möglichkeiten dazu hatten, muss es daran liegen, dass sie wissen, dass sie sich irren.

Diese Umkehrung der Beweislast wird die Privatsphäre der Unternehmensdaten schützen und gleichzeitig Anreize für eine unverfälschte Offenlegung der relevanten Fakten schaffen. Es würde die Unternehmen auch davon abhalten, falsche Informationen zu verbreiten. Wären Uber und Lyft zum Zeitpunkt der Abgabe der obigen Aussagen börsennotierte Unternehmen gewesen, hätte die Umkehrung der Beweislast eine Klage auf Falschdarstellung erheblich erleichtert. Wenn man denkt, dass diese Umkehrung für die meisten Unternehmen eine zu große Belastung darstellt, ist es einfach, eine Ausnahme für Unternehmen zu schaffen, die ihre Daten freiwillig an unabhängige Forscher weitergeben, ohne Einschränkung der zu untersuchenden Themen.

Angesichts der politischen Macht der digitalen Plattformen kann ich mir nicht vorstellen, dass sich diese Veränderungen bald vollziehen werden. Doch die Verantwortung liegt nicht nur in den Händen unserer gewählten Vertreter. Die Wissenschaft spielt eine wichtige Rolle im Lobbying-Prozess, eine Rolle, die wir oft nicht anerkennen. Aus diesem Grund sponsert das Stigler Center im Dezember dieses Jahres eine Konferenz zum Thema “academic lobbying” an der Columbia University. Wir sollten darüber diskutieren, was wir tun können, um den aktuellen Stand der Dinge zu ändern: Wenn wir nicht Teil der Lösung sind, werden wir Teil des Problems. Aber was können wir tun?

Akademische Zeitschriften könnten zum einen die Annahme von Arbeiten, die mit firmeneigenen Daten erstellt wurden, einstellen. Denn wenn das Markenzeichen der wissenschaftlichen Forschung die Reproduzierbarkeit ist und der Zugang zu diesen Daten auf wenige Personen beschränkt ist, die von den Unternehmen selbst ausgewählt wurden, wie können wir dann die Reproduzierbarkeit sicherstellen? Wenn diese Maßnahme zu hart ist, weil wir wichtiges Wissen verlieren, wie können wir dann sicherstellen, dass wissenschaftliche Zeitschriften nicht zu einem unbeabsichtigten Instrument in der PR-Arbeit mächtiger Unternehmen werden?

Obwohl dieses Problem bei digitalen Plattformen am schwerwiegendsten ist, ist es weder auf sie allein noch auf private Unternehmen beschränkt. Die Federal Reserve macht es noch schlimmer als Uber: Sie überprüft Arbeitspapiere auf Inhalte, bevor sie veröffentlicht werden. In anderen Bereichen ist das Problem noch gravierender als in der Wirtschaft. Der Redakteur einer medizinischen Fachzeitschrift hat kürzlich ein Papier abgelehnt – trotz günstiger Peer Review -, weil das Papier “über das hinausging, was unsere Marketingabteilung bereit war zu akzeptieren“. In der Landwirtschaft haben Rechtsstreitigkeiten interne E-Mails enthüllt, die zeigen, dass Monsanto “unabhängige” Forschungsarbeiten über die Sicherheit seines Produkts geschrieben hat, die schließlich (ohne ordnungsgemäße Offenlegung) in großen akademischen Zeitschriften veröffentlicht wurden.

Die Allgegenwärtigkeit des Problems sollte uns nicht selbstgefällig stimmen. Tatsächlich sollte es uns mehr Sorgen bereiten. Das jüngste Edelman Trust Barometer zeigte, dass akademische Experten nach wie vor ein hohes Maß an Vertrauen genießen – 63 Prozent gegenüber nur 36 Prozent bei Journalisten und 35 Prozent bei Regierungsbeamten -, weil sie als weniger ideologisch voreingenommen gelten als Politiker und von ihren Arbeitgebern nicht unter Druck gesetzt werden, die Geschichte zu gestalten, wie es bei Journalisten allzu oft der Fall ist. Aber wie lange kann dieser Ruf noch bestehen? Die Kritik nimmt zu, und wenn wir den Prozess nicht aufräumen, riskiert das Vertrauen in Wissenschaftler, das Vertrauen in Journalisten und Politiker zu erreichen. Es wäre nicht nur ein Verlust für uns, sondern ein großer Verlust für die Gesellschaft insgesamt.

Damit die Demokratie funktioniert, braucht sie ein gewisses Maß an Vertrauen in die Zuverlässigkeit von Informationen im öffentlichen Bereich. Traditionelle Medien spielten dabei eine wichtige Rolle. Sie haben es inzwischen verloren, weil – um wirtschaftlich zu überleben – viele von ihnen eine Nische von engagierten Lesern besetzen mussten, was ihre ideologische Verzerrung erhöhte. Dies könnte die wirtschaftliche Nachhaltigkeit garantieren, aber nicht die Glaubwürdigkeit. Wenn auch die Wissenschaft an Glaubwürdigkeit verliert, wer wird dann diese entscheidende Rolle spielen?

 

Der ProMarket-Blog widmet sich der Diskussion darüber, wie der Wettbewerb durch besondere Interessen untergraben wird. Die Beiträge stellen die Meinungen ihrer Autoren dar, nicht unbedingt die der University of Chicago, der Booth School of Business oder ihrer Fakultät. Weitere Informationen finden Sie unter ProMarket Blog Policy.