Wissenschaftliche Untersuchungen sollten eigentlich von anderen nachvollziehbar und damit überprüfbar sein. Schon in den letzten Jahren haben Studien aber gezeigt, dass dieser Anspruch etwa im Bereich der Psychologie, der Medizin oder der Sozialwissenschaften nicht immer gegeben ist. Bei vielen Wissenschaftern hat diese Erkenntnis ein Nachdenken ausgelöst und auch ein Bemühen, die Nachvollziehbarkeit zu verbessern. Mitgearbeitet an diesen Studien hat auch ein Team von Innsbrucker Wirtschaftswissenschaftern um Michael Kirchler, Jürgen Huber und Felix Holzmeister.
70 Teams werteten die gleichen Bilder aus
Das Team beteiligte sich auch an einer aktuellen Untersuchung: Dabei wurden weltweit 200 Neurowissenschafter in 70 Teams eingeladen, mit ihren Methoden Schlüsse aus den jeweils gleichen Daten zu ziehen. Dabei handelte es sich um Daten aus einem in Tel Aviv durchgeführten Experiment, in dessen Rahmen 108 Versuchspersonen bei einer wirtschaftlichen Entscheidung mittels funktioneller Magnetresonanztomografie sozusagen ins Gehirn geschaut wurde. Die detaillierten Aufzeichnungen über die Aktivität in den Gehirnarealen können Aufschluss darüber geben, welche kognitiven Prozesse stattfinden.
Die 70 teilnehmenden Teams – aus Österreich war neben der Innsbrucker Gruppe mit den Neuropsychologen Claus Lamm, Lei Zhang und Annabel Loosecat Vermeer auch ein Team der Uni Wien dabei. Die Teams bekamen drei Monate Zeit. Dabei zeigte sich, dass kein Team die gleiche Arbeitsweise bei der Datenanalyse wählte. Beim Ergebnis zeigte sich, dass es in fünf der insgesamst neun zu überprüfunden Hypothesen starke Abweichungen gab, bei vier Hypothesen lagen die Einschätzungen allerdings sehr nahe beieinander.
Zwischenergebnisse waren noch sehr ähnlich
Ein genauer Blick in die Untersuchung zeigte, dass die Teams bei der grundsätzlichen Aufarbeitung der bereitgestellten Daten recht nahe beisammen lagen. „Die ähnlichen Zwischenergebnisse führten aber am Ende zu zum Teil sehr unterschiedlichen Resultaten“, so Felix Holzmeister.
Wissenschafter waren zu optimistisch
In einer Art Online-Marktplatz („Prognosemarkt“) konnten überdies Experten aus dem neurowissenschaftlichen Bereich ihre Einschätzungen zu den erwarteten Ergebnissen der neun Hypothesen abgeben, indem sie Geld auf unterschiedliche mögliche Resultate setzten. „Dabei zeigte sich, dass die Marktteilnehmer überoptimistisch hinsichtlich der Wahrscheinlichkeit von signifikanten Ergebnissen waren, selbst dann, wenn sie die Daten zuvor selbst analysiert haben“, sagte Holzmeister.
Dass sich im Rahmen der „Neuroimaging Analysis, Replication and Prediction Study"(NARPS)-Studie fast 200 Forscher einer für sie zeitaufwendigen, kritischen Selbstüberprüfung stellten, unterstreiche ihre Bereitschaft, "die Qualität ihrer Datenanalysen weiter zu verbessern. Dieser Prozess der Selbstreflexion und der kontinuierlichen Verbesserung der eigenen Methoden ist einzigartig und zeichnet die Wissenschaft aus“, so Michael Kirchler und Jürgen Huber.