[Playlisten] [Impressum und Datenschutzerklärung]

Warum so viele veröffentlichte Forschungsergebnisse falsch sind; Hypothesentest und Publication Bias


CC-BY-NC-SA 3.0

Tempo:

Anklickbares Transkript:

mal – eine andere Sicht auf die Teewerte – bin werde hier als die klassischen Hypothesen des Baums klassischen Hypothesentests – heikel sind haben sie immer so gemacht werden Komma dass dieser wahrscheinlich weiterhin auch so machen muss und das Wasser zu fallen und keinen Ärger zu kriegen ?? warum die sehr heikel sind insbesondere gibt es die Vermutung – dass gleich die Hälfte aller Veröffentlichungen – zum ?? Medizinpsychologie – die auf den Hypothesentest beruht das vielleicht die Hälfte davon falsches bemerkt es daran wenn Leute Wiederholungsstudien – versuchen – selbst ?? noch mal machen Zweifelsfall – das nicht reproduzieren – können was andere Leute vorher veröffentlicht haben also es gibt einige natürlich die Ergebnisse erfinden – die Sender sowieso falsch aber es gibt auch die Möglichkeit sich selbst zu betrügen mithilfe von diesem bewerten zu glauben man habe was nachgewiesen – aber man hat leider nichts nachgewiesen – klassische Arbeit dazu ist von Johann jedes – Versagen eine klassische Arbeit das ist seit Jahrzehnten bekannt unter den Fachleuten – aber die Reaktion darauf in den Wissenschaften ist sehr Träger – Johnny des Weinbaus verwischt bis Schweindings erfolgt – sind Schloss zwei tausend fünf drin gewesen – zu einer stark beachtete Arbeit zu diesem Thema – einmal an Christian Wiederholung – mit diesem – vier Felder Diagramm – ich unterscheide erstmals die Nullhypothese war oder ist sie falsch – Arnulf – war Arnulf fertig Beistrich wie ich das in ?? Videos gemacht oder verteidigt die Spaltenzahlen – anders eingeteilt – passen sie auf andere Leute mögen es auch an der Seite Alicia Getier Arnulf – war auf die linke Seite ?? null falsch auf die rechte Seite sie haben eine Nullhypothese die normalerweise sowas heißt es passiert nichts ?? Medikament – hat keinen Einfluss – es gibt keinen Unterschied zwischen verschiedenen Unterrichtsformen – oder bei uns eben jetzt Bedienoberflächen – vorgesehen oder grün mache ist egal das sind typischerweise Nullhypothese – die kann in der Wirklichkeit war sein oder Fall scheint das wissen wir nicht das möchten wir herausfinden – mit dem Hypothesentest – und – der Ärger ist was wir herausfinden ist nicht unbedingt das Wesen wirklich ist es aber schon unterscheiden zu ?? auf der linken Seite – erreichen und wenig die Nullhypothese – ab – A null abgelehnt – erscheint mir das zu gewagt zu sagen dass dieses Medikament – nichts bewirkt oder diese Oberfläche – nicht irgendwie anders ist als die alte Oberfläche – Handel abgelehnt – oder sage ich das H null nicht abgelehnt ist – was ich ja nun nicht ablehnen kann – ?? Daten sind zu schwach ich kanns nicht sagen es fühlt sich nicht so an als ob es tatsächlich einen Unterschied gäbe – zwischen alt und neu zwischen Rot und Grün zwischen mit Medikament – und ohne Medikament – komme ich auf vier Fälle – als was passiert in der Warenwelt links und rechts und die entscheide ich mich jetzt und wenn ich die Nullhypothese ab oder wenn ich sie nicht ab darf niemals angenommen werden – können ?? versagen – sind und sich sicher – wollen sie lieber nicht ablehnen stattdessen immer nicht abgelehnt – es gibt zwei Fälle – in denen wir kein Problem haben ✂ so das Thema zusammen wenn die Nullhypothese – falsch ist ?? es gibt doch einen Unterschied zwischen Rot und Grün oder das Medikament – tut doch etwas und sind in die Nullhypothese ab dann ist alles korrekt wenn die Nullhypothese war es ist kein Unterschied zwischen Rot und Grün das Medikament tut nichts und sie lehnt die Nullhypothese nicht ab wie er sagt es gibt keine Residenz auch alles in Ordnung ?? jammert Fehler erster Art – man sich auswendig merken wenn die Nullhypothese wahr ist und sie lehnen die Abfahrt den Fehler erster Art uns hierbleibt ein Fehler des zweiter Art – der kein Fehler sein wird wenn sie nur schreiben H null nicht abgelehnt – wenn sie für das heute üblicher wird die Nullhypothese – annehmen – also sagen gibt kein unterschied aber es gibt einen der Warenwelt den handwerklichen Fehler Gänsefüßchen unten – wenn sie das klassisch machen und sagen – die Nullhypothese darf bitte niemals angenommen werden ?? Mission kein Fehler sie wissen einfach nur nichts passiert in diesen ?? – Datenlage zu schwach – und jetzt kann man sich das macht übernimmt es zum Beispiel jetzt kann man sich angucken wie häufig denn das passiert – und wie häufig jetzt Arbeiten veröffentlicht werden zum Beispiel der Medizin in der Psychologie – zu machen ein psychologisches Experiment – wollen wissen – die Schriftgröße – Einfluss hat darauf wie schnell die Leute lesen oder – den Inhalt behalten oder was ihre politische Einstellung ist das mit der Schriftart zusammen keine Ahnung drittes wenn eine macht in der Psychologie – und dann möchte man per Hypothesentest – jetzt sagen stimmt es oder stimmt es nicht oder wie sind Indizien zumindest – in wir davon aus das es wirklich einen Effekt gibt – nach dem was wir gesehen haben ?? Experiment oder Geber davon aus das es keinen Effekt gibt als in der Mensch-Maschine-Interaktion – sieht es wie gesagt dann eher sowas wie eine bestimmte Form des User Interfaces – ist die anders – als vorher – verhält sich anders als vorher etwas besser geworden etwas schlechter geworden Komma in jeder psychologischen Studie vier soziologische Studien und die ganzen – medizinischen Tests irgendwelche Medikamente irgendwelche – chirurgischen Eingriffe funktionieren – all die laufen ja auf solche vier Felder hinaus – und die spannende Frage ist wie groß denn jetzt tatsächlich diese Felder – sind wenn sie eine Studie machen haben sie quasi gesunde Dartscheibe – zu machen ein Studio treffen sie rein treffen sie hier rein in das Feld – okay Glück gehabt treffen sie dieses Feld ist so schön sie haben zu wenig Daten und so weiter und so weiter wie häufig treten diese Einzelfälle jeweils auf das kann man sich überlegen – und dabei findet man erstaunliches – nämlich das in der Tat sehr viele veröffentlichte – Ergebnisse – falsch sein können wenn diese Ergebnisse auf diese Art Hypothesen Test basiert wie sie üblicherweise gemacht wird – ?? jetzt mal das ich Wahrscheinlichkeiten – der so drauf zu malen – wie konnte das Real Aussehen – werde das wirklich als Dartscheibe – auffassen – hier eine – quadratische Dartscheibe und jetzt schießen sie mit ihrem Dartfall dadrauf – sie werden nicht ein viertel ein viertel Eintritt Landwirte Wahrscheinlichkeit haben oder von zwanzig Prozent vierzehn – Prozent wahrscheinlich keine haben lieber nicht alle gleich wahrscheinlich – auftreten – sie eine Studie machen machen dann den Hypothesen des dazu – bewehrte aus – das – jetzt tatsächlich überlegen wie wird das Real Aussehen Punkt daneben schreiben dieselbe ein Teil wie hier – als reale Dartscheibe – und könnt ihr zum Beispiel anfangen – die Hypothese dich teste – war falsch – ist die Aufteilung – eins zu eins – in sie irgend eine Hypothese testen – wenn sie wahrscheinlich nicht erwarten dass die fifty-fifty – ausgeht dass sie stimmt mit fünfzig Prozent und nicht stimmt mit fünfzig Prozent was wäre vielleicht plausibler als fifty-fifty – hier für die Hypothese selbst ✂ zumal wir das normalerweise annehmen dass die Nullhypothese – doch häufiger weiß es gibt keinen Effekt was mir sicher keine Wissenschaft machen wenn ich Experiment mache und ich werde mir schon von vornherein sehr sicher dass ich die Nullhypothese ablehnen kann das sein Effekt gibt Komma der das Experiment überhaupt noch Banalität – untersucht ich möchte dich Experimente machen ?? ich keine Banalitäten untersuchen – die riskant sind und deshalb wird die Ware sollte nur für diese häufiger wahr sein – Beistrich sagen drei zu eins – dreiviertel – ein Viertel – damit habe ihr schon zwei Spalten gebildet also sie machen ein Experiment – dann sagen Sie vielleicht in drei von vier Fällen – Dartscheibe in drei von vier Fällen stellen sie fest es gibt keinen Effekt das Sternzeichen hat keinen Einfluss auf die Lesefähigkeit – oder was auch immer aber in einem von vier Fällen gibt es zwei tatsächlich ein Fax das heißt nicht dass sie nachweisen können gibt es tatsächlich einen Effekt Beistrich in welchen von den vier Fällen – eine Studie machen so auf der linken Seite jetzt ?? ziehen sich hier ein Trennstrich ✂ fifty-fifty – wäre offensichtlich nicht klug eine Münze werfen können der Fehler soll selten auftreten – das Internet zu diese üblichen fünf Prozent – vorkommen – also sich Punkt fünf Prozent habe und John fünfundneunzig Prozent habe ?? was zu sagen wenn ich sage – stehen die Nullhypothese – immer dann ab wenn der P Wert kleiner gleich fünf Prozent dann habe ich tatsächlich um fünf Prozent Wahrscheinlichkeit – das es was man üblicherweise Nationswahrscheinlichkeit – bezeichnet die fünf Prozent der Obenwahrscheinlichkeit – ein Fehler erst dazu machen – die Nullhypothese stimmt aber leider bin ich sie hab das ist die übliche Schranke die man da haben wir fünf Prozent und fünfundneunzig Prozent – jetzt auf der rechten Seite – was wenn sie da sinnvoll auf der rechten Seite ✂ so also Violine durch auch wenig Fehler haben gewiss nicht ganz billig sein wie auf der linken Seite war dieses Jahr – wird dies nicht wirklich annehmen kein echter Fehler sondern einfach eine schwache Datenlage – was man gerne hat ist achtzig Prozent ?? zwanzig Prozent – so also jeder dein Experiment macht in dieser sehr vereinfachten – Welt – jeder dein Experiment – macht schießt mit einem Dartfall auf diese Scheibe – kann dahin treffen – Stimmzettel – nie eintreffen – stimmt das Resultat – kann aber auch da oben treffen das Resultat nicht und unten hin treffender stimmt das Resultat auch nicht ✂ eine Studie veröffentlichen – jetzt kommt die Politik ins Spiel – welches – Ergebnis – wird veröffentlicht werden als sie haben jetzt den Dartfall geschlossen sozusagen indem sie ein Experiment gemacht haben haben hundert Leute eingeladen – Dutzend Leute eingeladen haben damit psychologische Studie gemacht oder User Interface getestet oder medizinischen Test gemacht die Hand in der Fall auf dieses Feld geschossen – was im Dunkeln ist gewiss nicht an welcher Stelle der Datei gelandet ist sie müssen nur ist auf dem Feld gelandet – jetzt wollte das Ding veröffentlichen was sie da erforscht haben was wird sie veröffentlichen können was wenn sie nicht veröffentlichen können ✂ es kommt auf der Application Bayers – diese Resultate hier und diese Resultate – die werden im Zweifelsfall – nicht veröffentlicht ist auf jeden Fall schwer zu veröffentlichen – wenn sie rauskriegen – es gibt keinen unterschied wurde kann ich nachweisen dass es einen Unterschied gibt das interessiert praktisch kein was sie veröffentlichen können ist es gibt einen unterschied – sowieso hat ein Effekt die Schriftgröße hat einen Effekt auf das Behalten solche Sachen die kriegen sie veröffentlicht – Punkt deshalb – muss man es frostig sein wie man Wahrscheinlichkeiten – berechnet – wir müssen ja nach ?? gucken was veröffentlicht wird – dies hier dieses Feld wird veröffentlicht und das Feld wird veröffentlicht – ?? kann man sich fragen das Verhältnis – von – wichtigen – Resultaten – zu falschen Resultaten – in den Veröffentlichungen – wie sie das aus – Blättern sein ?? durch – einen Tagungsband – durch mancher Fragen im Schnitt wie viel davon ist falsch wie viel davon – es richtig – das interessiert Beistrich ob es also Zahl veröffentlicht – ohne – korrekt – oder war – ein wahres Resultat – geteilt durch Zahl veröffentlicht – und falsch – dieses Verhältnis – immer das Wellness raus ✂ doch nur angewandter Dreisatz veröffentlicht und war ist das richtig – auf der rechten Seite ein viertel mal achtzig Prozent – und veröffentlicht und falsch ist dieser Streifen – auf der linken Seite dreiviertel – mal fünf Prozent – Viertel Komma kürzen achtzig durchführen – ?? sechzehn – sondern sie sechzehn – durch drei etwas mehr – als wenn sie fünf ?? übernehmen – wenn sie sechs bei Barnim haben sie wahrscheinlich eines dabei mit falschen Resultat – wann wir das noch schlimmer – in welchen Situationen – mehr Werte einfach geschätzt achtzig zwanzig es üblich fünfte vierundneunzig üblich dreiviertel ein Viertel ist sehr aus dem Bauch – meines Effekt doch größer ?? können Sie diese Zeichnung ändern damit diese Zahl hier noch schlimmer wird also kleiner wird das sie noch weniger Ware Paper Pro falschen Gräber haben jetzt fünf waren veröffentlichte Resultate auf ein falsches veröffentlichtes Resultat ✂ erste Möglichkeit sie haben ein Gebiet mit viel weniger waren Hypothesen – dieser Streifen auf der rechten Seite – relativ schmaler wird verhält Streifen auf der linken Seite – zum Beispiel alle möglichen Enzyme – durchprobiert – und nur eine handvoll von tausend Enzym funktioniert – damit der Streifen auf der rechten Seite sehr schmal – das mal zu skizzieren und ist dann also so aus der Streifen rechts sehr schmal – dieser Streifen steht im Nenner dieser Streifen steht im Zähler – der Streifen im Nenner ist größer geworden der Streifenzähler ist kleiner geworden – das wäre eine Möglichkeit – schlimmer zu machen – diese nach Möglichkeit es schlimmer zu machen ✂ so ein kleinen Effekt oder ein schwacher Test – hier auf der rechten Seite – ist er tatsächlich ein unterschied da die Nullhypothese – gilt nicht und ich kann Ihnen in achtzig Prozent der Fälle nachweisen – wenn man Test schwaches – den Ausdruck des stärkeren tatsächlich power – im Attest schwach ist sie nämlich achtzig Prozent seiner weniger als achtzig Prozent muss sehr sehr genau hingucken – und tatsächlich einen Unterschied zu sehen dann wird der grüne Kasten ihr kleiner und das Verhältnis der Kasten rechts durch den Kasten links ist wieder kleiner geworden – weniger – wahre Veröffentlichungen – im Verhältnis zu den falschen Veröffentlichungen – das wäre ein schwacher Test – Komma – Teststärke – ist schwach – ?? Test kann nicht gut unterscheiden – wenn es einen Unterschied gibt ob es einen Unterschied gibt – diesen winzigen Effekt vor dem sie einfach kaum bemerken – dem ganzen Rauschen – das übliche Problem ist das man einfach zu wenig Leute hat die man befragt – untersucht – also das heißt die auf der rechten Seite ?? dieselbe Breite aber – dieser Trennstrich geht nach oben Trennstrich Kind Punkt damit fällt es auch wieder kleiner – und was ich jetzt nicht so in diesem Diagramm niederschlägt – ist – kann in der Psychologie versuchten Banalitäten – oder Binsenweisheiten – tausendmal – geprüft werden – jede Studentin jeder Student in der Psychologie – muss dann so soviel Studien abliefern – dann werden zum Schluss alle Sachen von denen man glaubt dass sie wohl gelten – tausendmal geprüft worden sein und irgend eines von diesen tausend Experimenten auf den Steinzusammenhang – gibt mir dann schon gelingen und das Wetter veröffentlicht und hundert einundneunzig die nicht gelungen sind sozusagen bei den nicht rausgekommen sind die werden nicht veröffentlicht – das es auch noch ein ungeschickter Effekte kann sie nicht so genau in diesem Bild sehen – aber dazu selber Hypothese – sehr oft getestet – und es wird eben nur das veröffentlicht – von diesen ganzen Tests bei den scheinbar – eine Weg zu sehen war zufällig – solltest ?? dazu schreiben sicherheitshalber mit Application Bayers also nur das veröffentlichen – wo ein Effekt oder ein starker Effekt zu sehen ist wenn sie jedes von diesen Experimenten veröffentlichen würden dann wär's kein Problem – dann wüsste man seit fünf hundert Mal nicht geklappt und einmal geklappt – ?? ist was faul ?? das einmal veröffentlicht wird bei dem es geklappt hat und die anderen fünf hundert in der Schublade verschwinden – was keiner davon Punkt die Kirchen Beistrich – aber das ist gerade in der Psychologie wenn Binsenweisheiten – von hundert Leuten nacheinander ausprobiert werden irgendwer wird zufällig ein Effekt finden aufwärts keinen gibt irgendwie zufällig da landen und das veröffentlichen – dann glaubt man es gibt ein Zusammenhang – nur weil die anderen ist nicht öffentlich – dass wir noch was zum Hypothesentest – hier sind der Tee wird als solcher ist noch gar nicht wirklich vorgekommen ist sein sondern nur ihr dieses Karree von den Möglichkeiten – der B Wert versteckt sich hier so bisschen Runterwettbewerb – versteckt sich hier trennen – dass ich sage Clinton und Isabelle Bibel kleiner gleich fünf Prozent ist null Komma null fünf dann ?? diese Situation – und der Ärger ist das man sich hier immer auf die linke Seite stürzt – angenommen die Nullhypothese gilt – das mit den fünf Prozent und so weiter – und die rechte Seite hier ist richtig schwierig – bis schwierig zu rechnen ist schwierig zu erfassen ist ?? bitte gerne ignoriert – aber die macht das ganz kaputt – vor dem ignoriert wird