[Playlisten] [Impressum und Datenschutzerklärung]

29A.1 Schätzung Mittel, Varianz, Standardabweichung; Stichprobe; OpenOffice.org; robuste Statistik


CC-BY-NC-SA 3.0

Tempo:

Anklickbares Transkript:

ichbin immer davon ausgegangendass ich weißwas Erwartungswertist und was die Standardabweichungistungeschickterweisehabe ich aber doch typischerweisenur Messwerte dafürhundertmal gemessenaber ich hab nichtMilliardenan das Milliarden Mal gemessen das heißt ich habe kein exaktes Ergebnis für den Erwartungswertund ich habe auch kein exaktes Ergebnis für die StandardabweichungStandard abweichenden Erwartungswert schätzen müssen aus seinen Messergebnissenselbst ein paarKniffe zu beachtenalso ich hab meine MessungenBeistrich habeen mal gemessen Messergebniserste Messung des X eins Messergebnis zweite Messung ?? Sex zwei und so weiter zweite messergebnisendeMessungtypischerweise wird in fünf seinMessergebnisse enden Messung X N das sind meine Messergebnisseund nun frage ich michja toll was ist denn jetzt ein Licht ErwartungswertDay ist ja nicht gegeben ErwartungswertKommaich muss den Erwartungswertschätzendas es noch relativ Billigschätzungdes Erwartungswert nach Schätzung des Erwartungswertsdes Erwartungswertsist einfach der Mittelwertpassiert nichts faszinierendeszerkleinern was zur Robustheitmanchmal eben doch nicht der Mittelwert sinnvollerweiseaber erst mal ist es der Mittelwert X quer heißt der gerneder Mittelwert der Stichprobe ihre Messungen sind die StichprobeX quer ist der Mittelwert der Stichprobe das heißt sie addieren die einfach alle zusammenund teilendurch die Anzahldas ist meine Schätzung für den Erwartungswertda passiert nichts Schlimmesschwieriger ist die Schätzungfür die Varianzund damit dann die Schätzungfür die StandardabweichungSchätzung der Varianzimfür die Varianzmöchte ich ja einen MittelwertderAbweichung ins Quadrat haben wenn sie sich erinnern was die Varianz wardie Varianz war der Erwartungswertder Abweichungverliertdie Abweichung Quadrieren davon Erwartungswertdas war die Varianzesse würde ich annehmen will ich meine Messwerte habe und ich will die SchwankungschätzenQuadrate Schwankung bei der Variantewürde ich annehmen was nehme ich ich nehme den Mittelwert Erwartungswert ich nehme den Mittelwertausmeine Messungen minus den Mittelwertwas ich erwarten würde ?? das ist es aber noch nichtwas ich erwarten würde ist ich nehmeden ersten Messwert minus den Mittelwert X QuermessungenQuadratplusden zweiten Messwertminus den Mittelwert der Messungenund so weiter und so weiterund dasselbe für den letztenQuadratsteildurch ähm das würde man naiv erwartenals Schätzung der Varianz finden diese Formen hier sehenich gucke mir die Abweichung vom Mittel an Quartiereund würde davon das Mittelabweichungvom Mittelabweichenden MittelquartierenMittelwert bildendas sollte es eigentlich seinder Ärger ist aberdass diese Varianz grundsätzlichzu klein ist wenn siemeint das mal so wenn es ihreMama Lyrics Werte sind und dass meine Versuche hierdannwenndas hier soll der Mittelwert sein der echte Mittelwert E von Xalso der Erwartungswertwenn sie Pech haben sie machen ähmMessungenmit Pech haben kann das ja passierendass diese in Messungen sich nicht gleichmäßigverteilenum den Erwartungswertsondern dass die Messungen zu einer Seiteausschlagen?? ich hab gesagt wenn sie Pech haben ein eigentlich für das immer passieren mehr oder minder starktypischerweisewird sich das hübschkopierenum den Erwartungswertaber es wird sich nicht exakt ausbalancierenes wird immer die Tendenz haben etwas zu groß zu sein oder etwas zu klein zu sein das heißtdieserMittelwert den Sie hier kriegen der Mittelwert der Stichprobeder wird jetzt in diesem Falletwas zu klein sein das wir der Mittelwert der Stichprobe seinund wenn Sie jetzt die Schwankung bestimmenmit dem Mittelwert der Stichprobeist die Schwankung zu kleinweil sie ja einen Wert haben der quer da drin liegt wenn sie mit dem echten Erwartungswert verglichen habenden größeren Wert Komma das ist der Ärgerdas ich hierja nicht den Erwartungswerthabeich habe hier nur den Mittelwert meiner Stichprobe und der Mittelwert meiner Stichprobenicht immerverschoben gegenüber dem echten Erwartungswertdas macht die Schwankung zu klein das hier ist immer zu kleinin den Alpen wieder sachlich vorgeführt es gibt eine bestimmte Maßnahmedie machen das ein Stückchen größer und dann stimmt es im Mitteldie schreiben hier nicht durch ensondern sie schreiben hierdurch in minuseinsDetail nicht durch die Anzahl sollen sie teilen sich ein wenigerBeistrich weniger teile ich Teile nicht durch vier sondernich teile durch drei damit etwas größerdas ist absurderweisegenau das was man braucht um diesen Effekt wieder rückgängig zu machenrelativ ist dieser Effekt nicht so groß in groß ist ob sie hierdurch hundert und neunundneunzig Teilist ein großer Unterschied aber ob sie hierdurch sagen wir drei oder zwei teilen das man sich schon die wenigerMessungen sie haben umso größer wird dieser Effekt seinmarkantes Licht nachrechnen sieht ?? Videosdass der Faktor die man hier zur Korrekturbrauchgenau so ist es sich hierdurch in minus eins Darmstadt durch Anna sie bilden nicht den Mittelwertvon dem wasso aussieht ließ wie die Summe hier der Abweichung sondern sie bilden esdurch N minus eins eins findet die Anzahl der Versucheund das heißt die Schätzung der Standardabweichungwird dann analog sein die Wurzel darausStandardabweichungwird die Wurzel daraus seinalsomuss es hinschreibenGesetze Wurzel sind die Wurzel aus dem ??lassen Schätzung der Standardabweichungüberall mit dem etwas obskuren Nenner in minus einsmit dem wir die Schätzungbesserandas Gruppenressort noch mal in OpenOffice anWest dieserKorrektur hier bedeutetdiese Tabellenkalkulationsprogrammekönnen eine Sorte Zufallsgrößenab Werk liefernoder aber mindestenseine Sorte Zufallsgrößen ab Werk liefertwenn sierichtig kräftige Software verwenden wie matlap dann haben sie gleichen ganzen Stapel an Zufallsgrößender Märkte rauskommen könnennur dann quasiMessergebnisse produzieren kann amhier ist das einfachsteeinegleichmäßigzwischen null und eins verteilte Zufallsgrößedie können Siemit einer simplen Funktion habenwie das denn gehen mussdieVerteilungmuss dieFläche eins habenmuss überall gleich hoch sein wenn sie gleichmäßig istund außerhalb vom Bereich nur bis eins und null sein sowie die wahrscheinlich als Dichter aus ?? von Xliest also nullbis ist gleich nullab dann ist sie eins?? eins ist sie wieder null das wäre meineWahrscheinlichkeitsdichteKommajetzt will ichdie Varianz davon berechnenvielleicht noch maleine Aufgabe für sieja brechen sie mal davon die Varianz und die Standardabweichungdas es was ich gleich als exakten Wert benutzen will oder möchte ich OpenOffice benutzen solche Zufallszahlenzu erzeugenund nach zu gucken was denn wirklich rauskommtBeistrich pro?? jetzt anfangen Erwartungswert auszubrechen bei dem Linkfängt kein Mensch an den Erwartungswert auszurechnen das wäre absurd Erwartungswert ist ein halb sie sehen woder Schwerpunkt liegtoffensichtlich ist Erwartungswert ein Halbrahmenfür dieVarianz?? noch mal sagen die hübschere Formel Sigmaquadratdie Varianz die hübsche Formel zum Rechnen istder Erwartungswertvon X Quadratminus der Erwartungswertvon XQuadratsie haben für die Varianzdes siehe obenmitgemacht sie haben für die Varianz einmal diese Formel hier Erwartungswertder quadratischenAbweichungdas ist die Ideevon der Varianzaber es rechnet kaum einer tatsächlich das ausdas hier ist dasselbeals wenn sie das rechnen Erwartungswert von X Quadrat minus das Quadrat von Erwartungswertrechnen Sie das mal ausnetterweise den Erwartungswerteben schon hinschickt minus ein viertel was der Erwartungswert von X Quadrat für diese wahrscheinlich verzichtenErwartungswertvon X warich integriereüber alle möglichen WerteX mal dieWahrscheinlichkeitsdichtedie Xdas ist wie häufig dieser Wert vorkommtmal den Wertdas auch summierthabe ich schon Gewichte des Mittelder Wartungswert von X Quadratdas man unterschreiben sollte Erwartungswertvon X Quadrat heißtich gucke mir anmit welcher WahrscheinlichkeitXauftrittund dann nehme ich das mal X Quadratdas wäre das integral dazuund in diesem Fallmuss ich natürlich nicht von mindestens bis plus unendlich ich weiß dass das von null bis eins reicht die von X ist ansonsten nullund in diesem Intervall von null bis einsistdie von X gleich einsso sieht das aus das ist der ErwartungswertvonX Quadrat für diese ZufallsgrößeX Quadrat mal die Wahrscheinlichkeitsdichteüber das Intervallin dem diese Zufallsgrößelebtunddumm integrierenX hoch drei Drittel in den Grenzen von null bis einsist also ein Drittel des Erwartungswert von X Quadratkann ich einsetzenWartungswert von X Quadrat ist ein Drittel der Erwartungswert von X ist ein halb gratuliert ist ein viertelein Drittel minus ein viertelG zwölfte minus drei zwölftel sind ein zwölftelQuadratein zwölftelwenn manArmennaivschätztwas die Standardabweichungsein müsste Sehen Siehier sind wir in der Mitte?? was ist die mittlere Abweichungdie mittlere Abweichungsollte ein Viertel sein entweder nach oben entweder nach unten mal mehr mal wenigerdas ist Pi mal Daumendie Standardabweichungentwickelt Abweichung ein Viertel wäresind sie müsse die Varianz ein sechzehn ?? bestimmt eben nie so hundertprozentigausmalt viel Glückkann zumindest gucken ob eshalbwegs passen kann ein sechzehntezwölften ?? mit stimmen also das ist Varianz und die Steine dabei ist die Wurzel ausdas ist das exakte Resultatwenn ich eine Zufallsgrößehabe deren Werte zwischen null und eins gleich verteiltund nun nämlich mal die Zufallszahlenvon OpenOfficeumechte Ergebnisse zu produzieren dass man das mal in Aktion sieht was bedeutet das?? erzählt habe für die Schätzung des Erwartungswertund die Schätzung der Varianzschätzungder Standardabweichungalso ich produziere eine Folge an Zufallszahlennetterweisedessen einfacherzuzahlensodie Funktion aufrufenkriegen sie oh Wunder eine Zufallszahl?? Nachkommastellen hat sodie Funktion Zufallszahl produziert eine Zufallszahl gleich verteilt zwischen null und einswarkann ich erst mal denMittelwertanguckenwas ich da also rechnen will ist sie sind für den Vers ausdem etwas hinund errechnete neue ZufallszahlenAusrufezeichenokay??der Mittelwert davon ich bilde die Summevon allen den??und teile durch die Anzahlanden macht null Komma vier fünfaber also einundfünfzigmaleinundfünfzig mal gemessen wenn Sie so wollenund man Mittelwert der null Komma fünf sein müsste ist aber nicht nur ?? Komma fünfter null Komma vier fünfer wird niemals genau null Komma fünf sein Punkt das ist ein Ereignis das ?? mit der Schandtat null auftritt dass das jetzt genau null Komma fünf ist damit nichtnur Komma fünf liegen Arbeit exakt null Komma fünf sein das man Mittelwertdenkönnen Sie so ausrechnen oder die könnte natürlich auchals fertige Funktion haben Mittelwertgenau das rechnet die eingebaute Funktionsmittelwertdie Summedurch die Anzahlähmder nächste Schritt ist jetzt sich dieSchwankungenhier zu überlegenhaben sind wir hierich gucke mir an der MessergebnisseMittelwertmesswertenund so weiterich ziehe von jedem Messwert den Mittelwert abdas soll seinder Messwertminus der Mittelwerteine Vorsichtsmaßnahme schreibt at Dollarzeichenvor die Spalt und die Zeile von Mittelwertdamit derwenn ich jetzt hier weiter auf zieheimmer noch auf dasselbe referenziertohne Dollarzeichenwird weitergezogenhier bin ich in der vierten Zeile A vier automatischdie bin ich in der fünften Zeittafel automatisch aus Dollarzeichenfestgenageltin diesem Fall bleibenSpalte und Zeile festgenageltso das wir jetzt die Abweichungvom Mittelwenig irritieren lassen bei jeder Aktion sicher macheberechnete die Zufallszahlneu und gibt auch ganz neue Ergebnisseimmerandas nächste wäre das zu Quadrierendie Abweichungverliertdenunddann bilde ichvielleicht erst maldas Mittel von diesen verzierten Abweichungendurch ähm?? was schreibe ich dann meine naive Schätzung schreibe ich mal naiveSchätzungder Varianzistder Mittelwertvon denenquadratischenAbweichungenalle die Quadrate der Abweichungenvon den den Mittelwertdas wäre die naive Schätzunggeht man immer noch ein paar mehr Dezimalstellenwir wissen schon was exakt rauskommen soll?? exakte Varianz ich meine exakteJansexakte Varianzsollte sein ein zwölftelsodieexakte Varianz ist ein zwölftel jetzt kann man ja vergleichennaive Schätzung ist der Mittelwert aus den quadratischen Abweichung das wir können jetzt auch noch mal dieoffizielle Schätzung nehmender Varianzda rechne ich die Summe aus all denendie Summe der Quadrateder Abweichungengeteilt durch die AnzahlvonElementen liegt ?? auch summiert haben so sieht das ausaber nicht ganzsondern eins wenigerunten steht die Anzahl minus einsso steht das dadie Summe der quadratischen Abweichungen durch die Anzahl minus einsso sieht das ausund es müsste man hoffentlich sehen das diese offizielle Schätzung besser ist als die naive Schätzung definiert bei diesen Zufallszahlnaive Schätzung null Komma null sieben drei ?? für die Varianzmeinebessere Schätzung mit diesemN minus eins statt enim Nennernicht dichter dran an der exakten?? weitermachen ?? das Innere neu rechnen sie sind neue Zufallszahlenin der Übersetzung acht null Komma null fünf neun meine bessere Schätzung ?? null Komma sechs und die exakte ist null Komma acht drei als offizielle Schätzung besserausnahmsweise mal nichtdie offizielle Schätzung ist immer zwangsläufiggrößer als die naive Schätzungwie manchmal kann auch Pech habenaber es sollte selten der Fall sein jetzt mal wieder richtig rum naive Schätzung istzu klein die offizielle Schätzung ist besserhier liegen auch ?? wieder richtigalso hin und wieder ganz passierenkann sie gerade gesehen wieder ganz basierendes offizielle Schätzungschlechter funktioniert als die naive Schätzungsollte aber nicht so häufig passierenokaynoch ausprobiertanwenn sie noch Office sagen berechnen wir mal lieberganzeinfach mit der Formel aus den Messwertenzu vier??stählernensosehen Sie dass es genau das Resultatjedoch angegeben habe also wenn sie einfach nur Varianz sagen rechnet er genau dassie können auch sagenähmVarianzdie ähmwarJansjansinPunktdieselben Daten wieder nehmenund stellt fest oder ist naive Schätzungalso naive Schätzung des eingebauten muss einmal nach oben wie die Funktion heißt Bayerns interessiertdann?? es kann Fälle geben in denen dasdas ist was man tun muss ??sehen Sie vielleicht sogar wann sie das tun müssen wann nehmen sie nicht meine offizielle Schätzung zwo N minus eins im Nenner stehtwann nehmen Sie die Schätzung bei der Ndie Anzahlim Nenner steht groß einfach den Mittelwert aus den Quadraten bilden wann ist dasdas was man tun mussman anderes Beispiel bin ich theoretisch einen Würfel drangehe eins zwei drei vier fünf sechsund möchtedie Varianz vom Würfel bestimmenwann können Sie das jamit deralleskönnen Sie das ja mit der netten Formel machen mit dem ?? minus einsim Nenneroder sie können dasmit der anderen Formel machen Varianz ENwas davon giltder Trick istfolgenderin der Tat hier beim Würfel habe ich hier den richtigen Mittelwert wenn ich hier den Mittelwert Bilder aus der Stichprobedann stimmt der jader Mittelwert hier ist das so aufschreibedrei Komma fünf wie sich das gehörtder ist exakt der Mittelwertund wenn ichden exakten Mittelwert habe dann habe ich ?? keine Lasten mehrähmmitdem hierich kenne den drei Komma fünf drei Komma fünf drei Komma fünf und ein Bild den Erwartungswertaus den Abweichen natürlich in dem ich dich in Teilenähm das heißt dann sagt man gerne so wenn sie die Grundgesamtheiteinsetzenwenn sie alle möglichen Fälle einsetzendas habe ich hier sechs möglichen Fälle beim Würfel wenn sie alle möglichen Fälle einsetzenist der Mittelwert exakt und die naive Formelfür die Standardabweichungdies auch exaktdiekorrigierte Formel für die Startabweichungist dann absurderweise falschdie Formelmit der Korrektur mit dem N minus einsoffizielle Schätzungist dann richtig wenn ich wirklich eine Schätzung habenicht wenn die Werte die ich da habe dierichtigen sind wir nicht alle Fälle hier aufgelistet habe ich die Grundgesamtheithabedann kann ich die Schätzung nehmen da muss ichdie andere Formen nehmen dafür sinddie sicher da dieVarianz EN die Formen analog dazu gibt es die StandardabweichungähmStandardabweichungdie naivoder für die Grundgesamtheitund Standardabweichungmit der offiziellen SchätzungPunktZiel des heißen die Standard abweichende Stichprobetypischerweisesie bilden diedarauswäre die Standardabweichungnaiv und hierin offiziell natürlich genauso diebilden die Wurzel aus deroffiziellen Schätzung mit dem N minus eins im Nennerals Komma sagen was OpenOffice sagt das was die Standardabweichungwiewas die Standardabweichungsein sollwenn sie in der Tat das ist die Wurzel aus dieser offiziellenSchätzungdie Wurzel aus dem was OpenOffice als Varianz liefert ist das dannund wenn sie Fragen nach?? wieein Klammer aufundsehen Sie das ist der anderealso sind beide eingebautbeide Varianten eingebaut ?? muss müsse vorsichtig sein wenn man welchen ??typischerweiseden Sinn der Physik Messwerte haben dann nehmen Sie die eingebaute Varianz und die angebaute Standardabweichungunsnunnoch wissen was zur Vorsicht sagenanPublisher angedeutetdas ist nicht immer das was man tut man nimmt nicht immer einfachdas Mittelund bei der Varianz hierähm sowas ähnliches wie das Mittel der quadratischen Abweichungen aber durch N minus ein ständig Ent manchmal muss man vorsichtiger sein ?? das Problem bei diesenArten das auszurechnenist das die nicht robust sind wenn einer dieser Messwerteauch nur eine dieser Messwerteein Ausreißeristist der Mittelwertund dann auch die Varianz ziemlich kaputtdas ist eher ärgerlichsich vorstellen dass einer von denen hierseines voll daneben plötzlich zehn rauswenn sich jemand vertippt hatin einer der Messwerte nur daneben iststellen sie festähm der Mittelwertist nun wirklich beim besten Willen nicht mehr null Komma fünfund die Varianz ist nunkomplett im Eimerdas ist nicht robust gegenüber Ausreißerneine Art mit Ausreißern umzugehenist den Median zu nehmen hatte schon gesagt Median ist die Zahldie Messwerte teilte fifty-fiftyteilt fünfzig Prozent der Messwerte liegen drunterunter dem Medianrundfünfzig Prozent der Messwerte liegen drüber über die Medien jetzt ein Messwert ausreißtmacht das die media nicht viel auswendig in den Medien berechnenschondie Medien berechnen null Komma fünf zweidas ist quasi der mittlere Wert dann hier nicht der Mittelwert im üblichen Sinne sondernich sortiere die Wertenach Größeund gucke mir dann an welcher wird in der Mitte steht die Hälfte der Wertes kleiner als null Komma fünf zwei Kerne des größer als zwo Komma fünf zweiplus minus einenmanchmal mit mageren Mittel oder ähnliche Geschichten plus minus einen ist die Hälfte größer die Hälfte kleines S der Medianund der Medianist deutlich robusterwenn sie Werte habenbei den sie befürchtenAusreißererwischt zu haben ist der Media eine gute Ideeanalog kann man das hier bei der Standardabweichungnatürlich auch machenbei der Varianz brechen machen kann sie nicht mehr die übliche Varianzaber zumindest eine robuste Idee wie stark der Schwanzist eine Art ?? mit Ausreißern umgehen kanndiese ?? andere Art mit Ausreißern umzugehenmal auf ich habeMesswerteauf meiner x-Achse Messwertenatürlich hier mit dergleichenHöhe so war Messwerte die plausibel scheinen lächerliche ein AusreißerBeistrich noch ein Ausreißerwirklich ganz normale Messwertemedianist die eine Lösung des sie sagen okay wo ist die Zahldiegrößer ist als die eine Hälfte der Messwerte und seines als die andere Hälfte der Messwerte das schon mal keine schlechte Idee?? andere Idee wäre den Mittelwert üblich zu bildenaber Ausreißer loszuwerdenwie können Sie sagen was Ausreißer sind und die dann einfach zu streichendas wäre eine Art sie sagen den höchsten schmeiß ich rausund den niedrigsten schmeiß ich rausund bildet dann den Mittelwertdann sollte kein Ärger haben das kann man weitertreibendass sie sagen ?? ich streiche die fünf höchsten und die fünf niedrigsten warum nicht sicherheitshalbernehmen Sie die fünf niedrigstenund nehmen Sie die fünf höchstenund die streichen sieund des rechnen sie nur noch von den übrigen den Mittelwert aus das robusterdas nennt sich WindsurferinFachbegriff am Randeein Sensorähmeine Idee wie man solche Sachen robuster machen kann als der Median würde es bringen diese Visualisierungoben und unten abschneidenbringt es auchim Hinterkopf behalten sollte wenn sie die Gefahr sehen das Ausreißer drinnen sindsollten sie nicht Erwartungswertund Varianzstandardabweichungauf diese Weise schätzen das es keine kluge Idee in dieser die Zahlen sie rauskriegenwenn sie mich falsch an das endlich was man robuste Statistikennennt der Median ist eine robuste Statistikund hier wenn ich die ausreißerstreichewird es auch robuster