[Playlisten] [Impressum und Datenschutzerklärung]

21F.2 Gradient Descent zur numerischen Minimierung


CC-BY-NC-SA 3.0

Tempo:

Anklickbares Transkript:

eine Anwendungfür den Gradientenmediendezent der Gradientenabstiegder Sinn istein lokales Minimumnumerisch zu suchen Punkt Vorsitz genau ein lokales Minimumder Kriterien dafür Gradienten und so weiteraber was ist wenn sie die Formeln wieder rauskommen nicht behandeln können und dann durch rechnen numerisch heißerWeise mit dem Taschenrechner mit dem Computer rechnerischsuchen wollen ?? lokalesMinimumnumerisch suchendass man Schülern zum Gradientenkreditesind als solches Kabel vom Stoff Komma was er zum Gradienten darin vorkommt das es noch mal alles was bisher so dran war am Beispielzwei ?? Funktion nehmen von der ich ein lokales Minimum suche die Positionalso kein Minimum sucheschon besser zu schreiben vielleicht lokales Minimum eigentlich so nicht ?? Minimum nicht den Wert?? sich Sonnenfläche vorstellendie Suche nicht den Funktionswerthiersuchen eigentlich meistAdmin als das wo ist denn das Argument wo sind denn dieses Minimum tatsächlich ?? Y mäßig das es jedoch normalerweise die Positiondes lokalen Minimumsam Beispiel und zwar folgende Funktion zweier veränderlicher?? von Nick Simpson soll definiert sein alsX plusSinus von Ymal E hoch minus sechs QuadratmetersY ins Quadratzu überbringen ?? erst mal wiederin die Fläche die dazu gehört zu dieser Funktion wie die Fläche denn so prinzipiell aussehen müsste fällt Ihnen dieser Funktion was auf was entscheidendes für den Verlauf?? zwei Faktoren der hintere Faktorist die übliche Gaußglocke ich versuche das mal ganz grob zu zeichnenMixtapesund der Funktionswertindie Gaußglockesie fallenin alle Richtungenzum unendlichen hin aufeine Glockenfunktiondie Blockfunktion organisiert ?? durchschreiten sowie noch durch zwei teilen im Exponenten aber der Effekt ist mir eine Menge derselbesei doch völliger Verlauf ist der hintere Teilder vordere Teil ?? X plus Sinus von Ybbs und winziger als selbstgeforderte Faktor hier wie sie der vordere Faktor aus femininen Gartens ganz schematischskizziertfür das sie nie die haben davon was sie da tun oder was der Computer dann tunes gibt deutlich mehr Sicherheitund lässt ein ganz ?? wieder findenSie diese erste Vergütung prinzipiell ausSuchekalte Snacks geschnittenY gleich einsist gleich nulleins ist gleich null Y gleich zweiist gleich null und so weiter und so weiterdie kriegen das so mein Sinus raus wenn sie entlang der y-Achse schneiden entsteht ein ganz normales menschliches perspektivischgewagt hier kommt jetzt ein ganz normaler Sinus hin erlangte und ein Ziffer bin ich das mal soetwas klares wie der läuft aus wenn ich meine Fläche von vorn nach hinten durch Schneider an der Stelle X gleich null bekomme ich eine Sinuskurve sind abhängig von Ywas passiert wenn ich meine Flächelängste x-Achse Schneider von links nach rechts SchneiderGerade mit der Steigung einziges Wissen Ausrufezeichen?? sind es immer draufaddiert?? ein Schritt nach rechts gehen ist gleich eins?? ein mehrals den Sinus ihr da aber wenn sie ein Schmetterlingsgen haben sie ein weniger das heißt sie nehmen diese Sinus Kurve und wird dann schrägdurch den Raum bezogen sowie das Aussehenwelches die beiden miteinander multiplizierenoder warten Sie ein lokales Minimumwenn ich weit nach draußen gehe sehr negative Y sehr positive Y dann wirkt mir der Glockenkurvenfaktorden Sinus ab wahrscheinlich überlebt hier schon dieser ersteKrieg für negative Zahlen von Sinus nicht mehr in voller Größeaber des ersten Tage vom Sinusdas Erfrischungszieldieses Tal mit der Glockenkurvedann wird dieses Tal noch mehr oder minder überlebenwenn ich nach links gehe aus dem Tal damit der Wert meiner Funktionnoch kleineraber irgendwann wird das auch abgeschnitten als ich erwarte dass die Produktfunktionhier ins Tal rein geht linksvon X gleich null negatives Y alsoY ist gleichY ist gleich minus zwei P Y ist gleich minus BY ist gleich minus ein halb Piin der Ecke aber dann weiter nach links weil die Funktion hier der linke Faktor ?? noch weiter fällt das als negatives X Negative selbst an beide irgendwie so zwischennull und minus eins soweit könnte man sich das ?? zusammen rein besuchen ein lokales Minimum dieser FunktionbeiX Y beide zwischen null und minus eins Sonntagsblicksechsunddreißigminus eins und null?? jetztkriegerisches über die Funktion etwas besser beraten Komma sich das gerade getan habe ??schon sehr lieb dass sie wirklich so anschauen entwickeln ohne sofort ?? sie ablesen können was passieren wird zur Abwechslung mal ins Base und nicht Doppelpunkt Doppelpunktwie von mir einen Vektor vonX werden jetzt hier zwischen minus zwei und zwei und zwei dich gerne fünfzig Stück Komma nur sicher sein dass die Enden drin sindund RundungsfehlerGibson werde genausoaus das Raster aufLeerschrittYzur Funktion ausund zwar steht der Haarklammermalpunktweise modifiziertkeine Vektoren weiteres modifiziertes ?? Punkt mal die X Werte plus den SinusY wertenund hinten haben wiräh hilfsweise wieder Punkt war so eine Matrixim Exponenteneine minusXPunkt dreißig ZifferPunkt xx natürlichminusinsQuadrat Semikolonmit ?? das Punkt nicht vergessen das nervt ansonstenrelativ geradlinigist Komma sagenLeute uns ein Servicedie Flächeaber beleuchtet zur Fellservicelitt beleuchtetzu Leidwird eine beleuchtete Fläche aus X XYZ Z und er soll bitte bei der Schattierung schädigt denSommer bittet interpolieren die Farben interpolieren und die Linien nicht zeigenausInterhinunter?? es über die beglich dieser eine Klick beipositiven Blicks positive Y des Überlebens ist eine Zahl bei negativem exnegativen?? auch irgendwie so zwischen ?? das einzige was solch einmal sagen was die x-Achse istHauptstraßeEx Labelwechselnde x-Achseundschwangdie y-Achseder gemeint istimmer sind sie dass es super schwer zu lesen ist ?? bis jetzt drehen und wenden um ein bisschen genauer zu kriegen aber gar nicht immer alles es gleich richtigPunkt solche Tricks aberdie Größenordnung ?? hinzukommen es gibt offensichtlich ein lokales MinimumPunkt das lokale Minimum sitztso zwischen minus eins und null klein X Wert und Y wird bisher tausend wachen der drin aber das etwas nicht weiter wir uns genauer haben da konnte sie nunmehrigen spielich will wissen wo das Minimum sitzt ?? überzeugt es gibt ein Minimumnicht nur lokal dann auch globaldieser Funktion das möchte ich es finden wo sitzt das MinimumGradient Descentder Name sagt es schon Gradientenabstiegdas noch nichts über den Gradientensich das abstrakt vorstellen?? haben wir unsere Flächeein Werk drinnen ein Tal könnensoaus dem Bauch Herausgradientenabstieg was will man machen was heißt das wohlwie soll man sagen es geht um ein numerisches Verfahren also ich setze jetzt nicht den Gradienten leichte Nullvektor Nüsse auf das ?? bei dieser Funktion auch bisschen eklig werden durch den Rechner suchen lassen ?? tatsächlichnicht ?? Gleichungen auflösen selbstwenn ich Landkarte daneben Malerhabe ich hier den Bergtalzum Bergtalmit den Rechner suchen lassen wollen?? vollautomatischsuchen lassen wollen auf dumme Rad wie schicken Sie den auf die Sucheverfolgeden Patienten in Gegenrichtungder Gradientzeigte senkrecht zu den Höhenlinienstatt und mit Schulter flachkürzer der Gradient des ?? über ?? senkrecht drauf stehenin der Mitteam steilenFenstergradientam längstensound die Strategie ist jetzt wir verfolgendas negativen Gradienten ?? machen immer einen Schritt entgegenden Varianten das Gradienten stehthier sind also nur null null Staaten zwar keine schlechte Ideeanschreiben grünes der Gradientund es auch immer ein Stück gegen den Patienten gestatten vielleicht bei null null draufbewaffnet stimmt gegen den Gradientenwas ist jetzt der Gradient unterlaufen wieder ein Stück gegen den Gradienten Frost und der Gradienten Laufer wieder ein Stück gegen den Patienten und so weiter und so weiterwird sowieso Zickzack laufenaber wir werden unsnach relativ wenig Schrittenim Tal befinden dass es der Gedankedes weiß man nicht ob man hier lokales oder ein globales Minimum gefunden hat je die vorhin eben an wäre ein viel tieferes Minimumsind nicht gefundenwir wissen es gibt nur eines ein globales Minimumfindet auf jeden Fall so das nächstliegendelokale Minimumimmer nicht so weit geht manches vorsichtig seinen wie groß die Schritte sind wenn sie zu große Schritte machen dann einzelne durch sonstkleine Schritte machen das ist dann ein bisschen Raketentechniküber die Schrittweite wird aber im Prinzip ?? Punkt net das so machen muss kann man tatsächlich an also ich bräuchte jetzt den Gradientenvektorersetze die aber nicht nur den Gradientenvektorsondern ich benutze den Sprung immer so Stück in die Gegenrichtung des Gradienten zu gehen ?? entsprechendes Gradienten gehenbergauflokales Maximum?? sogar Minimum finden Enkelinnen entgegen vom Gradientenschon immer den Gradientenund dann vom das einfach hin was das bedeutetsolch einen roten Fall noch dran schreibt das Gradient Descentimmer ein Stückchenentgegen so soviel Prozent Simon entgegen vom Patienten weitergehensoll ?? mal sagen der Kardinalitätder Landkarte des Richters in die Landkarte eingezeichnetnicht in die Landschaft in die 3D Landschaft ?? die zwei D LandkarteGradiententierin zwei Dmeine Tipps und ändere jetztnur ein wenig entgegen vom Gradienten der Gradientwas ist die partielle Ableitung nach Xund Salvador Produktregelden ersten Hauptes macht einsmaldie Schreiben zwischen Off sei die einzige offizielleich will's auch hilfreicher dann weiß man das was ich verpennt hat eins mal der zweite Faktor bleibt stehen junge sechs hundertplus den ersten Faktor stehen lassen?? X plus Sinusvon Yund den zweiten ableiten wie hoch irgendwas bleibt immer irgendwas in der äußeren Ableitungin der Ableitung nach X ging noch weiter minus zwei X dazu schauen sie Beistrich mal minus zwei X hundert kann man sie das Einsatzes komisch aus diverse Programmiersprachenverstehen das auch ohne die Klammern aber weit ist es doch sehr gewöhnungsbedürftigso das war die partielle Ableitung nach X und die nach Yhabe ich ja jetzt nur ein Preisunterschied das erste Sinus abzuleiten ist nicht X abzuleiten ist der Rest sprechen dann also nicht einmal sondern der Kosinusvon Ymal E hoch und so weiterGänsefüßchen zu schreiben plusden ersten stehen lassen Klammer auf darübermaldie hoch und so weitermal deswegen natürlich minus zwei ?? Y weiterePleitekann man hübsch zusammenfassennoch überall bleibt es eh hoch stehenKomma das heißtetwasschöner wenn sie das als Vektorschreibenwächst der GradientenvektorAktienindexableiten partiell nach Y arbeiten die beiden miteinander schreiben dass es unser Gradientenvektorfeldbeides von Eclipse ?? noch abhängt wie können Sie jetzt diesen Vektor schreibendass es übersichtlicher wird ?? selber möglichst übersichtlichin Gradientenmittig als Vektorfeldmöglichst übersichtlichaus Klammer aufsie haben jetzt in der X Komponentedass sie hoch trennenausklammernund sie haben in der ?? Komponente das eh hoch drücken sie unten ausklammern ?? Ärgernisse insgesamt rausklammernaus dem gesamten Vektorhoch minus sechs von hundert mindestens ein Quadratinsgesamt ausgeklammertmaldas Mars jetzt Zahlen mal Vektor kann Skalarprodukt?? Zahn mal Vektorwassermengeversteht einsminus zwei Xmal X plus Sinus Ysteht oben einmalE hoch minus zwei X hoch ?? Sinus Yoder unten haben wir KosinusMalé hochminus zwei Ymal exklusivzwei Y mal was darüber stehtDrüse etwas freundlicher mangels hin zwar auch noch zusammenfassendass jene Summe von zwei Vektoren steht ganz sicher noch mal Exposition schon aus zehn ist zu viel des Guten das ist der Gradientund nun während der Algorithmusschon sagen der Algorithmus für folgendeRechenvorschriftdas Rezept Windsorwelches Rezept würde man ein Programmierenin den Rechner zu Fuß nachvollziehenwir startenjetzt naheliegenderweisebei null null wir könnten auch bei minus eins minus eins startenirgendwaswas nicht ganz abwegig ist in der Nähe des Talsstand zum Beispielbei null nullund dann kommt eine Schleifewiederholefolgendesnämlichgeheimmer zum Beispielzehn Prozent in Gegenrichtung des Gradientenan der aktuellen Stelle?? nicht in Staaten bei null nullPunkt neunzehn Patienten an über zehn Prozent in Gegenrichtung von Gradientenauf ein bisschen den Berg runter auf zig Songs müsse schief gegangen sein und das Komma noch mal gucken muss aktuellen Gradienten an vierzig Prozent den Berg runter und so weiter und so weiterwiederhole insbesondere Abbruchbedingunghabenwiederholebisjawas könnte die Abbruchbedingunghier sein wie lange wiederhole ich dasich wiederhole bis zur ?? wiederholen solangesich die Zahlenwerte ändern die mickrigen fixen Schubserkönnte auch sagen solange wie sie sich um zehn hoch minusfünf ändern hat sich so genau sein muss ?? aber ich würde jetzt das Wasser ?? guckenwie das ist wiederhole solange sich Zahlenwerte ändern Doppelpunktgehezehn Prozent in Gegenrichtung des ?? das wäre übrigens Pseudocodedass es eine offizielle Programmierspracheaber keine den Computer normalen Sinne versteht wenn sie ihren Abschlussarbeitenzum Beispiel ?? Projekten Algorithmen aufschreiben dann tut es typischerweiseauf diese Art nicht mit einer real existierenden Programmiersprachewie man die ?? eingeben kann sondern so bisschen rezeptmäßigfür den Menschenist sehr kurz aufgeschriebenwas der Rechner machen soll ohne irgendwelchenFirlefanzden die Programmiererforderndass esbei Interessent?? ich setze jetzt nicht den gleichen Weg vergleichen und Versuche aufzulösen?? das wäre jetzt auch nicht so richtig lustig X mal Singles von YX Quadrat plus X Martinus ?? sondern ob es ihr ?? sechs vertratdas Zimmer zwar los dass ihr ?? sechs Quadrat ?? ist gleich null setzen der macht also keinen Ärger aber die anderen Y mal Sinusverlust und so weiter es wird fies werden das aufzulösendas schreit Nachnum Erik weil es nicht ?? Komma arbeiten?? Gruppen in ?? aussehen ??es geht weiter das Isaac an der Stelle bin ich denn eigentlich wenn ich mal bin ich mal P für ?? Punkt vielleicht an welcher Stelle bin ich nullnull?? mit dem Ursprung startenPunkt angebenundes möchte ich weitergehenim nächsten Durchgangfiel gleichso passieren P soll der alte Wert sein und der Zoller stehen minus null Komma eins zehn ProzentPunkt ein zwar den Gradientenbesserer Schlachtplannicht ein Schritt weiter gehen wir hier vom Ursprungzur Stadt Punkt seit ich einen Schritt weitergehen will vom Ursprung ?? okay ich nehme den bisherigenWertbisherigen Bunker dem ?? angekommen in der Ursprung minusnull Komma eins malvermittelt es auch wieder mit X Y ineinanderPunktich selbst miteinander rauche jetzt die Reformerheuteund ?? Komma auch alsFaktor das die hoch ?? ?? zum ?? malwie hochist ?? Komma ?? Klammer zu gefüllt irgendjemand kommt intellektuell reinin den Exponenten will ich haben das vertraute Mix wird mit minus ?? oder Verluste werden minus gewechselt kriegen sie als die von runde Klammer auf einsden X wird minus Prunde Klammer auf eins?? Punkt nach seiner ersten Koordinateund die hoch zweiminusund die ?? Koordinate findet als B runde Klammer auf von zweihoch zweidas wäre dasBuch so zu viel und es kommen diese Formen hier in die Gegend ?? Kids der Vektor ebenmit einem Komma auchwenn sie ?? Semikolon Schreiben stehen die beiden über Lander Benzin Komma Schreiben stehen die beiden nebeneinanderBeistrich vorne eins minus zweimalfix brauche ich das SP von einswares euch noch mal XP von EinsplusSinus von PE Francedreizwei Klammer zusechs Komponente jetzt konnte Y KomponenteKosinusfünfzehnPzweiminus zwei mal im Sommer sowie von zweimal Klammer aufdas war eben schon hatten X plus Sinus von YalsoP vonNewtonsPlus Minus vonähzwei ?? wenn das nicht haarsträubendist hinten habe den essenziellen Faktors ist der ?? schreibe ich den hiereinzelnen heißen zwecks X plus minuseins minus zwei X mal X plusminusY Jahr und Kosinusminusminus zwei Y zwölf sommerexplosivesLüfter sieht so richtig aus es müsste also ein Schritt weiter gegangen sein ?? aus kann Semikolonso ein Schritt weiter gegangen sein aber natürlich ist was faulhier fehlt was der Sinusgeht auf P von zwei der Sinus geht zu aber es muss noch die Klammer hervorzugehenso und da muss es natürlich überlisten genauso sein eine Klammer ist auf zwei Klammern sind auf drei Klammer sind auf dem es mir wieder ?? Klammer zu geht so besser VersuchAuge?? nach dem ersten Schritt ?? jetzt ??Ursprung gestartet nach dem ersten Schritt landen wir dann minus ein Set minus ein zehntel gesinnter Stück in den Berg untergegangen?? zweites ?? Komma ich hole die Zeile wieder und macht das noch mal Leertaste so mal ausführen das es ja von dem Punkt in ich gerade hatte mir so Komma als wenn es nur Komma als zehn Prozentden Gradientenruntergehenin Gegenrichtung gehen ich mach das aber noch mal zack okaysie nebenbei dass die Band es auseinanderlaufen?? liegen nicht mehr genau auf derDiagonalendie beiden laufen auseinanderund ?? das jetzt ein Programmier ?? würde müsste es ihm das so lange ausführen wie sich die beiden Seiten werde jetzt nicht mehr im ?? Business ?? fünf Nachkommastellenaber mir fällt ?? profitiertKomma schaltenwir das aber so lange machen immer wieder den Schritt gegen den Gradientenwie sich die Zahlen ja stabilisiert haben und das programmierbare natürlich das macht man nicht zu Fuß programmiert man genauso sehen Sie auf jeder tut sich immer noch bisschen was und sobald sich dann nichts mehr tut heißt das ja dass der Gradient praktisch null istbis ?? ?? H eins null zwei vier fünf vier sechsfünf viersechsmühsamdie Abstände werden kleiner ?? in Fünferschritten referiertenwir auf die letzte Stelleund so weiterman könnt ja ganz dreist sagen ?? Services Unternehmen nicht zehn Prozent über zwanzig Prozentzwanzig Prozent ?? gegen den Gradientenwas passieren kann ist das man übers Ziel hinausschießtund dann wieder zurück muss richtig weit übers Ziel hinaus schieße das ganz instabil wird das gefährlichein Zahn zuzulegen?? es ändert sich nur noch zwei einsmühselig okay jetzt scheint es sich eingependelt zu haben ja jetzt hat sich ein zwar okay ?? auf fünf Stellen nach ?? Komma wird das wohl die Position des Minimum sei oder dass wir sie gleich am Donnerstaggerne Gradienten ausrechnet und an die Rechner Zuwanderer geschickt immer schützen ?? galt jetzt ein ziemlich billiges Verfahrenzum zum Beispiel zentralheute beim Maschinenlernendie neuronalen Netzezu Anfang des ?? Komma dann ist das wie eine Kugel ins Tal rein fälltnichtwirklich da wär ich vorsichtig wenn sich jetzt jedes Tal vorstellenwenn sie der Kugel haben die Ennstal Reinhold?? hat die Jahr Trägheit und rollt auf der Innenseite wieder hochdas möchten ?? bitte nicht dass die auf der andern Seite wieder hoch freutman sich so vorstellen eine Kugel digital Reinhold aber sie füllen das ganze hier mit Honigdass dieNullrunde fließt sozusagen und nicht wieder drauf geht die Kugel zügignach unten geht so dicht ?? geht als Minimum von einer Seite ohne zu überschießen sie vielleicht nicht immer vermeideninsofern vielleicht nicht eine Kugeldenkensist ja nicht in der Physik dannProzess zweiter Ordnung mit Beschleunigungsondern immer nur schrittweisebestimmen die nächsteLänge des Schritts