Lehrstuhl für Wirtschaftsmathematik

Mathematisches Institut, Fakultät für Mathematik, Physik und Informatik
Lehrstuhlinhaber: Prof. Dr. Jörg Rambau

S: Reinforcement Learning

Reinforcement Learning

Wettbewerb

Der Tetris-Wettbewerb ist eröffnet; das von Prof. Grüne vorgestellte Gerüst kann – wie auch alle weiteren Materialien – unter dem eLearning-Auftritt zu dieser Veranstaltung heruntergeladen werden.

Zeitplan

26.04.2007 Nicole Frank Dynamic Programming: Introduction, Stochastic Shortest Path (2.–2.2.1)
03.05.2007 Florian Loos Dynamic Programming: Stochastic Shortest Path, Discounted Problems, Problem Formulation and Examples (2.2.2–2.2.4)
10.05.2007 Manuel Arnold Neural Network Architectures and Training: Architectures for Approximation, Neural Network Training (3.–3.2.1)
14.06.2007 Marisa Richter Neural Network Architectures and Training: Neural Network Training (3.2.2–3.2.7)
21.06.2007 Benedikt Brunnquell Stochastic Iterative Algorithms: Basic Model, Covergence Based on a Smooth Potential Function (4.–4.2.3)
28.06.2007 Maik Müller Stochastic Iterative Algorithms: Covergence Based on a Smooth Potential Function, The ODE Approach (4.3.–4.4.1)
05.07.2007 Maria Hänel Simulation Methods for a Lookup Table Representation: Some Aspects of Monte Carlo Simulation, Policy Evaluation by Monte Carlo Simulation, Temporal Difference Methods (5.1–5.3)
12.07.2007 Martin Schymalla Simulation Methods for a Lookup Table Representation: Optimistic Policy Iteration, Simulation-Based Value Iteration, Q-Learning, Notes and Sources (5.4–5.7)
19.07.2007 Christoph Günther Approximate DP with Cost-to-Go Function Approximation: Generic Issues – From Parameters to Policies, Approximate Policy Iteration (6.1–6.2)

Darüberhinaus werden Wasilios Harisuos und Torsten Kehrer an geeigneter Stelle über die historische Entwicklung des Reinforcement Learnings berichten – Termine hierfür folgen.

Natürlich steht auch ein Bereich im eLearning bereit, der weiterführende Informationen und die Möglichkeit zur Diskussion in den Foren bietet.

Die Ankündigung zu diesem Seminar finden Sie hier.

Seminar

Betreuer: Lars Grüne & Jörg Rambau
Zeit und Ort: 2 SWS, Donnerstags 12–14 Uhr, S78
Für: Studenten der Mathematik, Informatik, Technomathematik und Wirtschaftsmathematik im Hauptstudium

Inhalt

Backgammon. (Quelle: Wikipedia)

Reinforcement Learning ist eine ursprünglich aus der künstlichen Intelligenz stammende Methode, approximativ optimale Strategien für komplexe, dynamische und meist auch stochastische Probleme zu berechnen. Die Grundidee kann man am Einfachsten an Hand eines Spiels, z. B. des Backgammon, veranschaulichen: Nehmen wir an, dass wir für jede mögliche Spielposition unsere Gewinnwahrscheinlichkeit kennen (Wahrscheinlichkeit deswegen, weil der zukünftige Spielverlauf ja von den zufälligen Würfelergebnissen abhängt). Nach dem Würfeln müssen wir dann einfach den Zug ausführen, der uns in die Position mit der für uns größten Gewinnwahrscheinlichkeit bringt. Was in der Theorie so einfach klingt, scheitert in der Praxis daran, dass die Anzahl der möglichen Spielpositionen so groß ist, dass eine exakte Berechnung der benötigten Wahrscheinlichkeiten in vernünftiger Rechenzeit und mit vernünftigem Speicheraufwand unmöglich ist. Hier setzt nun das Reinforcement Learning an: Statt die Wahrscheinlichkeiten exakt zu speichern werden diese durch eine geeignete Klasse approximierender Funktionen angenähert, für die man viel weniger Werte speichern muss, als es Spielstände gibt. Ferner: statt die Daten der approximierenden Funktion durch ein aufwändiges Modell zu berechnen, werden die Parameter durch ein iteratives Lernverfahren ermittelt.

In diesem Seminar werden wir die mathematischen Grundlagen der Methode systematisch besprechen, ihre Möglichkeiten und Grenzen kennen lernen und die zugehörigen Algorithmen analysieren und programmieren. Ein Tetris-Wettbewerb soll Ihren sportlichen Ehrgeiz wecken.

Scheinkriterien

Seminarschein bei erfolgreichem Vortrag mit Ausarbeitung.

Ansprechpartner

Betreuer: Prof. Dr. Lars Grüne NW2 533 0921 / 55-3281 Lars.Grueneuni-bayreuth.de Sprechstunde: n. V.
  Prof. Dr. Jörg Rambau FAN D.1.29 0921 / 55-7350 Joerg.Rambauuni-bayreuth.de Sprechstunde: n. V.

© 2005–2014 Lehrstuhl Wirtschaftsmathematik — Imprint
Webmaster Wirtschaftsmathematik
Letztes Update am: 19.12.2007

druckfreundliche Ausgabe der Seite