Du befindest dich hier: FSI Informatik » Prüfungsfragen und Altklausuren » Hauptstudiumsprüfungen » Lehrstuhl 5 » Allgemein
Unterschiede
Hier werden die Unterschiede zwischen zwei Versionen der Seite angezeigt.
Beide Seiten, vorherige ÜberarbeitungVorherige Überarbeitung | |||
pruefungen:hauptstudium:ls5:dl200219 [20.02.2019 14:49] – Cerox | pruefungen:hauptstudium:ls5:dl200219 [20.02.2019 14:51] (aktuell) – Cerox | ||
---|---|---|---|
Zeile 5: | Zeile 5: | ||
====== Fragen ====== | ====== Fragen ====== | ||
Prof. Maier: Geben Sie doch bitte einen Überblick über die Themen der Vorlesung. \\ | Prof. Maier: Geben Sie doch bitte einen Überblick über die Themen der Vorlesung. \\ | ||
- | Mindmap gemalt mit allen Themen. \\ | + | > Mindmap gemalt mit allen Themen. \\ |
Prof. Maier: Zu Anfangs gab es ja das Rosenblatt Perzeptron. Was konnte das denn? \\ | Prof. Maier: Zu Anfangs gab es ja das Rosenblatt Perzeptron. Was konnte das denn? \\ | ||
- | Perzeptron erklärt, mehrere Inputs, ein Output, weil Sign function. \\ | + | > Perzeptron erklärt, mehrere Inputs, ein Output, weil Sign function. \\ |
Prof. Maier: Und was war das Problem? \\ | Prof. Maier: Und was war das Problem? \\ | ||
- | XOR nicht lösbar. \\ | + | > XOR nicht lösbar. \\ |
Prof. Maier: Was hat man dann gemacht? \\ | Prof. Maier: Was hat man dann gemacht? \\ | ||
- | MLP -> Universal Function Approximator und Universal Approximation Theorem \\ | + | > MLP -> Universal Function Approximator und Universal Approximation Theorem \\ |
Prof. Maier: Okay, welche Aktivierungsfunktionen gibt es denn? \\ | Prof. Maier: Okay, welche Aktivierungsfunktionen gibt es denn? \\ | ||
- | Bspw. Sign. \\ | + | > Bspw. Sign. \\ |
Prof. Maier: Was ist denn bei der das Problem? \\ | Prof. Maier: Was ist denn bei der das Problem? \\ | ||
- | Es gibt keine wirklichen Gradienten, außer man landet genau in 0, dann ist die Steigung 1, ansonsten immer 0 -> schlecht für Training. \\ | + | > Es gibt keine wirklichen Gradienten, außer man landet genau in 0, dann ist die Steigung 1, ansonsten immer 0 -> schlecht für Training. \\ |
Prof. Maier: Andere Aktivierungsfunktionen? | Prof. Maier: Andere Aktivierungsfunktionen? | ||
- | Sigmoid, Tanh, ReLU. \\ | + | > Sigmoid, Tanh, ReLU. \\ |
Prof. Maier: Vor- und Nachteile? Wieso ist ReLU besser? \\ | Prof. Maier: Vor- und Nachteile? Wieso ist ReLU besser? \\ | ||
- | ReLU ist robuster, weil Sie nicht so saturiert, wie bspw. Sigmoid/ | + | > ReLU ist robuster, weil Sie nicht so saturiert, wie bspw. Sigmoid/ |
Prof. Maier: Wie können wir denn feststellen, | Prof. Maier: Wie können wir denn feststellen, | ||
- | Loss \\ | + | > Loss \\ |
Prof. Maier: Wie haben wir denn den Loss immer bestimmt? \\ | Prof. Maier: Wie haben wir denn den Loss immer bestimmt? \\ | ||
- | Cross-Entropy und Maximum Log Likelihood erklärt, sowie wie das zustande kommt. \\ | + | > Cross-Entropy und Maximum Log Likelihood erklärt, sowie wie das zustande kommt. \\ |
Prof. Maier: Und was kann sonst noch so passieren, zB bei ReLU \\ | Prof. Maier: Und was kann sonst noch so passieren, zB bei ReLU \\ | ||
- | Dying ReLUs, also Vanishing Gradients (/repektive Exploding) \\ | + | > Dying ReLUs, also Vanishing Gradients (/repektive Exploding) \\ |
Prof. Maier: Wie kann man das denn überwachen? | Prof. Maier: Wie kann man das denn überwachen? | ||
- | 3. Datenset, das nur zur Überwachung dient und so etwas wie Gradienten überwacht, ob die passen usw. \\ | + | > 3. Datenset, das nur zur Überwachung dient und so etwas wie Gradienten überwacht, ob die passen usw. \\ |
Prof. Maier: Wie kann man das noch überprüfen? | Prof. Maier: Wie kann man das noch überprüfen? | ||
- | Anhand des Losses. \\ | + | > Anhand des Losses. \\ |
Prof. Maier: Wie sehen die Kurven aus? \\ | Prof. Maier: Wie sehen die Kurven aus? \\ | ||
- | Hingemalt. \\ | + | > Hingemalt. \\ |
Prof. Maier: Wie funktionieren denn Inception Blöcke? \\ | Prof. Maier: Wie funktionieren denn Inception Blöcke? \\ | ||
- | GoogleNet mit seinen Blöcken erklärt. Auxilary Classifier erwähnt und erklärt. \\ | + | > GoogleNet mit seinen Blöcken erklärt. Auxilary Classifier erwähnt und erklärt. \\ |
Prof. Maier: Wie funktionieren Residuals? \\ | Prof. Maier: Wie funktionieren Residuals? \\ | ||
- | ResNet mit seinen Skip Connections erklärt. \\ | + | > ResNet mit seinen Skip Connections erklärt. \\ |
Prof. Maier: Wieso ist das denn so wie Ensembling? \\ | Prof. Maier: Wieso ist das denn so wie Ensembling? \\ | ||
- | Ensembling erst erklärt und dann anhand einer simplen Grafik gezeigt, dass das Netzwerk aus mehreren Möglichkeiten wählt und sogesehen mehrere Verbindungen gleichzeitig erlernt, aber das ganze zusammengesetzt wird. \\ | + | > Ensembling erst erklärt und dann anhand einer simplen Grafik gezeigt, dass das Netzwerk aus mehreren Möglichkeiten wählt und sogesehen mehrere Verbindungen gleichzeitig erlernt, aber das ganze zusammengesetzt wird. \\ |
Prof. Maier: Unsupervised Learning. Wie funktionieren denn GANs? \\ | Prof. Maier: Unsupervised Learning. Wie funktionieren denn GANs? \\ | ||
- | Keine Ahnung... Vollkommen vergessen. \\ | + | > Keine Ahnung... Vollkommen vergessen. \\ |
Prof. Maier: Wie funktionieren denn Autoencoder? | Prof. Maier: Wie funktionieren denn Autoencoder? | ||
- | Encoding, Decoding, Informationskompression, | + | > Encoding, Decoding, Informationskompression, |
Prof. Maier: Was lernen die denn, wenn man genau die gleiche Menge an Neuronen hat? | Prof. Maier: Was lernen die denn, wenn man genau die gleiche Menge an Neuronen hat? | ||
- | Einheitsrepräsentation. \\ | + | > Einheitsrepräsentation. \\ |
Prof. Maier: Bitte mal doch mal ein Recurrent Netzwerk meiner Wahl hin. \\ | Prof. Maier: Bitte mal doch mal ein Recurrent Netzwerk meiner Wahl hin. \\ | ||
- | Gefragt, ob er danach noch eine Frage dazu stellt. Er hat gelacht und gemeint "Nein, das reicht dann schon." | + | > Gefragt, ob er danach noch eine Frage dazu stellt. Er hat gelacht und gemeint "Nein, das reicht dann schon." |
Also LSTM hingemalt und die Gates erklärt. \\ | Also LSTM hingemalt und die Gates erklärt. \\ | ||
Prof. Maier: Das war's auch schon! :) \\ | Prof. Maier: Das war's auch schon! :) \\ |