Du befindest dich hier: FSI Informatik » Prüfungsfragen und Altklausuren » Hauptstudiumsprüfungen » Lehrstuhl 5 » Allgemein
Unterschiede
Hier werden die Unterschiede zwischen zwei Versionen der Seite angezeigt.
Beide Seiten, vorherige ÜberarbeitungVorherige ÜberarbeitungNächste Überarbeitung | Vorherige Überarbeitung | ||
pruefungen:hauptstudium:ls5:dl200219 [20.02.2019 14:48] – Cerox | pruefungen:hauptstudium:ls5:dl200219 [20.02.2019 14:51] (aktuell) – Cerox | ||
---|---|---|---|
Zeile 4: | Zeile 4: | ||
====== Fragen ====== | ====== Fragen ====== | ||
- | Prof. Maier: Geben Sie doch bitte einen Überblick über die Themen der Vorlesung. | + | Prof. Maier: Geben Sie doch bitte einen Überblick über die Themen der Vorlesung. |
- | Mindmap gemalt mit allen Themen. | + | > Mindmap gemalt mit allen Themen. |
- | Prof. Maier: Zu Anfangs gab es ja das Rosenblatt Perzeptron. Was konnte das denn? | + | Prof. Maier: Zu Anfangs gab es ja das Rosenblatt Perzeptron. Was konnte das denn? \\ |
- | Perzeptron erklärt, mehrere Inputs, ein Output, weil Sign function. | + | > Perzeptron erklärt, mehrere Inputs, ein Output, weil Sign function. |
- | Prof. Maier: Und was war das Problem? | + | Prof. Maier: Und was war das Problem? |
- | XOR nicht lösbar. | + | > XOR nicht lösbar. |
- | Prof. Maier: Was hat man dann gemacht? | + | Prof. Maier: Was hat man dann gemacht? |
- | MLP -> Universal Function Approximator und Universal Approximation Theorem | + | > MLP -> Universal Function Approximator und Universal Approximation Theorem |
- | Prof. Maier: Okay, welche Aktivierungsfunktionen gibt es denn? | + | Prof. Maier: Okay, welche Aktivierungsfunktionen gibt es denn? \\ |
- | Bspw. Sign. | + | > Bspw. Sign. \\ |
- | Prof. Maier: Was ist denn bei der das Problem? | + | Prof. Maier: Was ist denn bei der das Problem? |
- | Es gibt keine wirklichen Gradienten, außer man landet genau in 0, dann ist die Steigung 1, ansonsten immer 0 -> schlecht für Training. | + | > Es gibt keine wirklichen Gradienten, außer man landet genau in 0, dann ist die Steigung 1, ansonsten immer 0 -> schlecht für Training. |
- | Prof. Maier: Andere Aktivierungsfunktionen? | + | Prof. Maier: Andere Aktivierungsfunktionen? |
- | Sigmoid, Tanh, ReLU. | + | > Sigmoid, Tanh, ReLU. \\ |
- | Prof. Maier: Vor- und Nachteile? Wieso ist ReLU besser? | + | Prof. Maier: Vor- und Nachteile? Wieso ist ReLU besser? |
- | ReLU ist robuster, weil Sie nicht so saturiert, wie bspw. Sigmoid/ | + | > ReLU ist robuster, weil Sie nicht so saturiert, wie bspw. Sigmoid/ |
- | Prof. Maier: Wie können wir denn feststellen, | + | Prof. Maier: Wie können wir denn feststellen, |
- | Loss | + | > Loss \\ |
- | Prof. Maier: Wie haben wir denn den Loss immer bestimmt? | + | Prof. Maier: Wie haben wir denn den Loss immer bestimmt? |
- | Cross-Entropy und Maximum Log Likelihood erklärt, sowie wie das zustande kommt. | + | > Cross-Entropy und Maximum Log Likelihood erklärt, sowie wie das zustande kommt. |
- | Prof. Maier: Und was kann sonst noch so passieren, zB bei ReLU | + | Prof. Maier: Und was kann sonst noch so passieren, zB bei ReLU \\ |
- | Dying ReLUs, also Vanishing Gradients (/repektive Exploding) | + | > Dying ReLUs, also Vanishing Gradients (/repektive Exploding) |
- | Prof. Maier: Wie kann man das denn überwachen? | + | Prof. Maier: Wie kann man das denn überwachen? |
- | 3. Datenset, das nur zur Überwachung dient und so etwas wie Gradienten überwacht, ob die passen usw. | + | > 3. Datenset, das nur zur Überwachung dient und so etwas wie Gradienten überwacht, ob die passen usw. \\ |
- | Prof. Maier: Wie kann man das noch überprüfen? | + | Prof. Maier: Wie kann man das noch überprüfen? |
- | Anhand des Losses. | + | > Anhand des Losses. |
- | Prof. Maier: Wie sehen die Kurven aus? | + | Prof. Maier: Wie sehen die Kurven aus? \\ |
- | Hingemalt. | + | > Hingemalt. |
- | Prof. Maier: Wie funktionieren denn Inception Blöcke? | + | Prof. Maier: Wie funktionieren denn Inception Blöcke? |
- | GoogleNet mit seinen Blöcken erklärt. Auxilary Classifier erwähnt und erklärt. | + | > GoogleNet mit seinen Blöcken erklärt. Auxilary Classifier erwähnt und erklärt. |
- | Prof. Maier: Wie funktionieren Residuals? | + | Prof. Maier: Wie funktionieren Residuals? |
- | ResNet mit seinen Skip Connections erklärt. | + | > ResNet mit seinen Skip Connections erklärt. |
- | Prof. Maier: Wieso ist das denn so wie Ensembling? | + | Prof. Maier: Wieso ist das denn so wie Ensembling? |
- | Ensembling erst erklärt und dann anhand einer simplen Grafik gezeigt, dass das Netzwerk aus mehreren Möglichkeiten wählt und sogesehen mehrere Verbindungen gleichzeitig erlernt, aber das ganze zusammengesetzt wird. | + | > Ensembling erst erklärt und dann anhand einer simplen Grafik gezeigt, dass das Netzwerk aus mehreren Möglichkeiten wählt und sogesehen mehrere Verbindungen gleichzeitig erlernt, aber das ganze zusammengesetzt wird. \\ |
- | Prof. Maier: Unsupervised Learning. Wie funktionieren denn GANs? | + | Prof. Maier: Unsupervised Learning. Wie funktionieren denn GANs? \\ |
- | Keine Ahnung... Vollkommen vergessen. | + | > Keine Ahnung... Vollkommen vergessen. |
- | Prof. Maier: Wie funktionieren denn Autoencoder? | + | Prof. Maier: Wie funktionieren denn Autoencoder? |
- | Encoding, Decoding, Informationskompression, | + | > Encoding, Decoding, Informationskompression, |
Prof. Maier: Was lernen die denn, wenn man genau die gleiche Menge an Neuronen hat? | Prof. Maier: Was lernen die denn, wenn man genau die gleiche Menge an Neuronen hat? | ||
- | Einheitsrepräsentation. | + | > Einheitsrepräsentation. |
- | Prof. Maier: Bitte mal doch mal ein Recurrent Netzwerk meiner Wahl hin. | + | Prof. Maier: Bitte mal doch mal ein Recurrent Netzwerk meiner Wahl hin. \\ |
- | Gefragt, ob er danach noch eine Frage dazu stellt. Er hat gelacht und gemeint "Nein, das reicht dann schon." | + | > Gefragt, ob er danach noch eine Frage dazu stellt. Er hat gelacht und gemeint "Nein, das reicht dann schon." |
- | Also LSTM hingemalt und die Gates erklärt. | + | Also LSTM hingemalt und die Gates erklärt. |
- | Prof. Maier: Das war's auch schon! :) | + | Prof. Maier: Das war's auch schon! :) \\ |