Du befindest dich hier: FSI Informatik » Prüfungsfragen und Altklausuren » Hauptstudiumsprüfungen » Lehrstuhl 5 » dl-august-19_2   (Übersicht)

no way to compare when less than two revisions

Unterschiede

Hier werden die Unterschiede zwischen zwei Versionen der Seite angezeigt.


pruefungen:hauptstudium:ls5:dl-august-19_2 [31.08.2019 09:54] (aktuell) – DL2019 nbabc26
Zeile 1: Zeile 1:
 +Wie funktioniert Rosenblatt Perceptron?
 + y^ = sign(wTx)
 +
 + Bild aufgemalt
 + x1 - w1 \
 + x2 - w2 - Sigma - Signum
 + x3 - w3 /
 +
 + lediglich binäre Klassifizierung {-1, +1}
  
 +Bitte Universal Function Approximator erklären.
 + F(x) = SIGMA(über Neuronen N) v_i * phi(w_iTx + b_i)
 +
 + Abhängig von N, v_i und w_i kann man alle stetigen Funktionen approximieren mit beliebig kleinem Fehler.
 +
 +Wieso dann überhaupt Deep Neuronale Netze?
 + Universal Function Approximator sagt uns nicht, wie viele Neuronen (N) benötigt werden und es könnten ggf. unendlich viele sein.
 +
 + Außerdem viele viele Multiplikationen bei nur einer hidden layer ==> Performanz
 +
 +Loss-Funktion - wahlweise Cross-Entropy-Loss oder L2-Loss herleiten.
 + Cross-Entropy-Loss:
 + PI p_k^yk als Multinoulli
 +
 + dann L(w) = -SIGMA(über Samples M) log PI(über Vektorelemente k) p_k^(yk)
 +
 + L(w) = -SIGMA(über Samples M) log y^ | y_k,m = 1
 +
 +Wie sieht dann Softmax-Loss aus?
 + Als y^ die Softmax-Funktion eingesetzt und hingeschrieben.
 +
 +Wie sieht der Backpropagation-Algorithmus aus?
 + Das Bild x1 --> 
 + o  --> y^
 +          x2 -->
 +
 + dann dL/dx_1 = dL/dy^ * dy^/dx_1
 +
 + Verkettung mittels Kettenregel.
 +
 +Wie erkennt man Overfitting?
 + Aus den Daten drei Sets erstellen: Validation, Training und Test
 +
 + Diagramm aufgemalt mit Validation Loss und Training Loss.
 +
 + Dann wenn Validation Loss steigt und Training Loss sinkt, läuft man in Overfitting.
 +
 + Entgegenwirken mittels Regularizer / Early Stopping.
 +
 +Können Sie bitte LSTM erklären?
 + Bild aufgemalt
 +
 + Forget-Gate und Input-Gate erklärt.
 +
 +Wie funktioniert Segmentierung in DL? Eine Beispielarchitektur?
 + U-Net.
 +
 + Encoder-Decoder-Struktur mit Conv-Pooling im Encoder.
 +
 + Upsampling im Decoder (Unpooling oder Transposed Convolutions).
 +
 + Skip Connections.
 +
 +Es war eine angenehme Prüfung. Wenn man sich bei einer Formel mal verzettelt hat, hilft Prof. Maier einem weiter. Bei Kleinigkeiten wirkt sich das meines Erachtens auch nicht negativ aus.