Du befindest dich hier: FSI Informatik » Prüfungsfragen und Altklausuren » Hauptstudiumsprüfungen » Lehrstuhl 5 » dl-august-19_2
Wie funktioniert Rosenblatt Perceptron?
y^ = sign(wTx) Bild aufgemalt x1 - w1 \ x2 - w2 - Sigma - Signum x3 - w3 / lediglich binäre Klassifizierung {-1, +1}
Bitte Universal Function Approximator erklären.
F(x) = SIGMA(über Neuronen N) v_i * phi(w_iTx + b_i) Abhängig von N, v_i und w_i kann man alle stetigen Funktionen approximieren mit beliebig kleinem Fehler.
Wieso dann überhaupt Deep Neuronale Netze?
Universal Function Approximator sagt uns nicht, wie viele Neuronen (N) benötigt werden und es könnten ggf. unendlich viele sein. Außerdem viele viele Multiplikationen bei nur einer hidden layer ==> Performanz
Loss-Funktion - wahlweise Cross-Entropy-Loss oder L2-Loss herleiten.
Cross-Entropy-Loss: PI p_k^yk als Multinoulli dann L(w) = -SIGMA(über Samples M) log PI(über Vektorelemente k) p_k^(yk) L(w) = -SIGMA(über Samples M) log y^ | y_k,m = 1
Wie sieht dann Softmax-Loss aus?
Als y^ die Softmax-Funktion eingesetzt und hingeschrieben.
Wie sieht der Backpropagation-Algorithmus aus?
Das Bild x1 --> o --> y^ x2 --> dann dL/dx_1 = dL/dy^ * dy^/dx_1 Verkettung mittels Kettenregel.
Wie erkennt man Overfitting?
Aus den Daten drei Sets erstellen: Validation, Training und Test Diagramm aufgemalt mit Validation Loss und Training Loss. Dann wenn Validation Loss steigt und Training Loss sinkt, läuft man in Overfitting. Entgegenwirken mittels Regularizer / Early Stopping.
Können Sie bitte LSTM erklären?
Bild aufgemalt Forget-Gate und Input-Gate erklärt.
Wie funktioniert Segmentierung in DL? Eine Beispielarchitektur?
U-Net. Encoder-Decoder-Struktur mit Conv-Pooling im Encoder. Upsampling im Decoder (Unpooling oder Transposed Convolutions). Skip Connections.
Es war eine angenehme Prüfung. Wenn man sich bei einer Formel mal verzettelt hat, hilft Prof. Maier einem weiter. Bei Kleinigkeiten wirkt sich das meines Erachtens auch nicht negativ aus.