Q: Wie funktioniert kNN?

Man benötigt normalisierte Daten + allgemeine Erklärung des Ablaufs des Algorithmus mit einem beliebig initialisierten Punkt.

Q: Was bedeutet normalized data?

Q: Wo liegt Punkt in ROC-Kurve?

Zwei Werte (Sensitivität, 1-Spezifität) berechnen (einfache Zahlen), ROC Diagramm aufzeichnen mit Achsenbeschriftung, Punkt aufmalen

Q: Wir hatten in der Vorlesung den Bayes Classifier, wann ist dieser optimal? Optimal w.r.t. 0-1-loss function

Q: Was bedeutet die Funktion bzw. was macht sie? Wurde obiges Beispiel mit Bayes Classifier klassifiziert?

Nein, da False Positives = 1000 und False Negatives = 1 → extrem unterschiedliche Werte, Average Loss wird hier nicht minimiert.

Q: AdaBoost, welcher Verlust wird hier betrachtet, Algorithmus erklären.

Error wird betrachtet, Algorithmus mit zugehörigen Formeln erklärt, auch wofür welche Gewichtungen sind (Featuregewicht und Klassifizierergewicht) und wie diese sich auf das Ergebnis auswirken

Q: Mit welcher Verlustfunktion wird im ersten Schritt initialisiert?

Erst erwähnt, dass AdaBoost eine exponentielle Verlustfunktion hat und die Gewichte der features am Anfang alle gleich mit 1/N gewichtet werden, jedoch wollte er hören, dass im ersten Schritt die 0-1-loss function vorliegt und danach zu einer exponentiellen wird

Q: Wie erhält man hier mit SVM was für eine Lösung?

Hard Margin Case mit Formeln und constraints genannt, auch genau darauf eingegangen was a ist und wieso man das minimiert

Q: Wie löst man das dann?

Lagrange multiplier, Formel hingeschrieben und KKT conditions erwähnt, sowie dass nur Support vectors Einfluss auf decision boundary haben. Unique solution

Q: SVM Beispiel mit überlappenden Mengen aufgezeichnet: Wie kann so etwas passieren?

Noise, wrong labels, Wichtigster Grund: features gehen verloren (z.B. nur 2 Merkmale zur Klassifizierung betrachtet, wobei ein anderes die Klassen eindeutiger voneinander trennen würde) SVM soft margin Optimierungsproblem und constraints Formeln hingeschrieben

Q: Wie beeinflussen Slack variables das Problem und erhält man Soft margin auch noch eine unique solution?

Je weiter weg Punkt von margin ist, desto höher gewichtet. Keine unique solution mehr, da in Optimierungsproblem Gewichtungsfaktor mü integriert ist (theoretisch immer unterschiedlich wählbar)

Q: Unterschied zu SVM – was macht man bei SVR?

Unterschied erklärt, Optimierungsproblem und Constraints mit Formeln genannt.