Disclaimer: Dieser Thread wurde aus dem alten Forum importiert. Daher werden eventuell nicht alle Formatierungen richtig angezeigt. Der ursprüngliche Thread beginnt im zweiten Post dieses Threads.
PR-EM-Algorithmus
Hi,
ich war gerade dabei, PR zu lernen und habe mir nebenbei auch mal die Prüfungsprotokolle angeschaut. Viele berichten ja, dass 3 Gaußkurven gezeichnet wurden und man mithilfe des EM-Algorithmus den ersten Schritt durchführen soll. Allerdings ist der EM-Algorithmus nicht sehr intuitiv und ich tu mich richtig schwer, ihn praktisch anzuwenden. Kann mir jemand das Problem mit den Gaußkurven vielleicht anschaulich erklären? Ich wäre sehr dankbar dafür.
Gruß
Ist das hier noch relevant? Den ganzen Zusammenhang zu erklären wird mir fürs Tippen etwas zu lang, aber vielleicht bist du mittlerweile auch schon weiter gekommen.
Der EM-Algorithmus ist ein allgemeines iteratives Verfahren. Im ersten Schritt schätzt man die Parameter einer Verteilung (hier die der multivariaten Gaussverteilung der Samples über priors, mean und covariance) per Maximum Likelihood Estimation (normalerweise, MAP ginge aber auch). Im zweiten Schritt schätzt man eine Zuordnung mit Hilfe der Verteilung, für die man im ersten Schritt die Parameter geschätzt hat (in diesem Fall die Zuordnung jedes Samples zu einer Gausskurve, über die maximale Wahrscheinlichkeit p(k)*N(x; \mu_k, \Sigma_k), wobei p(k), \mu_k, \Sigma_k die zuvor geschätzten Parameter sind).
Im einen Schritt ändern sich die Parameter der PDFs, was eine Änderung der Zuordnung nach sich zieht. Ändert man die Zuordnung, ändert sich auch der ML-estimate der Parameter. Daher solange wiederholen, bis man ein lokales Optimum gefunden hat.
Die priors berechnest du ganz normal mit relativen Häufigkeiten, der Mittelwert ist auch klar und die \sigma bekommt man (wie den mean) per nach-diesem-Parameter-Ableiten und null setzen. Ich geh davon aus, dass das Ergebnis in den Folien steht.
Also mehr als die Parameter mit den Formeln ausrechnen (1.) und dann schauen, welche Gausskurve für welchen Sample den größten Wert hat (2.), ist es wohl nicht.
Ich hab’s mir so eben von dieser Reihe an YT Videos erklären lassen:
- The EM-Algorithm ← Motivation
- Gaussian Example ← Beispiel im 1D. Das mMn “wichtigste” Video zum Verstehen des Algorithmus
- Multivariate Gaussians 1
- Multivariate Gaussians 2
- How many Gaussians ← Glaub ist bei uns nichtmal mehr Stoff.
Im 2. Video rechnet er ein Beispiel im 1D vor. Er hat vor allem am Anfang irgendwelche technischen Schwierigkeiten dabei, aber verstanden hab ich’s damit trozdem. Hilft dir ja vielleicht auch.
Und noch ein Frage: Muss ich immer Gauss-Verteilungen nehmen? Geht doch mit jeder anderen Verteilung auch, oder? (Also v.a. dann wenn eine andere Verteilung vorliegt^^)
1 „Gefällt mir“
Den EM-Algorithmus kannst du auf alles Mögliche anwenden. Du musst es eben nur im EM-Framework formulieren können.
Danke für die Videos. Ich hatte immer eine vage Vorstellung vom EM-Algo, jetzt hab ich es echt verstanden!