Loss Function (Verlustfunktion)

Kurzdefinition: Beim Training eines maschinellen Lernmodells geht es darum, die bestmögliche Leistung zu erzielen. Aber wie misst ein Modell, wie gut es ist?

Die Antwort liegt in der Loss Function (Verlustfunktion) . Sie bewertet, wie weit die Vorhersagen eines Modells von den tatsächlichen Werten entfernt sind, und dient als Grundlage für die Optimierung.

In diesem Artikel erkläre ich dir, wie Verlustfunktionen funktionieren, welche Typen es gibt und warum sie ein essenzieller Bestandteil des maschinellen Lernens sind.

Was ist eine Loss Function?

Definition Eine Loss Function ist eine mathematische Funktion, die den Fehler eines Modells misst. Sie gibt an, wie stark die Vorhersagen eines Modells von den tatsächlichen Ergebnissen abweichen.

Ziel der Loss Function Das Ziel des Trainingsprozesses ist es, den Wert der Loss Function zu minimieren, indem die Modellparameter angepasst werden. Beispiel Vorhersage: Ein Modell sagt 80 statt der tatsächlichen 100 voraus. Loss Function: Berechnet den Fehler als ∣100−80∣=20|100 - 80| = 20∣100−80∣=20.

Wie funktioniert eine Loss Function?

1. Eingabe Vorhersagen des Modells: Ergebnisse, die das Modell liefert. Wahre Werte: Tatsächliche Ergebnisse, z. B. Labels in einem Datensatz. 2. Fehlerbewertung Die Loss Function berechnet die Differenz zwischen Vorhersage und wahrem Wert. 3.

Optimierung Der Fehler wird als Feedback genutzt, um die Modellparameter durch Algorithmen wie den Gradientenabstieg anzupassen. Mathematische Darstellung Die Verlustfunktion L(y,y^)L(y, \hat{y})L(y,y^): yyy: Wahre Werte. y^\hat{y}y^: Vorhergesagte Werte.

Ziel: min⁡θL(y,y^)\min_{\theta} L(y, \hat{y})minθL(y,y^), wobei θ\thetaθ die Modellparameter sind.

Arten von Verlustfunktionen

1. Regression (kontinuierliche Werte) Mean Squared Error (MSE): Quadratischer Fehler, der große Abweichungen stärker bestraft. Formel: MSE=1n∑i=1n(yi−y^i)2MSE = \frac{1}{n} \sum_{i=1}^n (y_i - \hat{y}_i)^2MSE=n1∑i=1n(yi−y^i)2. Mean Absolute Error (MAE): Durchschnittlicher absoluter Fehler.

Formel: MAE=1n∑i=1n∣yi−y^i∣MAE = \frac{1}{n} \sum_{i=1}^n |y_i - \hat{y}i|MAE=n1∑i=1n∣yi−y^i∣. 2. Klassifikation (kategorische Werte) Cross-Entropy Loss: Häufig verwendet für Mehrklassenklassifikation. Formel: L=−∑i=1nyilog⁡(y^i)L = -\sum{i=1}^n y_i \log(\hat{y}_i)L=−∑i=1nyilog(y^i).

Hinge Loss: Verwendet in Support Vector Machines (SVMs). 3.