Regularization (Regularisierung)

Kurzdefinition: In der Welt des maschinellen Lernens ist Regularization (Regularisierung) eine entscheidende Technik, um Modelle robuster und leistungsfähiger zu machen.

Sie hilft, das Gleichgewicht zwischen Overfitting (Überanpassung) und Underfitting (Unteranpassung) zu finden, indem sie die Komplexität eines Modells kontrolliert und es an die zugrunde liegenden Daten anpasst.

In diesem Artikel erkläre ich dir, wie Regularization funktioniert, warum sie so wichtig ist und welche Techniken du in deinen KI-Projekten einsetzen kannst, um deine Modelle zu optimieren.

Was ist Regularization?

Definition Regularization ist eine Methode im maschinellen Lernen, die darauf abzielt, die Leistung eines Modells zu verbessern, indem sie Überanpassung (Overfitting) verhindert. Sie fügt der Verlustfunktion eine Strafe für komplexe Modellparameter hinzu, wodurch das Modell einfacher und allgemeiner wird.

Overfitting und Underfitting Overfitting: Das Modell lernt die Trainingsdaten zu gut, einschließlich des Rauschens, und generalisiert schlecht auf neue Daten. Underfitting: Das Modell ist zu einfach und kann die zugrunde liegenden Muster in den Daten nicht erfassen.

Regularization hilft, ein Gleichgewicht zwischen diesen beiden Extremen zu finden.

Wie funktioniert Regularization?

Regularization wird durch Hinzufügen eines Strafterms zur Verlustfunktion eines Modells implementiert. Dieser Strafterm kontrolliert die Größe oder Komplexität der Modellparameter. 1.

Verlustfunktion mit Regularization Die regulierte Verlustfunktion sieht typischerweise so aus: L(θ)=L0(θ)+λR(θ)L(\theta) = L_0(\theta) + \lambda R(\theta)L(θ)=L0(θ)+λR(θ) L0(θ)L_0(\theta)L0(θ): Ursprüngliche Verlustfunktion. λ\lambdaλ: Regularisierungsstärke (Hyperparameter).

R(θ)R(\theta)R(θ): Regularisierungsstrafe, z. B. die Norm der Gewichte. 2. Auswirkungen der Regularization Reduziert die Größe der Modellparameter, wodurch das Modell weniger komplex wird. Fördert Robustheit und Generalisierungsfähigkeit.

Arten von Regularization

1. L1-Regularization (Lasso) Fügt die Summe der absoluten Werte der Gewichte als Strafterm hinzu. Fördert Sparsamkeit im Modell, da einige Gewichte auf 0 gesetzt werden. Anwendung: Feature-Auswahl, da irrelevante Merkmale ausgeschlossen werden. 2.

L2-Regularization (Ridge) Fügt die Summe der quadrierten Werte der Gewichte hinzu. Bestraft große Gewichte und fördert eine gleichmäßige Verteilung.