XGBoost: Das Kraftpaket der Machine-Learning-Algorithmen

Name

Rajiv Chandra

Updated on 1.6.2023

Das Gebiet des Machine Learning ist voll von leistungsstarken Algorithmen, aber nur wenige haben eine so transformative Wirkung wie das Extreme Gradient Boosting, allgemein bekannt als XGBoost. Tauchen wir ein in die Welt von XGBoost und enthüllen seine Geheimnisse.

Möchten Sie schnell eine Datenvisualisierung von Python Pandas Dataframe ohne Code erstellen?

PyGWalker ist eine Python-Bibliothek für die explorative Datenanalyse mit Visualisierung. PyGWalker (opens in a new tab) kann Ihre Jupyter Notebook-Datenanalyse und Visualisierung vereinfachen, indem es Ihren Pandas-DataFrame (und Polars-DataFrame) in eine tableauähnliche Benutzeroberfläche für die visuelle Exploration umwandelt.

(opens in a new tab)

Was ist XGBoost?

XGBoost (opens in a new tab) (Extreme Gradient Boosting) ist eine optimierte verteilte Gradient-Boosting-Bibliothek, die darauf ausgelegt ist, äußerst effizient, flexibel und portabel zu sein. XGBoost bietet ein paralleles Baum-Boosting (auch als GBDT, GBM bekannt), das viele Data-Science-Probleme schnell und genau löst. Der Name XGBoost bezieht sich jedoch tatsächlich auf das Ziel, die Grenzen der Rechenressourcen für Boosted-Tree-Algorithmen zu erweitern. Daher steht das "X" im Namen für "Extreme".

Was ist XGB?

XGB ist nur ein weiterer Begriff für XGBoost, der im Bereich Data Science synonym verwendet wird. Es steht für eXtreme Gradient Boosting und repräsentiert den gleichen Machine-Learning-Algorithmus. XGBoost (Extreme Gradient Boosting) ist eine robuste und ausgeklügelte Implementierung des Gradient-Boosting-Algorithmus. Es baut auf dem Prinzip des Boosting schwacher Lerner unter Verwendung der Architektur des Gradientenabstiegs auf. XGBoost zeichnet sich insbesondere durch seine Skalierbarkeit in allen Szenarien aus.

Der XGBoost-Algorithmus ist auch unglaublich vielseitig. Neben Regression, binärer Klassifikation und Ranking-Problemen unterstützt er auch benutzerdefinierte Ziel-Funktionen, die zur Lösung von Multiklassen-Klassifikationsproblemen verwendet werden können.

Wie funktioniert XGBoost?

Die Magie von XGBoost liegt in seiner Implementierung von Gradient Boosting-Algorithmen. Diese Algorithmen funktionieren, indem sie die Vorhersagen mehrerer einfacherer Modelle, auch bekannt als "schwache Lerner", kombinieren, um einen genaueren und robusteren "starken Lerner" zu erstellen. XGBoost verwendet speziell Entscheidungsbäume als schwache Lerner.

Hier ist eine vereinfachte Schritt-für-Schritt-Erklärung von XGBoost:

1. Zunächst erstellt XGBoost ein einfaches Modell (einen Baum) und gibt Vorhersagen für die Trainingsdaten aus.
2. Anschließend berechnet es die Fehler dieser Vorhersagen im Vergleich zu den tatsächlichen Werten.
3. XGBoost erstellt einen weiteren Baum, um diese Fehler vorherzusagen und zu korrigieren.
4. Der Prozess wiederholt sich, wobei jeder neue Baum erstellt wird, um die Fehler des vorherigen Baums zu korrigieren. Dies wird als "Boosting" bezeichnet.
5. Schließlich werden die Vorhersagen aller Bäume addiert, um die endgültigen Vorhersagen zu machen.

Der "Gradient" beim Gradient Boosting bezieht sich auf die Verwendung des Gradientenabstiegs, einer numerischen Optimierungstechnik, zur Minimierung der Fehler des Modells. Dies verleiht XGBoost seine Kraft und Flexibilität und ermöglicht es, eine Vielzahl von benutzerdefinierten Verlustfunktionen zu optimieren und eine breite Palette von Regressions- und Klassifikationsproblemen zu behandeln.

XGBoost Predictor und Regression

XGBoost glänzt sowohl in Klassifikationsaufgaben, bei denen das Ziel darin besteht, ein kategoriales Ergebnis vorherzusagen, als auch in Regressionsaufgaben, bei denen ein kontinuierliches Ergebnis vorhergesagt wird. Ein XGBoost Predictor ist das finale Modell, das Vorhersagen basierend auf der gelernten Kombination schwacher Lerner macht.

Um dies zu veranschaulichen, betrachten wir ein einfaches Beispiel für XGBoost-Regression in Python:

import xgboost as xgb
from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error
 
# Laden der Daten
boston = load_boston()
X, y = boston.data, boston.target
 
# Aufteilung der Daten in Trainings- und Testsets
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=123)
 
# Initialisieren und Anpassen des Modells
xg_reg = xgb.XGBRegressor(objective ='reg:squarederror', colsample_bytree = 0.3, learning_rate = 0.1, max_depth = 5, alpha = 10, n_estimators = 10)
xg_reg.fit(X_train, y_train)
 
# Vorhersagen
preds = xg_reg.predict(X_test)
 
# Berechnung des RMSE
rmse = np.sqrt(mean_squared_error(y_test, preds))
print("RMSE: %f" % (rmse))

Dieser Code zeigt, wie XGBoost für Regressionsaufgaben verwendet werden kann. Die Flexibilität von XGBoost erstreckt sich auf verschiedene Bereiche und hat es zu einem leistungsstarken Werkzeug im Toolkit von Data Scientists gemacht.

XGBoost erklärt: Tiefergehende Erklärung

Im Kontext des Machine Learning taucht oft die Frage auf, "wie funktioniert XGBoost?" Um dies zu verstehen, ist es wichtig zu erkennen, dass XGBoost auf dem Rahmenwerk des Boostings basiert. Boosting ist eine Ensemble-Technik, bei der neue Modelle hinzugefügt werden, um die Fehler der vorhandenen Modelle zu korrigieren.

Die Schlüsselidee hinter XGBoost besteht darin, dass wir das Boosting-Framework, das dem AdaBoost zugrunde liegt, verwenden können und es auf beliebige differenzierbare Verlustfunktionen anwenden können. Dies macht XGBoost für eine Vielzahl von Regressions- und Klassifikationsproblemen anwendbar. Der Hauptvorteil von XGBoost besteht in seiner überlegenen Ausführungsgeschwindigkeit und Modellleistung. Es verfügt auch über eine integrierte Regularisierung, die dazu beiträgt, Überanpassung zu verhindern. XGBoost ist auch in der Lage, fehlende Werte zu behandeln, und es bietet verschiedene Möglichkeiten, Ausreißer zu behandeln. Es unterstützt parallele Verarbeitung, ist äußerst flexibel und portabel. Es kann auf Hadoop, AWS, Azure, GCE und vielen anderen Plattformen ausgeführt werden.

Allerdings hat XGBoost wie jeder andere Algorithmus auch seine Schwächen. Es kann ziemlich speicherintensiv sein und die rechnerische Komplexität kann bei sehr großen Datensätzen hoch sein. Im Vergleich zu einfacheren Modellen wie der linearen Regression oder Entscheidungsbäumen fehlt es auch an Interpretierbarkeit.

Fazit

Zusammenfassend ist XGBoost ein äußerst effizienter, flexibler und leistungsstarker Algorithmus, der in der Lage ist, viele komplexe Lernprobleme zu lösen. Das Verständnis für ihn und die Feinabstimmung seiner Hyperparameter kann Sie zu einem weitaus effektiveren Data Scientist machen.