XGBoost: 機械学習アルゴリズムのパワーハウス

Name: Rajiv Chandra

Updated on 2023/6/1

機械学習には強力なアルゴリズムがたくさんありますが、その中でもXGBoost (Extreme Gradient Boosting) は、影響が大きかったアルゴリズムの1つです。XGBoost の世界に飛び込んで謎を解きましょう。

Python Pandas Dataframe からコードなしで簡単にデータ視覚化を作成したいですか？

PyGWalker は、Visualization を伴う Exploratory Data Analysis のための Python ライブラリです。 PyGWalker (opens in a new tab) を使用することで、Pandas Dataframe (および polars Dataframe) を Tableau スタイルのユーザーインターフェースに変換し、視覚的な探索を簡素化できます。

(opens in a new tab)

XGBoost とは何か？

XGBoost (opens in a new tab) (Extreme Gradient Boosting) は、高度に効率的で、柔軟性とポータビリティが高い最適化された分散勾配ブーストライブラリです。XGBoost は、データサイエンスの多くの問題を迅速かつ正確に解決する並列ツリーブースト(または GBDT、GBM) を提供します。名前の XGBoost は、ブーストされたツリーアルゴリズムの計算リソースの上限に対してエンジニアリングの目標を設定することを目的としています。従って、名前の「X」は「エクストリーム」を示しています。

XGB とは？

XGB は、データサイエンスの世界で交換可能に使用される、XGBoost の別の用語です。eXtreme Gradient Boosting を表し、同じ機械学習アルゴリズムを表します。XGBoost (Extreme Gradient Boosting) は、勾配降下方式を使用して、弱学習器をブーストして多様な問題を解決する強力で精緻な勾配ブーストアルゴリズムです。XGBoost は、すべてのシナリオでスケーラビリティを発揮するために特にすぐれています。

XGBoost アルゴリズムは非常に多様です。回帰、2値分類、ランキング問題に加えて、マルチクラス分類問題を解くために使用できるユーザー定義目的関数をサポートしています。

XGBoost はどのように機能するのか？

XGBoost の魔法は、勾配ブーストアルゴリズムの実装にあります。これらのアルゴリズムは、いくつかのより単純なモデル (「弱い学習器」とも呼ばれます) の予測を組み合わせて、より正確で堅牢な「強い学習器」を作成します。XGBoost は、弱学習器として決定木を採用しています。

ここでは、簡略化された XGBoost の説明を示します。

最初に、XGBoost はトレーニングデータに基づいて予測を行う単純なツリーモデルを構築します。
予測値と実際値の誤差を計算します。
誤差を予測し修正するために、XGBoost はもう1つのツリーを構築します。
このプロセスを繰り返し、新しいツリーは前のツリーの誤差を修正するために構築されます。これが「ブースティング」と呼ばれます。
最後に、すべてのツリーの予測を合算して最終予測を行います。

「勾配」とは、アルゴリズムが勾配降下法という数値最適化技術を使用して、モデルの誤差を最小化することを示しています。これにより、XGBoost は多様なユーザー定義損失関数を最適化し、幅広い回帰および分類問題を処理できるパワーと柔軟性を備えています。

XGBoost プレディクターと回帰

XGBoost は、カテゴリカルな出力を予測することを目的とした分類タスクおよび連続値を予測する回帰タスクの両方でコンペティションメソッドを提供します。XGBoost プレディクターは、弱い学習器の学習に基づく予測を行う最終モデルです。

説明のために、Python における簡単な XGBoost 回帰の例を示します。

import xgboost as xgb
from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error
 
# Load the data
boston = load_boston()
```X、y = boston.data、boston.target
 
# データをトレーニングセットとテストセットに分割する
X_train、X_test、y_train、y_test = train_test_split（X、y、test_size = 0.2、random_state = 123）
 
# モデルを初期化して適合させる
xg_reg = xgb.XGBRegressor（objective ='reg: squarederror'、colsample_bytree = 0.3、learning_rate = 0.1、max_depth = 5、alpha = 10、n_estimators = 10）
xg_reg.fit（X_train、y_train）
 
# 予測
preds = xg_reg.predict（X_test）
 
# RMSEを計算する
rmse = np.sqrt（mean_squared_error（y_test、preds））
print（"RMSE：％f"％（rmse））

このコードは、回帰タスクにXGBoostを使用する方法を示しています。 XGBoostの柔軟性はさまざまなドメインに広がり、データサイエンティストのツールキットの中で強力なツールとなっています。

XGBoostの解説：深く掘り下げる

機械学習の文脈でよく出てくる質問の1つは、「XGBoostはどのように機能するのか？」というものです。これを理解するためには、XGBoostがブースティングの枠組みに基づいていることを認識することが重要です。ブースティングとは、既存のモデルが犯したエラーを修正するために新しいモデルが追加されるアンサンブル技術です。

XGBoostの背後にある主要なアイデアは、ブースティングフレームワークをAdaBoostの中心に拡張し、任意の微分可能な損失関数に適用できることです。これにより、XGBoostはさまざまな回帰および分類問題に適用できます。

XGBoostの主な*利点は、優れた実行速度とモデルの性能です。過学習を防ぐのに役立つ組み込みの正則化もあります。 XGBoostは欠損値を扱うことができ、外れ値を処理するための様々な方法を提供します。並列処理をサポートし、非常に柔軟でポータブルです。 Hadoop、AWS、Azure、GCEなどのプラットフォームで実行できます。

ただし、他のアルゴリズムと同様に、*XGBoostには欠点があります。 *非常に大きなデータセットに対しては、かなりメモリ集約型であり、計算量も高くなる場合があります。また、線形回帰や決定木などのより単純なモデルに比べ、解釈性が劣ることもあります。

結論

XGBoostは、多くの複雑な学習問題を解決できる高度に効率的で柔軟かつ強力なアルゴリズムです。その理解とハイパーパラメーターの微調整により、より効果的なデータサイエンティストになることができます。