XGBoost: 기계 학습 알고리즘의 파워하우스

Name: Rajiv Chandra

Updated on 2023. 6. 1.

기계 학습에는 강력한 알고리즘이 가득하지만, XGBoost(Extreme Gradient Boosting)와 같이 혁신적인 영향을 미친 것은 몇 없습니다. XGBoost의 세계로 들어가서 비밀을 해결해 봅시다.

파이썬 판다스 데이터프레임에서 노 코드로 데이터 시각화를 빠르게 생성해 보고 싶은가요?

PyGWalker는 시각적 탐색적 데이터 분석을 위한 파이썬 라이브러리입니다. PyGWalker (opens in a new tab)는 팬더스 데이터프레임(및 폴라 데이터프레임)을 태블로 스타일의 사용자 인터페이스로 변환하여 Jupyter Notebook 데이터 분석 및 데이터 시각화 워크 플로우를 간소화할 수 있습니다.

(opens in a new tab)

XGBoost란?

XGBoost (opens in a new tab)(Extreme Gradient Boosting)는 높은 효율성, 유연성 및 이식성을 제공하도록 설계된 최적화 된 분산 그래디언트 부스팅 라이브러리입니다. XGBoost는 빠르고 정확한 분산 트리 부스팅(GBDT, GBM이라고도 함)을 제공하여 많은 데이터 과학 문제를 해결합니다. 그러나 이름에서 알 수 있듯이, "X"는 부스팅 알고리즘의 계산 리소스 한계를 극한으로 밀어 내기 위한 기술적 목표를 의미합니다. 따라서 이름에 있는 "X"는 "Extreme"를 나타냅니다.

XGBoost란 무엇인가?

XGB는 데이터 과학 분야에서 교환 가능하게 사용되는 XGBoost의 다른 용어입니다. 이는 eXtreme Gradient Boosting을 의미하며 동일한 기계 학습 알고리즘을 나타냅니다. XGBoost(극한 경사 부스팅)는 그래디언트 부스팅 알고리즘의 견고하고 복잡한 구현입니다. 그것은 기울기 하강 구조를 사용하여 약한 학습자를 부스팅하여 더 정확하고 강력한 "강한 학습자"를 만드는 원칙에 기반하고 있습니다. XGBoost는 모든 시나리오에서 확장 가능성으로 인해 빛납니다.

XGBoost 알고리즘은 매우 다재다능합니다. 회귀, 이진 분류 및 랭킹 문제 외에도 몇 가지 사용자 정의 목적 함수를 지원하여 다중 클래스 분류 문제를 해결하는 데 사용할 수 있습니다.

XGBoost는 어떻게 작동합니까?

XGBoost의 마술은 그래디언트 부스팅 알고리즘의 구현에 있습니다. 이러한 알고리즘은 "약한 학습자"라고도 하는 여러 간단한 모델의 예측을 결합하여 보다 정확하고 강력한 "강한 학습자"를 만듭니다. XGBoost는 특히 이러한 약한 학습자로 결정 트리를 사용합니다.

다음은 단순화된 XGBoost 설명의 단계별 요약입니다.

처음에 XGBoost는 교육 데이터에 대한 예측을 수행하는 간단한 모델(트리)을 만듭니다.
그런 다음 이러한 예측의 오류를 실제 값과 비교하여 계산합니다.
XGBoost는 다른 트리를 구축하여 이러한 오류를 예측하고 교정합니다.
프로세스는 각 새로운 트리가 이전 것의 오류를 보정하도록 구축될 때마다 반복됩니다. 이는 "부스팅"이라고합니다.
마지막으로, 모든 트리의 예측을 더하여 최종 예측을 수행합니다.

그래디언트 부스팅의 "그래디언트"은 알고리즘의 숫자 최적화 기술인 기울기 하강법의 사용을 나타냅니다. 이는 XGBoost에 그 힘과 유연성을 부여하여 다양한 사용자 정의 손실 함수를 최적화하고 다양한 회귀 및 분류 문제를 다루도록합니다.

XGBoost 예측 및 회귀

XGBoost는 범주형 결과를 예측하는 경우인 분류 작업 및 연속 결과를 예측하는 경우인 회귀 작업 모두에서 빛납니다. XGBoost 예측기는 약한 학습자의 배움 조합에 따라 예측을 수행하는 최종 모델입니다.

예를 들어, 파이썬에서 XGBoost 회귀의 간단한 예를 고려해 보겠습니다.

import xgboost as xgb
from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error
 
# 데이터 로드 
boston = load_boston()
```X, y = boston.data, boston.target
 
# 데이터를 훈련 및 테스트 세트로 분할
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=123)
 
# 모델 초기화 및 피팅
xg_reg = xgb.XGBRegressor(objective ='reg:squarederror', colsample_bytree = 0.3, learning_rate = 0.1, max_depth = 5, alpha = 10, n_estimators = 10)
xg_reg.fit(X_train, y_train)
 
# 예측하기
preds = xg_reg.predict(X_test)
 
# RMSE 계산하기
rmse = np.sqrt(mean_squared_error(y_test, preds))
print("RMSE: %f" % (rmse))

이 코드는 회귀 작업에 대해 XGBoost를 사용하는 방법을 보여줍니다. XGBoost의 유연성은 다양한 도메인에서 확장되어 데이터 과학자의 도구 상자에서 강력한 도구가 되었습니다.

XGBoost 설명: 더 깊게 파헤쳐보기

기계 학습의 문맥에서 "XGBoost는 어떻게 작동하는가?"라는 공통 질문이 제기됩니다. 이를 이해하려면 XGBoost가 부스팅 프레임 워크를 기반으로 한다는 사실을 깨닫는 것이 중요합니다. 부스팅은 기존 모델의 오류를 수정하기 위해 새로운 모델을 추가하는 앙상블 기술입니다.

XGBoost의 핵심 아이디어는 부스팅 프레임 워크를 AdaBoost의 핵심에 사용하고 서로 다른 가능한 손실 함수에 적용할 수 있다는 것입니다. 이를 통해 XGBoost는 광범위한 회귀 및 분류 문제에 적용 가능해집니다.

XGBoost의 주요 장점은 우수한 실행 속도와 모델 성능입니다. 또한, 오버피팅을 방지하기 위한 내장 정규화를 갖추고 있습니다. XGBoost는 결측값을 처리하는 것이 가능하며, 이상치를 처리하는 다양한 방법을 제공합니다. 병렬 처리를 지원하며 매우 유연하고 이식성이 높습니다. Hadoop, AWS, Azure, GCE 등 다양한 플랫폼에서 실행할 수 있습니다.

그러나, 다른 알고리즘과 마찬가지로, XGBoost에는 단점이 있습니다. 매우 대용량 데이터셋의 경우, 메모리 사용량이 높을 수 있으며, 계산 복잡성도 높을 수 있습니다. 또한, 선형 회귀 또는 의사 결정 나무와 같은 간단한 모델과 비교하여 해석 가능성이 부족합니다.

결론

결론적으로, XGBoost는 복잡한 학습 문제를 해결할 수 있는 효율적이고 유연하며 강력한 알고리즘입니다. 이해하고 하이퍼 파라미터를 조정하는 방법은 데이터 과학자로서 더욱 효과적일 수 있습니다.