Бэггинг: случайный лес и out-of-bag оценка

Одна модель ошибается. Сто моделей, ошибающихся по-разному, вместе ошибаются гораздо меньше. Это принцип ансамблей — комбинировать множество слабых моделей чтобы получить одну сильную. Random Forest, XGBoost, LightGBM, CatBoost — все победители kaggle-соревнований последних лет используют именно ансамблевые методы для табличных данных. Эта глава объясняет как работают два фундаментальных подхода: бэггинг (параллельные деревья) и бустинг (последовательные деревья), и как правильно подбирать гиперпараметры через кросс-валидацию.