Эксперимент показал, что изменение параметра random_state при разбиении данных существенно влияет на метрики качества моделей машинного обучения. На искусственном датасете из 1200 объектов с 20 признаками точность одного и того же дерева решений варьировалась от 64% до 79,33% при 100 различных случайных разбиениях.
Исследование выделяет два источника вариативности: состав обучающей и тестовой выборок, а также внутренние случайные процессы алгоритмов. Для модели Random Forest при фиксации данных и изменении только внутреннего seed разброс точности составил 4,33 процентного пункта за 30 запусков.
Автор предостерегает от выбора random_state по максимальному значению метрики, так как это приводит к утечке информации из тестовой выборки. Для получения устойчивых оценок рекомендуется использовать кросс-валидацию. При 5-кратной стратифицированной кросс-валидации средняя точность логистической регрессии составила 73,83%, а дерева решений — 71,58%.
Сравнение моделей на одном случайном разбиении признано ненадежным методом. Относительное качество алгоритмов может меняться в зависимости от состава тестового подмножества, поэтому небольшая разница в точности на одном сплите не гарантирует устойчивого преимущества одной модели над другой.
