Данные для модели

В машинном обучении данные играют решающую роль в обучении и разработке моделей. Чтобы подать данные в модель, они обычно организуются в структурированном формате, известном как набор данных (DataFrame в pandas).

Набор данных состоит из двух основных частей: 

• Признаки (Features) — набор столбцов, которые представляют собой набор данных
• Целевая переменная (Target variable) — представляет собой выходные данные или значение, которое модель стремится предсказать или оценить.

Например, вот таблица Weather

Предположим, мы хотим узнать, пойдет ли дождь; тогда признаками будут degrees, humidity, wind, а целевой переменной — is_rain.

Признаки обозначаются как <strong>X</strong>, а целевая переменная — как <strong>y</strong>.
Целевая переменная (<strong>y</strong>) может содержать любой тип данных: число, логическое значение, строку и т. д.

В процессе обучения модель использует признаки в качестве входных данных, а целевую переменную — в качестве эталонного значения (ground truth) или правильного ответа.

Без целевой переменной у модели не было бы возможности узнать, верны ее предсказания или нет.

Существует множество различных вариаций структуры наборов данных:

• Много признаков, одна целевая переменная
• Один признак, одна целевая переменная
• Много признаков, много целевых переменных
• Мало признаков, одна или несколько целевых переменных
• Нет целевой переменной
• Данные временных рядов
• и т. д.

Обучение с учителем (Supervised learning) включает наборы данных с парами «вход-выход», где алгоритм учится сопоставлять входные данные с соответствующими целевыми переменными.

Обучение без учителя (Unsupervised learning) не предполагает наличия целевых переменных; вместо этого оно ищет закономерности или структуру во входных данных без размеченных примеров.

крайне важно убедиться, что целевая переменная независима от других столбцов, так как любая зависимость может привести к утечке данных (data leakage) и привести к обманчиво высокой производительности во время обучения. По-настоящему прогностическая модель должна обучаться на признаках, которые не связаны напрямую с целью, сохраняя таким образом целостность и обобщающую способность предсказаний модели.

Независимая целевая переменная не может быть напрямую вычислена или получена из других столбцов вашего набора данных; это то, что вы стремитесь предсказать.