Случвало ли ви се е да има теч на данни при обучението на модела?

Да, течът на данни (data leakage) по време на обучението на модел е често срещан проблем, когато информация, която не е налична в реалните условия на използване на модела, попада в обучаващите данни. Това води до пренасищане и преоценка на качеството.

Пример: при прогнозиране на кредитен риск, в обучаващия набор може да има характеристика, която е пряко свързана с решението за отпускане на кредит (например статус на одобрение), която в реалния живот не е известна към момента на предсказването.

За да избегнете теч на данни, е важно:

• Ясно да разделяте обучаващите и тестовите данни по време или други критерии.
• Да изключите характеристики, които съдържат информация за целевата променлива или бъдещи събития.
• Да извършите задълбочен анализ на характеристиките и бизнес логиката.

На практика съм се сблъсквал с течове при работа с времеви редове, когато данни от бъдещето случайно попадат в обучаващия набор, което води до нереалистично високи метрики.