Что хотят услышать интервьюеры:

PII в датасете нужно выявлять, минимизировать и защищать на каждом этапе подготовки данных. Обычно ожидают упоминания маскирования, псевдонимизации, контроля доступа и принципа минимально необходимого набора данных. Важно показать, что безопасность и соответствие требованиям учитываются ещё до обучения модели.

Определение:

PII (Personally Identifiable Information) — это персональные данные, по которым можно прямо или косвенно идентифицировать человека: имя, email, телефон, паспортные данные, адрес, идентификаторы и иногда комбинации признаков. При подготовке датасета с PII задача состоит не только в удалении очевидных полей, но и в предотвращении повторной идентификации через косвенные признаки. Для этого применяют анонимизацию, псевдонимизацию, маскирование, агрегацию и строгие правила доступа.

Пример использования:

Допустим, нужно подготовить датасет обращений в поддержку для обучения модели классификации тикетов. Из выгрузки удаляют текст с явными контактами, заменяют email и телефон на суррогатные значения, а идентификатор клиента — на случайный токен.

import re
import hashlib

def mask_email(text: str) -> str:
    return re.sub(r'[\w\.-]+@[\w\.-]+\.\w+', '[EMAIL]', text)

def mask_phone(text: str) -> str:
    return re.sub(r'\+?\d[\d\s\-\(\)]{8,}\d', '[PHONE]', text)

def pseudonymize(user_id: str) -> str:
    return hashlib.sha256(user_id.encode()).hexdigest()[:12]

row = {
    "user_id": "123456",
    "message": "Здравствуйте, мой email ivan.petrov@example.com и телефон +7 (999) 123-45-67."
}

clean_message = mask_phone(mask_email(row["message"]))
token = pseudonymize(row["user_id"])

print(token)         # например: '8d969eef6ecb'
print(clean_message) # 'Здравствуйте, мой email [EMAIL] и телефон [PHONE].'

Пояснение кода:

Код показывает базовую обработку PII перед попаданием данных в датасет. Сначала из текстового поля регулярными выражениями убираются email и телефон, чтобы модель не обучалась на персональных контактах. Затем user_id преобразуется в хэш-токен, чтобы сохранить возможность связывать записи между собой без раскрытия исходного идентификатора. На практике такие функции дополняют словарями для адресов, паспортных шаблонов, имен и проверками на утечки в логах и выгрузках.

Ключевые моменты:

Удалять нужно не только явные PII-поля, но и косвенные идентификаторы, которые в совокупности позволяют деанонимизировать человека.
Маскирование и псевдонимизация решают разные задачи: маскирование скрывает данные, псевдонимизация сохраняет связность записей.
Перед обучением важно проверить, не попадают ли PII в текстовые признаки, логи, метаданные, названия файлов и train/test split.
Доступ к сырому датасету должен быть ограничен, а работа с ним — по принципу минимально необходимого объёма.
Для разных сценариев нужны разные подходы: для аналитики часто достаточно агрегации, для ML — чаще псевдонимизация или редактирование текста.
Нужно учитывать требования комплаенса и внутренней политики компании по хранению, передаче и удалению персональных данных.

Какие особенности работы с PII при подготовке датасета?