Расскажите про проект суммаризации докладов в Алросе: задача, подход, дообучение.

В проекте суммаризации докладов для компании Алроса стояла задача автоматизировать создание кратких и информативных резюме больших текстов докладов, чтобы экономить время сотрудников и улучшать доступ к ключевой информации.

Подход включал использование моделей обработки естественного языка (NLP), в частности, методов экстрактивной и абстрактивной суммаризации. Сначала была собрана и размечена база данных докладов и их кратких описаний. Затем на основе предобученных трансформеров (например, BERT или GPT) была дообучена модель на специфичных данных компании, чтобы повысить релевантность и точность суммаризации именно для корпоративной тематики.

Дообучение проходило с использованием техники transfer learning, где базовая модель адаптировалась к специфике текстов Алроса, что позволило улучшить качество итоговых резюме и сделать их более понятными и полезными для конечных пользователей.