Boş pozisyon hakkında
Яндекс ищет разработчика на Python для развития платформы майнинга данных. В задачах — масштабирование парсинг-платформы, интеграция LLM и NLP, обработка данных и оптимизация критичных компонентов на C++.
Задачи
- Развивать и оптимизировать архитектуру парсинг-платформы для одновременной работы сотен парсеров.
- Реализовывать изолированную среду выполнения парсеров.
- Повышать эффективность взаимодействия с PostgreSQL.
- Создавать пайплайн автоматического перевода контента и разметки данных с помощью языковых моделей.
- Адаптировать и настраивать YandexGPT и другие языковые модели под бизнес-задачи.
- Адаптировать платформу для новых стран и языков.
- Организовывать обработку данных через YTsaurus MapReduce и внутренний аналог AirFlow.
- Разрабатывать методы сравнения и нормализации атрибутов организаций.
- Ускорять критичные компоненты системы на C++.
Условия
Формат работы: гибрид.
Компания
Яндекс