Machine Learning / AI
Дана строка, содержащая буквы и цифры. Найдите максимальное число, встречающееся в строке (рассматривая последовательные цифры как единое число).
Что сейчас ищешь? Что важно по условиям и задачам?
Как ты любишь обучаться, читать? Есть ли пэт-проекты помимо Kaggle?
Если оптимальное количество деревьев для модели — 500, но мы случайно обучили и случайный лес, и бустинг на 1000 деревьях — какая из моделей скорее всего переобучится и почему?
Модель была в своём контуре или ходили по внешнему API?
По скорости, что будет быстрее — обычный агент с тулами или мультиагентная система?
Как маршрутизировались между агентами? Приведи пример условий переключения.
Ты сказал 200-250 тысяч чанков — это документы или связанные куски?
Какой чанкинг использовали и что это были за документы (Word, PDF, Excel и т.д.)?
Что любишь почитать? Может быть, авторов, блоги?
Можешь вкратце сказать, чему ценному там научился (в проекте с обращениями/OCR)?
А что было самым большим источником ошибок?
Каким инструментом делали структурный чанкинг документов?
Какой был размер чанка и делали ли overlap (перекрытие)?
Как трейсили всю мультиагентную систему — на каких этапах возникают ошибки, латентность и т.д.?
А что вообще оказалось сложнее, чем ожидалось изначально?
Про опыт из ПИК: NLP-классификатор обращений подрядчиков/инженеров. Много ли было обращений?
Почему в мультиагентной системе не использовали Human-in-the-Loop, только в ReAct?
Если один из агентов ошибался, весь граф падал или доходил до summary agent для деградации?
На чём мерили метрики ретрива (какой датасет и инструмент)?