Machine Learning / AI

Как да проектираме система за съхранение и търсене за 10 000 Telegram канала с 300 000 публикации на ден, с латентност по-малка от 2 секунди?

Ако работникът е синхронен, ще има ли batching?

Може ли да се счита, че embeddings-ите са синхронни директно в API endpoint? Какво ще се случи, ако изчислим embeddings за голям поток от документи в FastAPI endpoint?

Как да проектираме система за автоматично генериране на съдържание за Telegram канали в стила на автора на канала?

Как валидирахте фината настройка на LoRA?

Кога да изберете LoRA и кога retrieval по подобни постове? Колко данни са необходими за всеки подход?

Използвали ли сте някога невронна мрежа като метрика за оценка на качеството?

Можете ли да разкажете за опита си с RAG системи и какво направихте в последния си проект?

Какъв ранг сте поставили за LoRA и от какво зависи?

Правил ли си всичко това сам (RAG, LoRA, работа с невронни мрежи) или си помагал на някого?

В кои слоеве си поставил LoRA и какво е q_proj?

Развивахте ли невронни мрежи на вашите сървъри или в облака?

Какви метрики използвахте за оценка на качеството на системата и как постигнахте подобрение с 40%?

Защо LoRA може да пренасочи дори при малък брой параметри? Влияе ли изборът на ранг върху пренасочването?

Защо е необходима векторна база данни в тази архитектура?