Что использовали для очистки и нормализации документов: Redis или regex?