O que são Anserini e Pyserini?

Anserini é uma biblioteca de código aberto para pesquisa de informação (Information Retrieval), construída sobre o Apache Lucene. Ela fornece ferramentas convenientes para construir sistemas de busca de texto completo e experimentar com tarefas de IR, incluindo indexação e classificação de documentos.

Pyserini é uma camada Python sobre o Anserini, permitindo usar as funcionalidades do Anserini a partir de código Python. Pyserini é amplamente utilizado em pesquisas e desenvolvimentos na área de IR e NLP, facilitando a integração de buscas de texto completo eficientes em aplicações Python.

Ambas as bibliotecas são voltadas para a comunidade de pesquisa e suportam métodos modernos de busca, incluindo BM25, bem como a integração com modelos de aprendizado profundo para melhorar a qualidade da classificação.