Welche Frameworks werden für den Aufbau von RAG verwendet?

Zur Erstellung von Retrieval-Augmented Generation (RAG) werden mehrere beliebte Frameworks und Bibliotheken verwendet, die dabei helfen, die Suche in der Wissensdatenbank mit der Textgenerierung zu integrieren. Dazu gehören:

• Hugging Face Transformers — bietet Modelle für die Textgenerierung und Werkzeuge für die Integration mit externen Datenquellen.
• FAISS (Facebook AI Similarity Search) — Bibliothek für effiziente Suche in Vektor-Darstellungen von Dokumenten.
• Haystack — Framework zum Aufbau von Such- und Frage-Antwort-Systemen, unterstützt den RAG-Ansatz.
• LangChain — Bibliothek zur Erstellung von Datenverarbeitungs-Chainings mit LLM, einschließlich RAG.

In der Regel basiert RAG auf der Kombination von Generierungsmodellen (z.B. GPT, BART) und Dokumentenindex-Suchsystemen, die mit diesen Frameworks implementiert werden.