Welche Prompt-Komprimierungstechniken kennen Sie (LLMLingua)?

Prompt-Kompressionen sind Techniken zur Reduzierung oder Optimierung von Eingabeaufforderungen (Prompts) für große Sprachmodelle (LLMs), um deren Länge zu verringern und die Effizienz zu steigern, ohne die Antwortqualität zu beeinträchtigen. Die Hauptmethoden:

• Entfernen redundanter Informationen: Wiederholungen oder unwesentliche Teile des Textes entfernen.
• Verwendung von Abkürzungen und Akronymen: Lange Phrasen durch kurze, verständliche Versionen ersetzen.
• Umformulierung: die Anfrage kompakter umschreiben, dabei die Bedeutung bewahren.
• Verwendung kontextbezogener Links: anstelle von Wiederholungen auf zuvor bereitgestellte Daten verlinken.
• Kodierung oder Komprimierung: spezielle Formate oder Tokenisierung verwenden, um die Größe zu verringern.

Diese Methoden helfen, den Token-Verbrauch zu senken und die Verarbeitung zu beschleunigen, was bei der Arbeit mit Modellbeschränkungen und Anfragekosten wichtig ist.