Ako by mal agent pracovať s veľmi veľkým schématom nástrojov (výber funkcií)?

Keď agent pracuje s veľmi veľkým schématom nástrojov (výber funkcií), vzniká problém výberu relevantných funkcií z veľkého súboru pre konkrétnu požiadavku.

Prístupy na riešenie:

1. Indexovanie a filtrovanie — vopred triediť alebo indexovať nástroje podľa tém, typov úloh alebo kľúčových slov, aby sa rýchlo zúžil vyhľadávací okruh.

2. Použitie vektorových reprezentácií — previesť opis funkcií a požiadavky do embeddingov a vybrať funkcie s najvyššou sémantickou blízkosťou.

3. Hierarchický výber — najskôr vybrať kategóriu alebo podmnožinu funkcií, potom vnútri nej — konkrétnu funkciu.

4. Tréning modelu výberu — natrénovať model, ktorý na vstupe dostáva požiadavku a vracia pravdepodobnosti relevantnosti funkcií.

Príklad v pseudokóde s použitím embeddingov:

query_embedding = embed(query)
function_embeddings = [embed(f.description) for f in functions]
scores = cosine_similarity(query_embedding, function_embeddings)
top_functions = select_top_k(functions, scores, k=5)

Týmto spôsobom agent efektívne zvláda veľký súbor nástrojov, vyberajúc tie najvhodnejšie pre aktuálnu úlohu.