Как именно LLM вызывает тулы, если она принимает текст и отдаёт текст?

LLM (Large Language Model) действительно принимает на вход текст и возвращает текст, но для вызова тулов (инструментов) используется механизм, который связывает текстовые команды с внешними API или программами. Обычно это реализуется через промежуточный слой — контроллер или оркестратор, который парсит текстовый вывод модели, распознаёт команды или специальные маркеры и вызывает соответствующие инструменты.

Например, LLM может сгенерировать текст вида:

{"tool": "calculator", "input": "2 + 2"}

Этот JSON-подобный ответ парсится программой, которая вызывает калькулятор с параметром "2 + 2" и возвращает результат обратно в текстовом виде, который LLM затем использует для дальнейших рассуждений.

Таким образом, LLM не вызывает инструменты напрямую, а через промежуточный слой, который интерпретирует её текстовый вывод и выполняет нужные действия, возвращая результаты обратно в текстовом формате для модели.