Как автоматически разбить текст на смысловые чанки без использования LLM?

Для автоматического разбиения текста на смысловые чанки без использования больших языковых моделей (LLM) можно применить классические методы обработки текста и алгоритмы NLP:

1. Разметка по структуре текста: разделение по абзацам, заголовкам, спискам — часто это уже естественные смысловые блоки.

2. Использование правил и ключевых слов: можно выделять предложения или абзацы, содержащие определённые тематические маркеры.

3. Кластеризация предложений:

   • Представить предложения в виде векторов (например, с помощью TF-IDF или word2vec).
   • Применить алгоритмы кластеризации (k-means, агломеративная кластеризация) для группировки предложений по смыслу.

4. Текстовые сегментаторы: алгоритмы вроде TextTiling или C99, которые анализируют лексическое сходство соседних частей текста и выделяют границы тем.

Пример использования TextTiling (на Python с библиотекой nltk):

import nltk
from nltk.tokenize import TextTilingTokenizer

text = """Ваш длинный текст..."""

tt = TextTilingTokenizer()
chunks = tt.tokenize(text)

for i, chunk in enumerate(chunks):
    print(f"Chunk {i+1}:", chunk)

Таким образом, без LLM можно опираться на статистические и лексические методы для выделения смысловых частей текста.