Что делать, если хотим обучаться на 4 примерах?

Если у вас всего 4 обучающих примера, это очень мало для большинства моделей машинного обучения, так как они обычно требуют больше данных для обобщения. В таком случае можно:

• Использовать методы обучения с малым количеством данных, например, обучение с подкреплением, few-shot learning или transfer learning.
• Применить техники аугментации данных, чтобы искусственно увеличить размер выборки.
• Использовать простые модели, склонные к меньшему переобучению, например, линейные модели или деревья решений с ограниченной глубиной.
• Рассмотреть обучение на основе правил или экспертных систем, если данные очень ограничены.

Пример: если у вас 4 изображения для классификации, можно использовать предобученную нейросеть и дообучить её на этих 4 примерах (transfer learning), чтобы получить приемлемую модель.