Как се нарича ситуацията, когато методът вика сам себе си?

Ситуация, когда метод вызывает сам себя внутри своего тела, называется рекурсией.

Рекурсивный метод обычно имеет базовый случай, который останавливает дальнейшие вызовы, и рекурсивный случай, который вызывает метод снова с изменёнными параметрами.

Пример рекурсии на Java:

public int factorial(int n) {
    if (n <= 1) return 1; // базовый случай
    else return n * factorial(n - 1); // рекурсивный вызов
}

Здесь метод factorial вычисляет факториал числа, вызывая сам себя с уменьшенным аргументом.