Ar šiukšlių surinkėjas juos suras, jei du objektai vienas į kitą nurodo, bet niekas kitas jų nepažymi?

Да, garbage collector в Java найдёт такие объекты и освободит их память.

Garbage collector работает на основе достижимости объектов: если объект недостижим из корневых ссылок (например, из стека, статических переменных и т.п.), то он считается мусором, даже если объекты ссылаются друг на друга.

В вашем случае два объекта ссылаются друг на друга, но на них больше никто не ссылается извне — значит, они недостижимы из корней и будут собраны сборщиком мусора.