O garbage collector irá encontrá-los se dois objetos referem-se um ao outro, mas ninguém mais se refere a eles?

Да, garbage collector в Java найдёт такие объекты и освободит их память.

Garbage collector работает на основе достижимости объектов: если объект недостижим из корневых ссылок (например, из стека, статических переменных и т.п.), то он считается мусором, даже если объекты ссылаются друг на друга.

В вашем случае два объекта ссылаются друг на друга, но на них больше никто не ссылается извне — значит, они недостижимы из корней и будут собраны сборщиком мусора.