De que forma o sistema operativo determina quando um objeto na memória não é mais utilizado e pode ser liberado com segurança?

O sistema operativo em si não gere diretamente a libertação de objetos na memória — essa é uma tarefa do ambiente de execução e da linguagem de programação. No iOS, por exemplo, a gestão de memória ocorre através do mecanismo ARC (Contagem Automática de Referências).

O ARC acompanha o número de referências a um objeto. Quando o contador de referências de um objeto chega a zero (ou seja, ninguém mais faz referência a ele), o objeto é automaticamente libertado da memória.

Exemplo:

class MyClass {}
var obj: MyClass? = MyClass() // contador de referências = 1
obj = nil // contador de referências = 0, o objeto é libertado

Assim, o sistema operativo não determina quando um objeto deixa de ser utilizado — isso é feito pelo ambiente de execução através da contagem de referências ou do coletor de lixo.