Может ли у UIView не быть слоя и наоборот?

Нет, не может. У каждого UIView всегда есть ассоциированный базовый слой типа CALayer. Он предоставляется по умолчанию и управляет визуальным представлением и поведением UIView. Наоборот тоже невозможно: CALayer не может существовать без ассоциированного объекта UIView в контексте отображения на экране в иерархии представлений UIKit. CALayer предоставляет данные и методы для рисования, анимации и управления геометрией, а UIView выступает в роли обертки, обрабатывает пользовательские взаимодействия и управляет иерархией представлений.