É possível automatizar o trabalho com janelas pop-up no Selenium?

Sim, no Selenium é possível automatizar o trabalho com janelas pop-up (alerta, confirmação, prompt). Para isso, usa-se a classe Alert, que permite alternar para a janela pop-up e interagir com ela:

from selenium import webdriver
from selenium.webdriver.common.alert import Alert

driver = webdriver.Chrome()
driver.get('http://example.com')

# Esperar pela aparição do alerta
alert = Alert(driver)

# Aceitar o alerta (clicar em OK)
alert.accept()

# Ou rejeitar o alerta (clicar em Cancelar)
# alert.dismiss()

# Se for um prompt, pode-se inserir texto
# alert.send_keys('texto')

É importante trocar para o alerta antes de interagir, caso contrário, o Selenium não conseguirá gerenciar a janela pop-up.