Что произойдет, если очередь пула потоков заполнена, но поступает новая задача?

Будет применен обработчик отклоненных задач (RejectedExecutionHandler). Стандартные обработчики включают:

• AbortPolicy: Выбрасывает RejectedExecutionException.
• DiscardPolicy: Молча отбрасывает задачу.
• DiscardOldestPolicy: Отбрасывает самую старую задачу в очереди и пытается выполнить новую.
• CallerRunsPolicy: Выполняет задачу в вызывающем потоке.

Конкретное поведение зависит от того, какой обработчик был настроен при создании пула потока.