Что за объект — дифференциал в точке?

Дифференциал в точке — это линейное отображение, которое приближает приращение функции в окрестности этой точки. Формально, если функция (f) дифференцируема в точке (x_0), то дифференциал (df_{x_0}) — это линейный оператор, такой что:

[ f(x_0 + h) - f(x_0) = df_{x_0}(h) + o(|h|), ]

где (h) — малое приращение аргумента, а (o(|h|)) — бесконечно малая величина по сравнению с (|h|).

Проще говоря, дифференциал показывает, как функция изменяется в бесконечно малой окрестности точки, и служит обобщением понятия производной на многомерные и более сложные пространства. В машинном обучении и ИИ дифференциалы используются для оптимизации и анализа функций потерь.