Automatic Differentiation（自动微分）

自动微分（AD）是深度学习的基石，它能够高效、精确地计算复杂函数的导数。与符号微分和数值微分不同，AD通过追踪程序执行过程中的基本运算（如加、乘、sin等），并利用链式法则组合其导数，从而得到精确的梯度值。主要模式有前向模式（适合输入少输出多）和反向模式（适合输入多输出少，即反向传播）。现代深度学习框架如TensorFlow、PyTorch、JAX均内置AD引擎，支持动态图或静态图，极大简化了神经网络训练。