技术
Differentiable Relaxation（可微松弛）
可微松弛是一种将离散的、不可微的优化问题转化为连续可微形式的技术，从而能够使用梯度下降进行端到端训练。它解决了神经网络中离散决策（如采样、选择）无法直接求导的问题，广泛应用于变分自编码器、神经架构搜索和离散隐变量模型。
详细解释
背景：许多机器学习问题涉及离散结构（如类别、图结构），但梯度反向传播要求可微。技术说明：可微松弛通过用连续分布（如Gumbel-Softmax、Concrete分布）或连续近似（如直通估计器）替代离散操作，使梯度得以传播。例如，Gumbel-Softmax对类别采样进行松弛，允许在训练时使用重参数化技巧；直通估计器在前向传播时使用离散值，反向传播时直接传递梯度。这些方法在保持离散性的同时实现了端到端优化。
别名与相关写法
differentiable relaxation