各方报道 1 篇
arXiv cs.LG·10-06 12:00★ 2
Inception裁剪实现差异或影响视觉模型训练
原文 论文发现TensorFlow/JAX生态中的Inception裁剪按 f(A)∝1/√A 采样裁剪尺度，与PyTorch遵循原始描述的实现不同。作者在ImageNet-1k上训练522个ViT-S/16模型，发现训练预算越高越需要强增强，且裁剪尺度分布的下尾决定增强强度。研究还重新评估了Beta裁剪，并在AdamW与Scion优化器上复现了主要结论。
论文发现TensorFlow/JAX生态中的Inception裁剪按 f(A)∝1/√A 采样裁剪尺度，与PyTorch遵循原始描述的实现不同。作者在ImageNet-1k上训练522个ViT-S/16模型，发现训练预算越高越需要强增强，且裁剪尺度分布的下尾决定增强强度。研究还重新评估了Beta裁剪，并在AdamW与Scion优化器上复现了主要结论。