模型压缩、模型剪支、模型蒸馏、模型稀疏化有系统的数学理论做依托吗?

有的

大家都知道所谓万能逼近定理,就是带一个隐层的MLP可以逼近任意函数,这个是有数学证明的。其具体的含义是一个MLP可以以某个精度逼近目标函数,而这个精度和MLP的参数数目成反比,于是只要提高参数量,就能以任意精度了。模型稀疏化也是利用类似的原理,这个时候目标函数就是原始模型,而去逼近他的函数就是稀疏模型,只需要证明稀疏模型能在某个精度范围内逼近原始模型就可以了。对于分类问题而言,不同类别之间有一定的冗余margin,所以只要精度损失在这个margin的允许范围之内,那么用稀疏模型去逼近原始模型后可以完全没有精度损失。


这是一个从 https://www.zhihu.com/question/594296903/answer/2979485641 下的原始话题分离的讨论话题