AI系统的建立必须估计算法的泛化能力

来源: 网络 日期:2021-02-10

在新数据中,深度学习系统执行(泛化)能力如何?其性能如何?要想建立AI系统的信赖度和可靠性,必须估计算法的泛化能力。我们能信任AI吗?AI是否会像人类酗酒一样毫无顾忌?一但AI启动,是否会毁灭世界?AI系统必须安全可靠,一旦启动AI,算法才能按预期执行。确保AI算法性能良好是提高其采用度和信任度的必由之路 [5]。

此外,决策人在欧盟委员会发布的《可信赖AI的伦理准则》(《ETHICS GUIDELINES FOR TRUSTWORTHY AI》)中明确规定要了解算法的泛化能力。

然而,模型泛化性(泛化理论)研究领域依然投资不足。目前唯一可继续且可行的标准方法是进行数据拆分、验证集和测试集。然而,尽管在无法量化算法的泛化能力时,在测试(留出)集上进行估计不失明智;但这一过程非常棘手,可能发生数据泄漏的风险,需要另外进行独立性假设(独立性验证的参数单独从留出集中选出),但会与p-hacking 等实践所混淆[20]。

数据是由潜在的未知分布D生成的,这是上述工作的关键性假设。统计学习并非直接访问分布,而是假定给出了训练样本S,其中S的每个元素均由D生成,并呈独立同分布。学习算法从函数空间(假设类)H中选择函数(假设h),其中H = {f(x,α)},α是参数向量。

于是,假设h的泛化误差可定义为:从分布D中选取的样本x的预期误差与经验损失(给定样本S上的损失)之间的差值 [4,11]。我们的任务是给泛化错误设定上限,看究竟会出现多么严重的泛化错误。

传统泛化理论中,根据假设类H的复杂度(容量)建立泛化能力模型。简单来说,类的“容量”取决于可以在这个类上拟合良好的数据集的数量。类的容量越大,这个类就越灵活,但也越容易过度拟合。[..]容量控制使用的是更加灵活的模型,以获得良好拟合,那些非常灵活但过度拟合的模型则弃之不用。如何界定假设类H的复杂性?传统泛化理论概念包括VC维、Rademacher复杂度和PAC-Bayes边界。

VC(Vapnik-Chervonenkis)维是一种通过评估函数弯曲程度来衡量函数类的复杂度的一种方式,H类的VC维即可以被H打散的最大样本点数目。如果一组样本点都能被函数打散,无论为一组内所有样本点分配什么样的二进制标签,该类样本都可以将其完美分离。

AI系统的建立必须估计算法的泛化能力

Zhang等人的实验[7]表明,在现实数据中训练的深网真实的“参数复杂度”目前无人知晓,20多年前巴特利特(Bartlett)的VC计算(#节点数*#层)只是一个粗略设定的上限[ 2]。死亡神经元的实验数据表明,当网络足够大,并使用非线性激活函数ReLU时,许多权重为零,这一点可能不足为奇。

PAC(可能近似正确)可学习性的定义很简单,即存在一种算法,对于每个分布D和,δ> 0,找到具有概率1-δ的“-最优”假设。每个分布都有一个算法的呼声十分强烈,即Rademacher复杂度反而针对特定但未知的分布D而定义。简而言之,Rademacher复杂度衡量假设类H的能力,以适应随机±1二进制标签。与VC维相比,Rademacher复杂度取决于分布,可用于任何类别的实值函数(不仅是离散值函数)。

正如Bartlett的VC维计算,Rademacher复杂度缺乏有效的深度学习泛化界限。事实上,实验测试表明,许多神经网络用任意标签完美拟合训练集,于是,我们也希望相应模型H的Rademacher复杂度臻于完美。当然,这只是Rademacher复杂度的一个微不足道的上限,在现实环境中得不到有用的泛化界限[7]。

换句话说,理论研究尚未取得有效成果,只能从“炼金术”或一些最佳实践中寻找解决办法。有实践表明:对Rademacher这种复杂学习架构来说,能够真正降低其复杂度的唯一方法是使用训练分类器,并通过留出集检测缺少的泛化。世界上每一位从业者其实无意中已经做到了这一点。张等人的研究([7])得出的结论目前在该领域无人超越,获得了认同。

与之相关的另一个容量测量是网络的利普希茨常数。利普希茨常数是权值矩阵的谱范数的乘积。谱范数是矩阵的最大奇异值:矩阵可以拉伸一个向量[9]。利普希茨常数与超额风险相关(测试误差减去训练误差)。然而,尽管风险过高,但这一度量随着时间的推移而增长[4];其增长可以通过利普希茨常数的间距抵消掉,重复抵消可使增长归一化(见图4)

泛化的基本定理表明,如果训练集具有m个样本,那么定义为训练数据和测试数据误差间差异的泛化误差是sqrt(N'/ m)的量级,其中N'是网络有效参数的数量 [或复杂度度量] [23,24]。采用具有N个可训练参数的矩阵C,并尝试将其压缩为另一个具有较少参数(N'')的C'和与C大致相同的训练误差。根据泛化基本定理,只要训练样本的数量超过N'',那么C'(压缩网!)就能进行良好的泛化[23,24]。

除了“彩票票据方法”之外,还有很多其他有趣的网络压缩方法。其中一个非常有吸引力的想法受到了TensorNetworks的启发:“Tensor Train”的概念显示了DNN全连接层的权值矩阵,显示出已经很有希望的实证结果[17]。尽管这种压缩通常需要重新训练压缩网络,但[25]提供了对网络压缩方法的调查,这是基于[23,24]提供的基本定理和压缩的泛化理论的方法所没有考虑到的地方。

    A+
声明:本文转载自其它媒体,转载目的在于传递更多信息,并不代表赞同其观点和对其真实性负责。