什么是机器学习问题 普适逼近定理介绍

来源: 网络 日期:2021-02-18

      普适逼近定理

众所周知,神经网络非常强大,可以将其用于几乎任何统计学习问题,而且效果很好。 但是您是否考虑过为什么会这样? 为什么在大多数情况下此方法比许多其他算法更强大?

与机器学习一样,这有一个精确的数学原因。 简而言之,神经网络模型描述的功能集非常大。 但是描述一组功能意味着什么? 一组功能如何大? 这些概念乍一看似乎很难理解,但是可以正确定义它们,从而阐明为什么某些算法比其他算法更好的原因。

机器学习作为函数逼近

让我们以一个抽象的观点来阐述什么是机器学习问题。 假设我们有数据集

其中x⁽ᵏ⁾是数据点,y是与数据点相关的观测值。 观测值y⁽ᵏ⁾可以是实数,甚至可以是概率分布(在分类的情况下)。 任务只是找到一个函数f(x),对于该函数f(x⁽ᵏ⁾)近似为y⁽ᵏ⁾。

为此,我们预先修复了参数化的功能系列,然后选择最适合的参数配置。 例如,线性回归使用函数族

作为参数的函数族,以a和b为参数。

如果我们假设有一个真实的基础函数g(x)描述了x⁽ᵏ⁾和y⁽ᵏ⁾之间的关系,则该问题可以表述为函数逼近问题。 这将我们带入了美丽的近似理论技术领域。

近似理论入门

可能您一生中多次遇到指数函数。 它的定义是

其中e是著名的欧拉数。 这是一个超越函数,基本上意味着您无法通过有限的多次加法和乘法来计算其值。 但是,当您将其放入计算器时,您仍然会获得价值。 该值仅是一个近似值,尽管对于我们的目的通常是足够的。 实际上,我们有

这是一个多项式,因此可以显式计算其值。 n越大,近似值越接近真实值。

逼近理论的中心问题是为这些问题提供数学框架。 如果您有任何函数g(x)以及从计算方面更易于处理的函数族,那么您的目标就是找到一个与g足够接近的"简单"函数。 本质上,近似理论搜索三个核心问题的答案。

什么是"足够接近"?

我可以(或应该)使用哪个函数系列来近似?

从给定的近似函数族中,哪一个确切的函数最适合?

别担心这些听起来是否有点抽象,因为接下来我们将研究神经网络的特殊情况。

神经网络作为函数逼近器

因此,让我们重申这个问题。 我们有一个函数g(x),它描述数据和观测值之间的关系。 这不是确切已知的,仅对于某些值

其中g(x⁽ᵏ⁾)=y⁽ᵏ⁾。 我们的工作是找到一个f(x)

从数据中概括知识

并且在计算上可行。

如果我们假设所有数据点都在子集X中,则

持有,我们想要一个数量最高准则的函数

尽可能小。 您可以通过绘制这些函数,为图形包围的区域着色并计算沿y轴的最大扩展区域来想象这个数量。

即使我们不能评估g(x)的任意值,我们也应该始终在更广泛的意义上接近它,而不是要求f(x)仅适合已知数据点xₖ。

因此,给出了问题。 问题是,我们应该使用哪一组函数进行近似?

具有单个隐藏层的神经网络

从数学上讲,具有单个隐藏层的神经网络定义为

其中φ是非线性函数(称为激活函数),例如S型函数

    A+
声明:本文转载自其它媒体,转载目的在于传递更多信息,并不代表赞同其观点和对其真实性负责。