aoi学院

Aisaka's Blog, School of Aoi, Aisaka University

发表于 分类于 ， ， 阅读次数： Valine：
本文字数： 4.8k 阅读时长 ≈ 12 分钟

背景

卷积神经网络(Convolution Neural Network, CNN)因其强大的特征提取能力而被广泛地应用到计算机视觉的各个领域，其中卷积层和池化层是组成CNN的两个主要部件。理论上来说，网络可以在不对原始输入图像执行降采样的操作，通过堆叠多个的卷积层来构建深度神经网络，如此一来便可以在保留更多空间细节信息的同时提取到更具有判别力的抽象特征。然而，考虑到计算机的算力瓶颈，通常都会引入池化层，来进一步地降低网络整体的计算代价，这是引入池化层最根本的目的。

阅读全文 »

发表于 分类于 ， ， 阅读次数： Valine：
本文字数： 9.1k 阅读时长 ≈ 23 分钟

导言

在机器学习中，损失函数是代价函数的一部分，而代价函数是目标函数的一种**类型[1]**。

  • Loss function
    损失函数：用于定义单个训练样本与真实值之间的误差。
  • Cost function
    代价函数：用于定义单个批次/整个训练集样本与真实值之间的误差。
  • Objective function
    目标函数：泛指任意可以被优化的函数。

损失函数是用于衡量模型所作出的预测离真实值（Ground Truth）之间的偏离程度。通常，我们都会最小化目标函数，最常用的算法便是“梯度下降法”（Gradient Descent）。俗话说，任何事情必然有它的两面性，因此，并没有一种万能的损失函数能够适用于所有的机器学习任务，所以在这里我们需要知道每一种损失函数的优点和局限性，才能更好的利用它们去解决实际的问题。损失函数大致可分为两种：回归损失（针对连续型变量）和分类损失（针对离散型变量）。

阅读全文 »