本篇学习报告的内容为“基于单通道EEG的高效睡眠分期网络”，所参考论文为《TinySleepNet: An Efficient Deep Learning Model for Sleep Stage Scoring based on Raw Single-Channel EEG》。此论文提出一种根据单通道EEG信号进行睡眠分期的新型神经网络，它是对DeepSleepNet[1]的改进，相比其他深度学习模型，该模型耗费的资源（计算资源和使用的通道）更少、结构更加简单，但准确率可以达到或超过目前已有基于深度学习的睡眠分期模型。相关成果发表于2020年International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC)。
跟李沐学AI-动手学深度学习 PyTorch版-49 样式迁移
跟李沐学AI-动手学深度学习 PyTorch版-48 全连接卷积神经网络 FCN
跟李沐学AI-动手学深度学习 PyTorch版-47.2 转置卷积是一种卷积
跟李沐学AI-动手学深度学习 PyTorch版-47 转置卷积
跟李沐学AI-动手学深度学习 PyTorch版-46 语义分割和数据集
深度学习-OOM？教你如何在PyTorch更高效地利用显存
引言
Out Of Memory, 一个炼丹师们熟悉得不能再熟悉的异常，其解决方法也很简单，减少输入图像的尺寸或者Batch Size就好了。但是，且不说输入尺寸对模型精度的影响，当BatchSize过小的时候网络甚至无法收敛的。
下图来源知乎，深度学习中的batch的大小对学习效果有何影响？[1]
batchsize对模型收敛的影响
作者使用LeNet在MNIST数据集上进行测试，验证不同大小的BatchSize对训练结果的影响。我们可以看到，虽然说BatchSize并不是越大越好，但是过小的BatchSize的结果往往更差甚至无法收敛。
因此本文将会介绍如何在不减少输入数据尺寸以及BatchSize的情况下，进一步榨干GPU的显存。