aoi学院

Aisaka's Blog, School of Aoi, Aisaka University

发表于 分类于 ， ， 阅读次数： Valine：
本文字数： 4.5k 阅读时长 ≈ 11 分钟

引言

Out Of Memory, 一个炼丹师们熟悉得不能再熟悉的异常，其解决方法也很简单，减少输入图像的尺寸或者Batch Size就好了。但是，且不说输入尺寸对模型精度的影响，当BatchSize过小的时候网络甚至无法收敛的。

下图来源知乎，深度学习中的batch的大小对学习效果有何影响？[1]

batchsize对模型收敛的影响

作者使用LeNet在MNIST数据集上进行测试，验证不同大小的BatchSize对训练结果的影响。我们可以看到，虽然说BatchSize并不是越大越好，但是过小的BatchSize的结果往往更差甚至无法收敛。

因此本文将会介绍如何在不减少输入数据尺寸以及BatchSize的情况下，进一步榨干GPU的显存。

阅读全文 »

发表于 分类于 ， ， 阅读次数： Valine：
本文字数： 14k 阅读时长 ≈ 35 分钟

导读

生成对抗网络 (Generative Adversarial Networks, GANs) 在过去几年中被广泛地研究，其在图像生成、图像转换和超分辨率等领域取得了显著的进步。到目前为止，已经提出了大量基于GANs的相关工作和综述。本文基于柏林圣三一大学计算机科学与统计学院的王正蔚博士与字节跳动AI实验室联合发表的一篇综述[1]为基础，详细的解读GANs的来龙去脉，同时为大家介绍近期一些相关工作，中间也会穿插一些笔者的见解。最后，本文也将列出一些可探索的未来研究方向，希望能给予读者一些启发。

阅读全文 »