逢坂葵的个人博客

卷积，是卷积神经网络中最重要的组件之一。不同的卷积结构有着不一样的功能，但本质上都是用于提取特征。比如，在传统图像处理中，人们通过设定不同的算子来提取诸如边缘、水平、垂直等固定的特征。而在卷积神经网络中，仅需要随机初始化一个固定卷积核大小的滤波器，并通过诸如反向传播的技术来实现卷积核参数的自动更新即可。其中，浅层的滤波器对诸如点、线、面等底层特征比较敏感，深层的滤波器则可以用于提取更加抽象的高级语义特征，以完成从低级特征到高级特征的映射。本文将从背景、原理、特性及改进四个维度分别梳理10篇影响力深远的经典卷积模块以及10篇具有代表性的卷积变体，使读者对卷积的发展脉络有一个更加清晰的认知。

阅读全文 »

学习报告：用于动态人体新视图合成的结构潜码的隐式神经表示

发表于 2021-06-14 分类于 🌙进阶学习， ⭐脑机接口与混合智能研究团队（BCI团队）， 💫学习报告阅读次数： Valine：
本文字数： 3.2k 阅读时长 ≈ 8 分钟

本篇学习报告基于2021 CVPR的人体自由视角合成的论文：《Neural Body: Implicit Neural Representations with Structured Latent Codes for Novel View Synthesis of Dynamic Humans》，该论文由浙江大学CAD&CG国家重点实验室/浙大三维视觉实验室提出。

图1 论文图片

阅读全文 »

深度学习-万字长文带你入门Transformer

发表于 2021-06-11 分类于 🌙进阶学习， ⭐人工智能 Artificial Intelligence ， 💫网络模型 Networks Model 阅读次数： Valine：
本文字数： 14k 阅读时长 ≈ 35 分钟

导读

Transformer在许多的人工智能领域，如自然语言处理(Natural Language Processing, NLP)、计算机视觉(Computer Vision, CV)和语音处理(Speech Processing, SP)取得了巨大的成功。因此，自然而然的也吸引了许多工业界和学术界的研究人员的兴趣。到目前为止，已经提出了大量基于Transformer的相关工作和综述。本文基于邱锡鹏[1]老师团队近日所发表的一篇综述[2]为基础，详细的解读Transformer的来龙去脉，同时为大家介绍近期一些相关工作，中间也会穿插一些笔者的见解。最后，本文也将列出一些可探索的未来研究方向，希望能给予读者一些启发。

阅读全文 »

深度学习-一文看尽深度学习中的各种注意力机制

发表于 2021-06-09 分类于 🌙进阶学习， ⭐人工智能 Artificial Intelligence ， 💫_深度学习基本概念 Deep Learning Basic Concepts 阅读次数： Valine：
本文字数： 20k 阅读时长 ≈ 49 分钟

导读

视觉注意力机制是人类视觉所特有的一种大脑信号处理机制，而深度学习中的注意力机制正是借鉴了人类视觉的注意力思维方式。一般来说，人类在观察外界环境时会迅速的扫描全景，然后根据大脑信号的处理快速的锁定重点关注的目标区域，最终形成**注意力焦点[1]**。该机制可以帮助人类在有限的资源下，从大量无关背景区域中筛选出具有重要价值信息的目标区域，帮助人类更加高效的处理视觉信息。