皇上,还记得我吗?我就是1999年那个Linux伊甸园啊-----24小时滚动更新开源资讯,全年无休!

挑战 TensorFlow 与 PyTorch,3 月深度学习框架集中爆发

2016 年,百度发布深度学习开源框架 PaddlePaddle(飞桨)

2020 年 3 月,

华为开源自研全场景 AI 计算框架 MindSpore

旷视开源深度学习框架 MegEngine(天元)

清华大学发布基于元算子和动态编译的深度学习框架 Jittor(计图)

……

2016 年百度推出深度学习开源框架 PaddlePaddle,此后长时间内,似乎没有出现一款让人惊艳的同量级与同类型的国产开源框架。然而,今年 3 月份,突然的爆发打破了宁静——华为、旷视与清华大学在今年 3 月相继开源各自研发的深度学习框架,吸引了众多国内外开发者的关注——深度学习开源框架这把火在开源大浪潮的今天要在国内燎原了。

深度学习框架对人工智能的发展来说意义重大。要知道,AI 开发者不能每开发一个功能就从最底层重新来过,所以想要进行算法训练、模型开发、应用部署,就必须在一定的开发平台上来完成。从前,主流的深度学习框架都由国外机构或公司研发,从最开始蒙特利尔大学与伯克利大学推出的 Theano、Caffe 框架,到现在谷歌维护的 TensorFlow、Facebook 推出的 PyTorch,人工智能产业在前人的积累上得以快速发展。

当前 TensorFlow 与 PyTorch 仍然占据着该领域的制高点,而 3 月份国内的几大框架齐发让我们看到了国产框架的崛起。趁着这一难得的机会,我们在这里分享一下相关项目,以及它们的背景与现状,希望大家对该领域有一些基础了解。

Theano

作为深度学习框架的祖师爷,Theano 的诞生为人类叩开了新时代人工智能的大门。Theano 的开发始于 2007 年的蒙特利尔大学,早期雏形由两位传奇人物 Yoshua Bengio 和 Ian Goodfellow 共同打造,并于开源社区中逐渐壮大。

Theano 基于 Python,是一个擅长处理多维数组的库,十分适合与其它深度学习库结合起来进行数据探索。它设计的初衷是为了执行深度学习中大规模神经网络算法的运算。其实,Theano 可以被更好地理解为一个数学表达式的编译器:用符号式语言定义你想要的结果,该框架会对你的程序进行编译,在 GPU 或 CPU 中高效运行。

Theano 的出现为人工智能在新时代的发展打下了强大的基础,在过去的很长一段时间内,Theano 都是深度学习开发与研究的行业标准。往后也有大量基于 Theano 的开源深度学习库被开发出来,包括 KerasLasagne 和 Blocks,甚至后来火遍全球的 TensorFlow 也有很多与 Theano 类似的功能。

随着更多优秀的深度学习开源框架陆续涌现,Theano 逐渐淡出了人们的视野。2013 年,Theano 创始者之一 Ian Goodfellow 加入 Google 开发 TensorFlow,标志着 Theano 正式退出历史舞台。目前仅有部分研究领域的学者会使用 Theano 进行一些学术研究。

Caffe

另一个元老级的深度学习开源框架同样来自高校,它就是 2013 年诞生于加州大学伯克利分校的 Caffe。Caffe 的创始者想必很多人都知道,就是去年加盟阿里任技术副总的 AI 界华人之光贾扬清。很多人以为 Caffe 是开发者凭兴趣取的名字,但它其实是 Convolutional Architecture for Fast Feature Embedding,即“快速特征嵌入的卷积结构”的缩写(意外地简单粗暴),它咖啡形状的图标非常经典。

Caffe 是一个卷积神经网络框架,把 Matlab 执行快速卷积网络的方式带到 C 和 C++,同时带有Python 接口。Caffe 在 AI 界非常知名,项目在 GitHub 上有高达 30.1k 的 star 数。Caffe 在诞生之后被许多大型科技公司采用,曾广泛应用于学术研究、初创原型、视觉、语音、多媒体、大规模工业部署等项目领域。雅虎还将 Caffe 与 Apache Spark 集成在一起,创建了一个分布式深度学习框架 CaffeOnSpark。2017 年 4 月,Facebook 发布 Caffe2,加入了递归神经网络等新功能。2018 年 3 月底,Facebook 将 Caffe2 并入 PyTorch,一度引起轰动。

诞生于高校的 Theano 与 Caffe 是早期人工智能领域最具代表性的两大深度学习开源框架,二者在人工智能发展史上都留下了浓墨重彩的一笔。但此后人工智能的发展重心逐渐向大型科技公司转移(其实是这些大佬们纷纷毕业进了大公司),更多优秀的企业级开源框架被开发出来,并取而代之地成为业内主流框架(TensorFlow 与 PyTorch)。值得一提的是,Theano 与 Caffe 的创始人(Ian Goodfellow 和贾扬清)都曾先后加盟 Google,与其他 AI 专家联手打造了如今世界上最为火热的深度学习开源框架 —— TensorFlow。

TensorFlow

TensorFlow 是 Google 于 2015 年开源的深度学习框架。TensorFlow 前身是谷歌的神经网络算法库 DistBelief,由谷歌人工智能团队谷歌大脑(Google Brain)开发和维护,拥有包括 TensorFlow Hub、TensorFlow Lite、TensorFlow Research Cloud 在内的多个项目以及各类应用程序接口。TensorFlow 让用户可以快速设计深度学习网络,将底层细节进行抽象,而不用耗费大量时间编写底层 CUDA 或 C++ 代码。 TensorFlow 在很多方面拥有优异的表现,比如设计神经网络结构的代码的简洁度,分布式深度学习算法的执行效率,还有部署的便利性(能够全面地支持各种硬件和操作系统)。

转自 https://my.oschina.net/editorial-story/blog/3217606