TensorFlow 源代码初读感受

把自己微博发的文章:http://www.weibo.com/1804230372/En7PdlgLb?from=page_1005051804230372_profile&wvr=6&mod=weibotime&type=comment 也转到博客来,算是自己写的很短的一篇博客了。

花了一些时间看了一下TensorFlow 核心(core)部分的源代码,主要是C++的部分。除了C++ 11的代码实在有些烧脑以外,感叹一下TensorFlow的架构设计得真不错:

首先TensorFlow core要解决的问题全部集中在了图上:每个节点(node)就是一个操作(op),比如说矩阵乘法,每条边(edge)就是操作的输入也就是数据或者依赖关系(称为control edge)。每个op对应了不同的实现,也被称为kernel,比如说用GPU去做矩阵运算的实现,或者FPGA去做加法的实现等等。

然后就是如何优化了:

  1. 首先是一个图的变换操作:用户输入的图根据op、kernel和输入/中间数据,被分布到不同的机器的硬件(device)上。这样把一个大图分拆成为了几个子图(每个device上一个?)。
  2. 然后对分拆之后的子图再进行进一步的优化,比如说把那些无法访问的节点(dead node)删掉,把那些输入、输出、操作都一样的子图找出来防止重复计算 (Common Subexpression Elimination)等等
    3)最后就是一些下层模块的优化,比如说RPC怎么做更快,Kernel怎么实现更优化等等。

这样的架构设计基本上能保证
1)不同层级之间的耦合很小,不至于一个改动牵一而发动全身。
2)项目的扩展性很好,有很少的瓶颈。比如说完全可以有一个小团队专门进行RPC的实现(RDMA),或者说用FPGA来实现不同op的kernel等等。这样可以完全让一个上百人的团队来并行的开发kernel和周边的东西。

目前读下来唯一觉得可能会导致扩展性的地方是Session还有图优化部分的实现,很难让大团队能够在这个部分并行工作,不过这部分代码也不是劳动密集型的改动,所以看起来也没什么大问题

原文链接: https://www.cnblogs.com/LeftNotEasy/p/rough-understanding-of-tensorflow-sourcecode.html

欢迎关注

微信关注下方公众号,第一时间获取干货硬货;公众号内回复【pdf】免费获取数百本计算机经典书籍

    TensorFlow 源代码初读感受

原创文章受到原创版权保护。转载请注明出处:https://www.ccppcoding.com/archives/246273

非原创文章文中已经注明原地址,如有侵权,联系删除

关注公众号【高性能架构探索】,第一时间获取最新文章

转载文章受原作者版权保护。转载请注明原作者出处!

(0)
上一篇 2023年2月14日 上午1:25
下一篇 2023年2月14日 上午1:26

相关推荐