参考网站：

http://blog.163.com/yang_jianli/blog/static/1619900062010391127338/ (Linux配置查看命令)

https://developer.nvidia.com/cudnn (cuDNN)

http://developer.nvidia.com/cuda-gpus
(显卡计算能力)

http://www.geforce.com/hardware/10series/geforce-store (NVIDIA store)

www.jd.com (京东)

机器性能测试与显卡价格报表

1. 机器配置
   
2. 服务器
   

型号：    曙光天阔I950r-G

CPU：     128核 Intel(R) Xeon(R) CPU E7- 8830 @ 2.13GHz

内存：     1TB

显卡：    Matrox Graphics, Inc. MGA G200eW WPCM450 (rev 0a)

显存：    Memory at ce000000 (32-bit, prefetchable) [size=16M]

        Memory at cf800000 (32-bit, non-prefetchable) [size=16K]

        Memory at cf000000 (32-bit, non-prefetchable) [size=8M]

系统1: Red Hat Enterprise Linux Server release 6.2 (Santiago)

内核：    Linux ict 2.6.32-220.el6.x86_64

系统2: windows server 2008 R2 X64

位置：    10楼机房南门，进门左手边玻璃门进入，主机柜D-09中间位置

负责人：秦立格老师
qinlige@ict.ac.cn
房间：1054

1. 图形工作站
   

型号：兼容机

CPU：    8核Intel(R) Core(TM) i7-4770K CPU @ 3.50GHz

内存：    8GB

显卡：    NVIDIA Corporation GK106 [GeForce GTX 660] (rev a1)

显存：    Memory at f6000000 (32-bit, non-prefetchable) [size=16M]

        Memory at e8000000 (64-bit, prefetchable) [size=128M]

        Memory at f0000000 (64-bit, prefetchable) [size=32M]

系统：    Ubuntu 15.04

内核：    Linux shirui-All-Series 3.16.0-41-generic

位置：    541B

1. 我的电脑
   

型号：兼容机

CPU：    双核Intel(R) Core(TM)2 CPU 6600 @2.40GHz

内存：    4GB

显卡：    NVIDIA GeForce 8800 GTS 512

1. Caffe平台下测试用例mnist手写数据集测试
   

由Google实验室的Corinna Cortes和纽约大学柯朗研究所的Yann LeCun建立。

训练库有60,000张手写数字图像，测试库有10,000张。为28×28的二值图像。

测试1：本机CPU模式。

2小时40分钟

测试2：服务器，CPU单核训练

50分钟。

测试3：工作站，CPU模式。

11分钟。

测试4：工作站，GPU模式

3分钟。

测试5：工作站，使用cuDNN加速

48秒。

1. CUDA与cuDNN
   

CUDA(Compute Unified Device Architecture)，是显卡厂商NVIDIA推出的运算平台。 CUDA™是一种由NVIDIA推出的通用并行计算架构，该架构使GPU能够解决复杂的计算问题。
它包含了CUDA指令集架构（ISA）以及GPU内部的并行计算引擎。
开发人员现在可以使用C语言来为CUDA™架构编写程序，C语言是应用最广泛的一种高级编程语言。所编写出的程序于是就可以在支持CUDA™的处理器上以超高性能运行。CUDA3.0已经开始支持C++和FORTRAN。

NVIDIA cuDNN是用于深度神经网络的GPU加速库。它强调性能、易用性和低内存开销。NVIDIA cuDNN可以集成到更高级别的机器学习框架中，如加州大学伯克利分校的流行CAFFE软件。简单的，插入式设计可以让开发人员专注于设计和实现神经网络模型，而不是调整性能，同时还可以在GPU上实现高性能现代并行计算。GPU的计算能力在3.0以上，才能够支持cuDNN。

cuDNN性能比较

网上大家的测试结果，Caffe cuDNN模式相比CPU模式加速15.64倍，相比GPU模式加速7.7倍。

1. 显卡的计算能力
   

我的电脑GeForce 8800 GTS     计算能力1.1

诗锐电脑GeForce GTX 660     计算能力3.0

1. 报价列表
   

1. 结论
   

目前来看，对于神经网络训练的性能GPU要远高于CPU。通过目前的了解，caffe平台似乎并不支持多机训练，还需要进一步调研。Mxnet可以支持多机多卡的训练，TensorFlow也有分布式的训练的版本。