在黄仁勋看来，随着摩尔定律消亡，GPU加速才是撬动未来高性能计算发展的有力杠杆。有数据显示，目前NVIDIA已经销售了超过15亿块GPU，而这些GPU由于采用了同一架构，均能兼容CUDA。
不仅仅如此，身着经典皮衣的黄教主更认为硬件的“登峰造极”不仅仅局限于芯片，只有软件得到相应性能的完整优化，未来的多GPU才能彰显最出色的处理能力。基于此，NVIDIA在CUDA平台上配置了相当丰富的软件库，并且选择在去年一整年推出了超过500个相应的SDK以及库来不断改进NVIDIA的软件栈。有数据显示，通过这些专门的SKU，NVIDIA的产品在过去三年的深度学习性能提升了4倍，而深度学习推理性能也相应提升了2倍。列举如此多样的软件升级，要说目前实在硬核的NVIDIA软件创新，当属最新一代推理软件开发套件NVIDIA TensorRT 7编译器的推出。
晶少了解到，TensorRT作为一种计算图优化编译器能够优化推理实现实时AI会话，将TensorFlow的输出结果进行优化，简单理解位可以高效寻找计算途中可以融合的节点，从而减少计算和内容的访问来进行CUDA码的优化，值得提及的是可以运行在任何GPU上。
“去年我们在中国发布了TensorRT 5，可以处理CNN，而且是在图形的同一层将边缘与节点融合；此外还支持自动检测以及自动低精度推理，将FP32模型转换成FP16
© 版权声明
文章版权归作者所有，未经允许请勿转载。
