热门推荐

    通过CUDA及相关APINVIDIA建立了完整的GPU生态系统

    2021-12-26来源于:brandnews官方阅读量:10960   

    ,据英伟达官方消息,美团机器学习平台使用 NVIDIA GPU,通过算子融合,计算图等价替换等一系列优化 ,相较于 CPU 在相同成本约束下,NVIDIA T4 GPU 大幅加速美团 CTR模型预测性能,神经网络模型吞吐能力提升了 10 倍,同时在搜索精排场景中,端到端整体吞吐能力提升了一倍以上。

    通过CUDA及相关APINVIDIA建立了完整的GPU生态系统

    英伟达表示,美团的 CTR 模型过去一直在使用 CPU 推理的方式,但伴随着用户访问量的提升和深度神经网络的引入,CTR 模型结构趋于复杂,吞吐和计算量也越来越大,CPU 开始不能满足模型对于算力的需求,而仅仅通过 CPU 服务器的堆叠带来的性能提升性价比相较偏低而 GPU 拥有数以千计的计算核心,可以在单机内提供密集的并行计算能力,特别适合深度学习场景,在行业内已经在 CV,NLP 等领域展示了强大的能力通过 CUDA 及相关 API,NVIDIA 建立了完整的 GPU 生态系统基于此,美团基础研发平台将 CTR 模型部署到 GPU 上,并通过一系列针对 CPU 与 GPU 的异构系统并行计算设计,数据存储方式和传输方式上的特定优化

    本站了解到,NVIDIA Tesla T4 GPU 是一款推理加速器,搭载 NVIDIA Turing Tensor Core官方称,NVIDIA Tesla T4 GPU 具备人工智能推理的多精度计算性能,从 FP32 到 FP16 再到 INT8,又到 INT4 精度,T4 的性能比 CPU 高出 40 倍,实现性能的重大突破

    不过,NVIDIA未透露联邦贸易委员会反对这项交易的理由,以及英伟达同意做出哪些让步。