网站首页

产品中心

智能终端处理器 智能云服务器 软件开发环境

新闻中心

关于必一运动

公司概况 核心优势 核心团队 发展历程

联系我们

官方微信 官方微博
主页 > 新闻中心

科普 一文看懂AI芯片B体育

发布时间:2024-01-27 23:27浏览次数: 来源于:网络

  B体育AI芯片一般泛指所有用来加速AI应用,尤其是用在基于神经网络的深度学习中的硬件。

  ➢ GPGPU——优势:1)生态完善;2)可进行通用计算,应用范围广;3)目前算力最强。缺点:1)无法针对特定场景优化;2)成本高。

  ➢ ASIC——优势:1)相同价格下算力强大;2)单算力功耗小;3)可以针对特定场景进行优化。缺点:1)没有完整生态,开发、使用成本高;2)通用性差,只能支持特定运算,如矩阵运算等。

  ➢ 据IDC数据, 2022年中国AI加速卡出货量约为109万张, 其中英伟达在中国AI加速卡市场份额为85%。

  ➢ 英伟达GPU产品凭借其性能优势在全球主要云平台中得到了广泛运用,如亚马逊AWS、 Google Compute Engine、阿里云等厂商云平台的主要AI芯片均采购自英伟达。

  ➢ 据IDC数据, 2022年中国仍以GPU为主实现数据中心计算加速, GPU在人工智能芯片市场中出货量占比达86%。NPU占比达12%,较以往具有明显增长。NPU芯片设计逻辑更为简单,在处理推理工作负载时具有显著的能耗节约优势

  ➢算力:单位是FLOPS或者TOPS,表示GPU在单位时间内的峰值运算次数,是GPU的核心性能指标。

  ➢显存:显存的大小在几个GB到几十GB之间,用于存储运算中间过程的临时数据,在GPU算力足够的情况下,显存越大,读取次数越小,延时越低。

  ➢功耗:GPU的功耗和算力、制程、硬件架构等因素有关,相同算力情况下,功耗越大,意味着数据中心的运营成本越高,同时对服务器的电源、制冷都会有更高的要求。

  ➢片间互联:大型AI训练需要使用多个GPU服务器,在服务器外部互联通常使用光纤或高速电缆,而服务器内部GPU之间(通常为8个),则使用NVLink等片间互联技术进行数据交互,如果片间互联传输速率低于服务器外部传输速率,则可能会成为瓶颈。

  ➢显存带宽:GPU与系统内存之间的数据传输速率,单位GB/s;如果显存带宽不足,则系统会出现瓶颈, GPU运算核心可能处于空闲状态,但通常影响不大

  ➢ 以Open AI的GPT-3模型为例,拥有1750亿个参数,租用Azure云服务器进行运算的成本约为200万美金,而实际由于训练通常不止一次,且训练过程中还包括参数的调整等, 参考Alchemy API创始人Elliot Turner估计,训练GPT-3的成本可能接近1200万美金。

  ➢ 近期:假如谷歌所有文字搜索场景全部接入chatgptB体育,按照gpt3的参数数量(1750亿)计算,所需服务器数量仍然超过10万台量级。

  ➢ 远期:考虑到未来模型参数呈指数级增长B体育B体育,且除文字交互外,未来图像、视频等多种形态对算力资源的消耗量或将成数倍级增长,远期推理侧所需服务器数量需求或将成数倍级提升。

下一篇:什么是AI芯片? AI芯片将助力中国打破在行业中的重重阻碍必一运动官方网站
上一篇:B体育2023年AI芯片盘点!NVIDIA遥遥领先 赢麻了

咨询我们

输入您的疑问及需求发送邮箱给我们