首个高稀疏率AI计算卡S100在浪潮内测支持千亿级别大模型
- 2022-07-10 08:59
- 来源:中国经济网
- 发布者:李陈默 阅读量:11435
最近几天,墨芯人工智能首次发布了SparseOne S100在浪潮服务器的测试数据S100是全球首款高稀疏率的AI计算卡,运行多个主流AI模型,性能是国际厂商主流AI推理卡的6倍
值得注意的是,这是墨芯首次披露S100运算可以实现单卡推理大模型,突破了单卡难以满足高算力需求的瓶颈,有效解决了时间长,功耗大,成本高等问题由业界普遍采用多机多卡分布式方式完成对大模型的推理造成的
近几年新兴的NLP模型——T5,曾被称为新NLP SOTA预训练模型,以其高引用数让很多计算卡望而却步但在本次测试中,S100可以在单机单卡环境下运行T5—8B机型,运算能力高达141.8SPS
除了算力高的优势,相比目前国际厂商主流的推理卡只能支持几百亿的参数级模型,墨芯S100可以支持上千亿的参数级模型。
在单机单卡环境下,不影响精度的前提下,S100运行BERT模型和SST—2数据集,性能达到12176SPS运行S100ResNet—50模型和ImageNet数据集,性能达到28,260fps在主频为800 MHz的测试环境下,S100运行ResNet—50模型时,计算能力达到33197 FPS浪潮内部频率为700 MHz
所有测试都是在实际环境中进行的,S100计算卡可以直接在实际场景中使用,因此具有较高的应用价值同时能够满足高能效比,低功耗,高精度的要求,为企业大幅降低部署成本和运维成本
根据消息显示,S100的超高性能来自稀疏计算稀疏性原则是指在AI矩阵运算中,剔除无效元素,大大加快了计算速度,降低了计算成本2021年8月,谷歌人工智能总监杰夫·迪恩在一次TED演讲中表示,稀疏是下一代人工智能架构中最重要的趋势之一
作为稀疏产业的践行者,墨芯的稀疏计算解决方案具有广阔的生态前景墨芯人工智能创始人兼CEO王伟表示,墨芯将构建涵盖软件,硬件和应用的AI计算平台,与研究人员,开发者,软件开发者等合作伙伴一起,为各行各业的用户提供高性能的AI计算服务,共同构建场景丰富,充满活力的稀疏生态
本文地址:http://www.ttai.info/xinwen/57713.html
郑重声明:此文内容为本网站转载企业宣传资讯,目的在于传播更多信息,与本站立场无关。仅供读者参考,并请自行核实相关内容。
- 上一篇:生态城“夜经济”主题活动上线
- 下一篇:返回列表
- 寻找伊犁鼠兔,巨人网络《球球大作战》发起 新闻 日前,巨人网络旗下球战携手中国志愿服务基金会,保护荒野分享志愿服务平台,李维东自... 2022-12-13 14:06
- 喜马拉雅上线首部城市主题原创有声剧《寻泷 新闻 日前,由喜马拉雅和扬州运河文化投资集团联合出品的音频剧《寻龙》在喜马拉雅APP正... 2022-11-18 16:36
- NEIHE内赫 2022春夏新品发布 | 新闻 NEIHE,新生代设计师品牌,以无拘无束为理念,追求个性、舒适、不受约束,把自由... 2022-03-18 14:49
- 极简主义轻奢品-LUERLING新品发布 新闻 2021-2022年在新冠疫情阴霾下,全球消费能力和消费需求均有所下降。反观中国... 2022-03-18 14:49
- 真生相伴,春暖花开——秀雅韩新真生精华乳 新闻 褪去冬的萧瑟,迎来春的气息,万物都在这个清新的空气中苏醒,每个人也都在这个季节充... 2022-03-18 14:48
- BEASTER年轻新势力 | 【野火玩不 新闻 BEASTER年轻新势力|【野火玩不灭】鬼脸集结令已送达假如生活困住了你,请对它... 2022-03-18 14:47
- 开工啦,来看看这些新年时尚穿搭 新闻 开工啦开工啦,新的一年也拉开帷幕,大家有没有准备好战袍,本季迪奥DIOR的这些单... 2022-03-18 14:47
- 开工见喜,欧蕙助你用“光泽肌”一起向未来 新闻 度过了喜悦的春节假期,我们终于迎来了全新的开始。如何才能完美打开新的一年呢?当然... 2022-03-18 14:47