欢迎来到 快商业-商业中国门户
热点动态
 
从“带薪躺平”到AI护梦:慕思掀起了一场全民睡眠健康革命
VIEW CONTENTS
快商业 首页 自媒体 生活家居 查看内容

从“带薪躺平”到AI护梦:慕思掀起了一场全民睡眠健康革命

2025-3-17 15:24| 发布者: mtwork| 查看: 231| 评论: 0
摘要: TencentOS Server AI全面支持满血版DeepSeek R1,在双机16卡的硬件环境上,分别在短输入场景(如知识问答)以及长输入场景(如企业私有信息的检索增强生成)均获得超过2.6倍的推理性能提升!本性能评估采用2台8卡服 ...

TencentOS Server AI全面支持满血版DeepSeek R1,在双机16卡的硬件环境上,分别在短输入场景(如知识问答)以及长输入场景(如企业私有信息的检索增强生成)均获得超过2.6倍的推理性能提升!

本性能评估采用2台8卡服务器,显存总量共1536GB,部署TencentOS Server AI版,2台服务器采用RDMA高速网络互联,测试样本采用通用的数据集。分别测试输入200tokens/输出500tokens以及输入6144tokens/输出1024tokens下的吞吐能力,测试结果如下:


TencentOS Server AI是腾讯云发布的一款针对AI场景的操作系统,提供了从基础架构到AI框架以及模型的全栈式AI环境,一方面简化部署,另一方面通过高性能的AI框架,实现大模型如DeepSeek推理效率成倍的增加。

     

 免责声明:本文为商业资讯,信息仅供参考,用户如将用之消费行为,快商业敬告用户需审慎决定。


鲜花

握手

雷人

路过

鸡蛋
Copyright   ©2015-2024  快商业  Powered by©Discuz!  技术支持:DEAN     ( 粤ICP备19068152号-4