发布信息

英伟达DeepSeek - R1模型NIM微服务预览版已在build.nvidia.com推出

作者:软荐小编      2025-01-31 10:01:48     241

它在1月31日举行的“收藏新闻” NVIDIA今天宣布,DeepSeek-R1模型现在是在build.nvidia.com上作为NVIDIA NIM Microservice预览提供的。 DeepSeek-R1 NIM微服务可在单个NVIDIA HGX H200系统上提供高达3,872个令牌。

模型运行平台__英伟达模块

根据报告,开发人员可以测试和测试应用程序编程接口(API)。该界面有望作为可下载的NIM微服务提供,该界面是NVIDIA AI Enterprise软件平台的一部分。

DeepSeek-R1 NIM微服务通过支持行业标准API来简化部署。企业可以通过在其首选的加速计算基础结构上运行NIM微服务来最大化安全性和数据隐私。将NVIDIA AI Foundry和Nvidia Nemo软件结合在一起,公司还将能够为专用AI代理创建Custom DeepSeek-R1 Nim Micro-Service。

众议院注意到,为了促进各种规模的AI服务的部署,NVIDIA于2024年3月推出了NIM(NVIDIA推理微服务)Yunyuan Micro -Service。

NIM是一个优化的基于云的微服务,旨在缩短营销时间,并简化云,数据中心和GPU加速器工作站的任何位置的Aen Generation AI模型的部署。它使用行业标准API来抽象AI模型开发和生产的开发和生产的复杂性,从而扩大了开发人员池。

相关内容 查看全部