近日,测试超NVIDIA宣布其NIM(NVIDIA Inference Microservices)技术现已支持DeepSeek-R1。测试超NIM是测试超一种云原生微服务技术,旨在简化生成式AI模型在云端、测试超数据中心及GPU加速工作站上的测试超部署流程。
NVIDIA官网发布文章指出,测试超DeepSeek-R1是测试超目前最先进的推理开放模型。该模型通过对查询进行多次推理处理,测试超采用连锁思维、测试超共识和搜寻方法来生成最佳答案。测试超为了帮助开发者安全地试验这些功能,测试超并构建自己的测试超专门代理,DeepSeek-R1模型现已作为NVIDIA NIM微服务预览版上线使用。测试超
在性能测试方面,测试超根据外媒的测试超测试,RTX 5090在DeepSeek R上的推理性能显著优于AMD的RX 7900 XTX,性能至少翻了一倍。测试结果显示,在多个DeepSeek R1型号中,RTX 5090不仅明显领先于RX 7900 XTX,也比RTX 4090快了不少。
具体来说,在Distill Qwen 7b和Distill Llama 8b模型中,RTX 5090每秒可运行200个Tokens,几乎是RX 7900 XTX的两倍。这一数据进一步证实了RTX 5090在推理性能上的显著优势。