- 最新活动 HOT
-
产品
? ×
未搜索到相关产品，请重新输入
- 容器服务
- 原生容器
- 容器镜像仓库
- Kubernetes 集群
- 智算服务 公测中
- CDN 与边缘
- 内容分发网络 CDN
- MCDN NEW
- 边缘可用区
- 灾备与迁移
- 云迁移
- AI工具服务
- 京东云智能搜索
- JoyCode 智能编码助手
- AI数据服务
- 众智智能数据标审
- 云资源管理
- 资源编排
- 优化顾问 Advisor
- 数据应用与可视化
- 京东莫奈可视化平台
- 智能可视化分析平台 JD BI NEW
-
解决方案
? ×
未搜索到相关产品，请重新输入
- 混合云解决方案
- 安全合规
- 云原生解决方案
- 云交付服务
- DevOps解决方案
- 数智化平台
- 数字政府
- 金融
- 能源
- 农业
- 数字生活
- 企业金融
- 交通
- 教育
- 数字产业
- 泛零售
- 制造
- 城市感知
- 泛互联网
- 地产园区
- 云市场
- 开发者
- 合作伙伴
- 支持与服务
- 关于我们
数智供应链
新一代企业云课程
DevOps架构师课程
分布式动态缓存 KVCache
分布式动态缓存KVCache 是京东云推出的一种用于加速大模型推理的高效缓存存储（KVCache存储），通过智能缓存模型中间结果，显著加速多轮推理响应，优化推理时延，降低计算开销，提升系统吞吐与用户体验。为大模型推理提速，是高效AI服务的性能引擎。
分布式动态缓存KVCache 是京东云推出的一种用于加速大模型推理的高效缓存存储（KVCache存储），通过智能缓存模型中间结果，显著加速多轮推理响应，优化推理时延，降低计算开销，提升系统吞吐与用户体验。为大模型推理提速，是高效AI服务的性能引擎。
产品特性
KVCache存储显著加速多轮推理响应，支持长对话与超长上下文延续，提升系统吞吐与用户体验。
降低GPU占用，有效提升GPU等计算资源利用率，成本节省超30%以上。
支持公有云、托管和私有化部署方式，满足不同业务形式的需求，提供加速服务，降低存储成本。
支持多种访问方式，兼容京东言犀及其他的大语言框架，能够在不同的推理场景中使用，满足对KVCache的多样化访问需求。
应用场景
以存代算，先存储数据，在 KVCache 命中时，有效降低 GPU计算量；根据统计命中率大约在 40~70%；即在预填充阶段可以节省 40~70% 的算力。同时首 Token 延迟降低 60%以上。
- 场景介绍
- 以存代算，先存储数据，在 KVCache 命中时，有效降低 GPU计算量；根据统计命中率大约在 40~70%；即在预填充阶段可以节省 40~70% 的算力。同时首 Token 延迟降低 60%以上。
借助高性能且可水平扩展的 KVCache 存储，可在文生图、文生视频等多模态推理场景中，有效支撑批量图片生成及长序列视频帧处理过程中的高并发请求，显著提升系统吞吐率与响应效率。
- 场景介绍
- 借助高性能且可水平扩展的 KVCache 存储，可在文生图、文生视频等多模态推理场景中，有效支撑批量图片生成及长序列视频帧处理过程中的高并发请求，显著提升系统吞吐率与响应效率。
在医疗体检报告分析场景中，通过KVCache存储方案，大量缓存医学体检知识，结合插件技能，快速实现体检报告分析，输出体检报告的速度提升了百倍。满足单次万级以上Token的需求，有效提升医疗行业应用场景下的应用效能。
- 场景介绍
- 在医疗体检报告分析场景中，通过KVCache存储方案，大量缓存医学体检知识，结合插件技能，快速实现体检报告分析，输出体检报告的速度提升了百倍。满足单次万级以上Token的需求，有效提升医疗行业应用场景下的应用效能。
开始与售前顾问沟通
可直接拨打电话 400-098-8505转1
我们的产品专家为您找到最合适的产品/解决?案
1v1线上咨询获取售前专业咨询
专业产品顾问，随时随地沟通
Copyright ? 2012-2025 JDCloud.com 版权所有 京公网安备11030102011640号 京ICP备11041704号-31 京ICP证070359号 代理域名注册服务机构： 新网互联 | 新网数码 隐私声明 资质证照
