华为云发布的《EMS弹性内存存储技术白皮书》介绍了弹性内存存储服务(EMS),这是一种以内存为主要存储介质的云基础设施服务。EMS的推出旨在解决云计算基础设施中存在的持久化存储性能不足、DRAM利用率低和HBM内存墙等问题,通过将传统的“计算-存储”两层架构升级为“计算-内存-存储”三层架构,提升了资源的弹性、利用率和性能。
EMS通过内存池化技术,将AI服务器中的DRAM资源解耦并形成内存池,实现了资源的按需分配和高效利用。在AI推理场景中,EMS通过以存代算、显存扩展和计算卸载技术,降低了首字时延,提升了解码吞吐量,并支持了更长的序列长度。在AI训练场景中,EMS通过并行训练拓扑感知的检查点保存、基于NPU通信的检查点恢复和选择性检查点持久化技术,实现了极低的检查点操作时延。
此外,EMS还针对推荐模型场景提供了Embedding池化存储、Embedding均衡打散和增量检查点等加速技术,实现了高性能访问。EMS的软件架构由分布式内存池、领域专用服务SDK和管理控制面三部分组成,具备易用性、弹性扩展和高可用性。
白皮书总结指出,EMS将不断演进并扩展至更多通用计算场景,如在线事务处理数据库、混合事务/分析处理数据库、向量数据库、Redis缓存系统和大数据分析等应用领域,以支持更广泛的业务需求。
来源:华为
关于我们
我们是一家专注于分享国内外各类行业研究报告/专题热点行业报告/白皮书/蓝皮书/年度报告等各类优质研究报告分享平台。所有报告来源于国内外数百家机构,包含传统行业、金融娱乐、互联网+、新兴行业、医疗大健康等专题研究.....目前已累积收集近80000+份行业报告,涉及众多大板块,多个细分领域。
内容涵盖但不限于(市面上有的基本都有):
1、互联网运营、新媒体、短视频、抖音快手小红书等等;
2、房地产、金融、券商、保险、私募等;
3、新技术(5G)、金融科技、区块链、人工智能类;
4、电子商务、市场营销、运营管理、麦肯锡、德勤等;
5、快消品、餐饮、教育、医疗、化妆品、旅游酒店、出行类等;
免责声明:
本平台只做内容的收集及分享,报告版权归原撰写发布机构所有,由圣香智库社群通过公开合法渠道获得,如涉及侵权,请联系我们删除;如对报告内容存疑,请与撰写、发布机构联系。
内存池弹性圣香智库内存报告发布于:浙江省声明:该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。- 上一篇:没有了
- 下一篇:年货节调研:地域特色年货走红 超六成人点赞京东年货礼盒品类更丰富、价格更便宜