英特尔第一时间支持混元Hy3， 至强6适配优化已就位

7月6日，腾讯新一代自研通用多模态大模型混元Hy3正式发布并开源。相比preview版本，它展现出显著强于同尺寸模型且比肩（参数规模2—5倍的）旗舰模型的智能水平，不仅延续了清晰陡峭的能力增长曲线，并且通过进一步提升后训练的算力规模以及数据质量和多样性，在各类任务上再次跃升，以较小尺寸首次比肩国内外大尺寸旗舰模型的效果。英特尔作为混元模型在算力平台领域的重要合作伙伴，也在第一时间完成了Hy3在至强® 6处理器与Gaudi® 2E AI加速器平台上的适配与优化,以实际行动来加速优质开源大模型在产业应用中的快速落地。

此次英特尔对Hy3的快速支持与适配优化，包含了针对该模型中多个关键组件与算子的优化，这让至强® 6处理器平台能够通过充分释放其内置的英特尔® AMX（高级矩阵扩展）技术的潜能，为该模型提供更为高效且强劲的推理加速支撑，进而可在推荐配置下，仅使用单台至强® 6服务器即可部署总参数295B、BF16精度的满血版Hy3模型。

至强® 6平台部署方案

目前，英特尔已在SGLang主分支完成针对Hy3与至强® 6处理器硬件特性的专属优化，以最大化发挥这款处理器平台的算力与带宽优势。按照以下步骤，即可完成该模型在至强® 6平台上的安装与适配：

平台推荐配置：搭载两颗至强® 6性能核处理器，推荐选用6978P（120核）或6980P（128核）型号，每颗处理器均需配置为SNC3模式，整个平台建议搭配1TB或以上容量的内存。

·安装指南参考：https://docs.sglang.io/platforms/cpu_server.html#installation

·至强®服务器server启动指南参考：

https://docs.sglang.io/platforms/cpu_server.html#launch-of-the-serving-engine

#启动server命令python -m -sglang.launch_server--model-pathHY-3.0_ID--dtypebfloat16--trust-remote-code--devicecpu--disable-overlap-schedule--tp6

值得一提的是，如果想获得更好的解码性能，可以在server启动命令中增加"--enable-torch-compile"。

Gaudi® 2E AI加速器平台部署方案

英特尔® Gaudi® 2E AI加速器对Hy3的支持和适配也已就绪，在仅使用单节点4卡高速互联的情况下即可完成该模型的部署与应用，为用户带来更高的灵活性及更低的部署和应用门槛。

按照以下步骤，既可完成Hy3模型在Gaudi® 2E AI加速器上的部署：

平台推荐配置：单节点适配方式需要安装至少4块Gaudi® 2E PCIe加速卡，基于单卡96GB HBM的配置实现4卡384GB的HBM总容量。

·Gaudi® 2E AI加速器针对Hy3的技术资源，现已上传至Github：

https://github.com/HabanaAI/vllm-fork/tree/aice/v1.22.0

·按照下述步骤操作，即可安装上述链接中提供的vllm-fork及vllm-hpu-extension库：https://github.com/HabanaAI/vllm-fork/blob/aice/v1.22.0/scripts/docs/vllm%E6%8E%A8%E7%90%86%E6%89%8B%E5%86%8C.md#10-%E7%8E%AF%E5%A2%83%E9%83%A8%E7%BD%B2

·再按照下述步骤，用下载得到的Hy3 FP8模型权重目录,进行转换后即可部署使用该模型：https://github.com/HabanaAI/vllm-fork/blob/aice/v1.22.0/scripts/docs/vllm%E6%8E%A8%E7%90%86%E6%89%8B%E5%86%8C.md#384-fp8%E7%B2%BE%E5%BA%A6%E6%A8%A1%E5%9E%8B%E9%83%A8%E7%BD%B2