微软公司今日宣布推出 Mu ，这是一款内置于 Windows 11的新型设备端小型语言模型。该模型旨在为用户提供更加智能和自然的语言交互体验，进一步优化系统设置中的搜索功能。
去年，微软曾推出搭载专用神经处理单元（NPU）的 Copilot + 个人电脑，该 NPU 算力超过 40 TOPS。这些电脑配备了 Phi - Silica，一款用于在设备上为微软第一方应用程序以及第三方开发者应用程序提供语言智能功能的本地 SLM（小型语言模型）。
如今，微软在 Windows 11 中引入了 Mu，这是一款全新的本地小型语言模型。微软的目标是创建一个基于人工智能的智能代理，使其能够理解用户的自然语言查询，并将其无缝集成到系统设置应用中现有的搜索框内，从而为用户提供更加流畅的使用体验。为此，微软利用 Mu 模型为设置应用中的新代理功能提供支持，该功能最近已在开发频道向 Windows 预览体验计划成员开放，且仅限于使用 Copilot + 个人电脑的用户使用。
据IT之家了解，与 Phi - Silica 类似，Mu 被设计为能够在 NPU 上高效运行，能够在本地以每秒超过 100 个 token 的速度运行。在官方博客文章中，微软详细介绍了 Mu 语言模型的设计和训练过程。以下是 Mu 语言模型的概要信息：
Mu 是一款拥有 3.3 亿参数的编码器 - 解码器语言模型。与同尺寸的解码器模型相比，编码器 - 解码器架构能够将首 token 延迟降低约 47%，并将解码速度提高 4.7 倍。Mu 在某些组件中采用了权重共享技术，以减少总参数数量。微软利用 NVIDIA A100 GPU 在 Azure 机器学习平台上对 Mu 进行了训练。尽管 Mu 的尺寸仅为 Phi - 3.5 - mini 的十分之一，但其性能几乎与经过类似微调的 Phi - 3.5 - mini 相当。此外，该模型更适合处理多词查询。对于短词或部分词输入，系统设置应用仍会在搜索框中显示词汇和语义搜索结果。
对于有兴趣体验这一全新人工智能代理功能的用户，可以下载 Windows 11 Build 26120.3964（KB5058496）或更高版本，以体验 Windows 设置应用中的这一新功能。
