声网兄弟公司 Agora与OpenAI 携手 助力多模态 AI 智能体实现实时交互

据声网兄弟公司 Agora 的blog，近日 Agora 宣布对OpenAI Realtime API的支持进一步升级和优化，新增自动问候、混合模态交互、选择性注意力锁定等更先进的功能，这些功能现已全面开放，将为用户与AI 智能体提供更自然的交互体验。

Agora与OpenAI于去年10月达成合作，Realtime API是首个集成到 Agora平台中的多模态大语言模型(MLLM)。该联合解决方案通过降低开发复杂度，同时释放实时互动中的先进功能，助力开发人员打造更自然、响应更迅速且更具人性化的 AI 智能体。

Agora 对话式 AI 引擎现新增以下功能，助力实现人与 AI 智能体的自然交互：

● 自动问候：确保实时感知会话状态，并提供自然、友好的初始交互体验。

● 混合模态交互：支持在单个交互会话内，实现语音与文本输入的无缝切换。

● 灵活的话轮检测选项：为开发者提供对对话流程和话轮转换行为的精细化控制。

● 无中断输入：通过选择性注意力锁定技术，可过滤环境噪音与干扰语音，确保交互过程不中断。

这套方案不仅能简化Realtime API的应用流程，还能为多模态 AI 智能体解锁全新功能与应用场景。将 OpenAI的实时语言模型与声网的全球实时网络基础设施(SD-RTN)及定制化开发者工具包相结合后，开发者既能缩短产品上市时间、简化应用开发流程，又能交付更优质的实时对话式 AI 体验。

据悉，机器人技术初创公司Carbon Origins已在通过 Agora的技术以及 OpenAI RealtimeAPI 实现重型设备的无接触操作，提升操作人员的工作效率。