首页|必读|视频|专访|运营|制造|监管|大数据|物联网|量子|元宇宙|博客|特约记者
手机|互联网|IT|5G|光通信|人工智能|云计算|芯片报告|智慧城市|移动互联网|会展
首页 >> 移动互联网 >> 正文

Zilliz@阿里云:大模型时代下向量数据库处理非结构化数据的最佳实践

2023年9月23日 15:41  CCTIME飞象网  

大模型时代下的数据存储与分析该如何处理?有没有已经落地的应用实践?

为探讨这些问题,近日,阿里云联合 Zilliz 和 Doris 举办了一场以《大模型时代下的数据存储与分析》为主题的技术沙龙,其中,阿里云对象存储 OSS 上拥有海量的非结构化数据,Milvus(Zilliz)作为全球最有影响力的开源向量数据库项目 、Doris(飞轮科技)作为热门的数据分析项目,都积累了丰富的非结构化数据处理和分析的最佳实践。

沙龙现场,Zilliz 运营与生态负责人李晨进行了名为《向量数据库:大模型的记忆体》的主题分享。

受大模型催化,向量数据库方兴未艾。与传统数据库相比,向量数据库面向高维度向量,可以更好地处理图像、音频和视频等非结构化数据。李晨主要介绍了向量数据库的基本原理、应用场景和演进方向,以及 Zilliz 在此方向中的积累和心得。

他表示,向量数据库是 AIGC 大模型的重要补充,是提供准确可靠、高度可扩展的长短期“记忆”的关键载体,其在 LLM领域的应用主要可以分为以下 6 类:管理私有数据和知识库、为大模型提供实时数据更新、实现大模型的个性化和增强、提供智能体的记忆、保存大模型的处理结果、构建更复杂的AI系统。当然,这其中离不开一个新的程序开发应用范式—— CVP Stack。

在 CVP Stack 中,C是以 ChatGPT 为代表的大模型,它在 AI 程序中充当中央处理器的角色;V 代表 Vector Database,即以 Zilliz Cloud 和 Milvus 为代表的向量数据库,为大模型提供知识存储;P 代表 Prompt Engineering,各环节通过 Prompt 的方式进行交互。

相比单模型架构,CVP 架构在灵活性、可扩展性、实时性、成本四个维度都有明显优势。最关键的原因是,在 CVP 架构中,领域知识可以用数据入库的形式进行更新,而非重新训练或微调模型,向量数据库是该架构的重要组成部分。这其中一个典型的应用实践就是 OSSChat(https://osschat.io/chat),它用于解决开源项目文档冗长、不易查找等问题,目前已经支持几十个主流的开源项目。

此外,为了进一步降低应用构建成本,提供标准化组件,Zilliz 已与全球头部大模型生态完成了 C-V 间对接。2023 年 3 月,Zilliz 作为 OpenAI 首批向量数据库合作伙伴,完成了 Milvus 与 Zilliz Cloud 插件化集成,作为官方推荐的向量数据库插件提供给广大应用开发者。同时,Zilliz 还与 LangChain、Cohere、LlamaIndex、Auto-GPT、BabyAGI 等热门项目进行了深度集成。值得一提的是,Zilliz Cloud 已经正式在国内提供云服务,也在今年7月份官宣了和阿里云的合作,相信在双方的努力配合下,一定可以让用户享受到更好的产品和服务。

编 辑:T01
声明:刊载本文目的在于传播更多行业信息,本站只提供参考并不构成任何投资及应用建议。如网站内容涉及作品版权和其它问题,请在30日内与本网联系,我们将在第一时间删除内容。本站联系电话为86-010-87765777,邮件后缀为#cctime.com,冒充本站员工以任何其他联系方式,进行的“内容核实”、“商务联系”等行为,均不能代表本站。本站拥有对此声明的最终解释权。
相关新闻              
 
人物
工信部张云明:大部分国家新划分了中频段6G频谱资源
精彩专题
专题丨“汛”速出动 共筑信息保障堤坝
2023MWC上海世界移动通信大会
中国5G商用四周年
2023年中国国际信息通信展览会
CCTIME推荐
关于我们 | 广告报价 | 联系我们 | 隐私声明 | 本站地图
CCTIME飞象网 CopyRight © 2007-2024 By CCTIME.COM
京ICP备08004280号-1  电信与信息服务业务经营许可证080234号 京公网安备110105000771号
公司名称: 北京飞象互动文化传媒有限公司
未经书面许可,禁止转载、摘编、复制、镜像