科技云报道:大模型风起云涌,向量数据库终有“用武之地”?

向量数据库和传统数据库的不同点之一是,传统的数据库只能处理计算机容易了解和处理的数据、字符串等结构化数据,通过点查和范围查进行精确匹配,输出只有符合查询条件和不符合条件的答案,而向量数据库处理的是各种AI应用产生的非结构化数据,通过近似查进行模糊匹配,输出的是概率上的提供相对最符合条件的答案,而非精确的标准答案。
事实上,不仅是大模型厂商,云计算厂商凭借在AI基础设施、商业生态、市场规模效应方面的已有优势,也开始聚焦向量数据库市场进行各种技术和商业化尝试,这些尝试或许会让向量数据库加速走向商业成功。

每逢淘金热,最后的赢家都是卖铲人,而非淘金者。在近两年的大模型风口下,向量数据库就成了这把铲子。

随着大模型快速发展,向量数据库正在成为企业便捷使用大模型、最大化发挥数据价值的关键工具。据IDC调查数据显示,全球在AI技术和服务上的支出2023年将达到1540亿美元,到2026年将超过3000亿美元。其中,向量数据库为AI的开发、增强内容生成的准确性提供了重要技术支撑。

在今年数据库领域所有的技术趋势中,向量数据库无疑成为了最受资本热捧的一个。随着5月份大模型厂商掀起一轮又一轮价格战,接连调低大模型API的价格,高性价比的大模型+向量数据库,在行业应用、企业市场又显现出了商业价值。

为什么向量数据库会随着大模型的发展而爆发?它又将给AI行业带来怎样的机会?

大模型的必经之路

首先,我们需要厘清向量数据库在大模型当中扮演了什么角色。

大模型解决的是计算问题,而向量数据库则解决存储问题。这是从2023年初向量数据库崛起开始,至今为止行业内公认的看法。

人们常常把大语言模型比喻成大脑,但这是一个被切除了颞叶的大脑,缺乏记忆,并且常常出现幻觉。为了解决这些问题,常常需要借助向量数据库。

现实生活中两人进行对话,大致需要三步流程:一方首先抛出话题作引子;另一方会先调动记忆判断自己是否了解这个话题,然后再分析给出应该做出何种回答。如此循环往复直到互动结束。

为让计算机完成这样的互动过程,并持续在一对一或一对多的情况下变成日常,AI科学家提出了CVP结构,即“ChatGPT(以ChatGPT为代表的大模型)+Vector Database(向量数据库)+Prompt(提示词)”,分别承担计算机分析、记忆、引子的功能。

放到大模型上,针对其有可能出现的幻觉问题,可以将所需领域的专业知识存入向量数据库,当要prompt时,系统自动的从向量数据库中根据相似度查找最相关的专业知识,把这些知识和你的提示词一同提交给大模型,这样就可以有效减少幻觉的出现。记忆的问题也类似,可以选择把部分你和大模型的聊天记录存入向量数据库。这是向量数据库近期出现热度的原因。

向量数据库和传统数据库的不同点之一是,传统的数据库只能处理计算机容易了解和处理的数据、字符串等结构化数据,通过点查和范围查进行精确匹配,输出只有符合查询条件和不符合条件的答案,而向量数据库处理的是各种AI应用产生的非结构化数据,通过近似查进行模糊匹配,输出的是概率上的提供相对最符合条件的答案,而非精确的标准答案。

以OpenAI背后的GPT模型预训练所用的数据为例,GPT-3.5的“知识库”共包含3000亿单词的数据,汇聚了来自开源语料库、维基百科、各类图书与新闻报道、Reddit与Twitter平台文章等大量互联网文本数据。GPT-4在此基础上体量更大,且为了支持多模态专门收集各类图像、视频素材,这其中非结构化数据应占有极大比重。

正如冰山效应所喻示的“巨大的冰山往往是八分之一浮在水面上,八分之七沉没在水面之下”,真实世界中绝约80%的数据都为非结构化数据,只有约20%的数据是结构化数据。非结构化数据结构复杂且难处理,反而导致有效利用率远低于结构化数据。因此,打造面向非结构化数据的向量数据库也变成了一场从0到1的拓荒。

近年来,一些数据库厂商已经开始原生支持向量嵌入和向量搜索的功能,并提供了相应的向量索引和查询优化技术。这使得开发人员能够更方便地在数据库中存储和查询向量数据,而无需依赖额外的工具或库。

除了大语言模型的推动外,向量数据库在自身技术上也取得了重大突破,特别是在性能优化、数据处理能力和安全性方面。各数据库厂商和研究机构都在致力于改进向量数据库的算法和架构,以提高其处理大规模数据的能力。

ChatGPT的爆发彻底改变了向量数据库的发展速度。2023年3月,在英伟达全球开发者大会上,CEO黄仁勋力挺向量数据库对构建专有大型语言模型的重要价值,“向量数据库的一个新型重要用例是大型语言模型,在文本生成过程中可用于检索领域特定事实或专有事实。英伟达将推出一个新的库,即RAFT,用于加速索引、数据加载和近邻检索。我们正在将RAFT的加速引入到Meta的AI向量相似性搜索FAISS、Milvus开源向量数据库以及Redis。”他如是说。

在资本市场,近一年来向量数据库是当之无愧的“资本宠儿”,Qdrant、Chroma、Weaviate先后获得融资,成立短短几年的Pinecone宣布1亿美元B轮融资,估值达到7.5亿美元。可见,无论从技术演进还是资本市场来看,向量数据库都是这两年最亮眼的技术。

向量数据库的商业化探索

在大模型兴起之前,传统数据库已经在不断尝试与AI结合,主要涉及以下几个方向:AI for DB、DB for AI、预测估算。随着大模型的兴起,可以看到在这些方向上,数据库与AI间的关联比以往任何时候都要密切。

在“AI for DB”方面,将AI技术嵌入到传统数据库中,使其具备更智能的功能。例如,通过大模型,数据库可以实现更高级的数据分析、智能搜索和推荐等功能。AI技术的应用使得数据库能够更好地理解和处理数据,提供更精确的查询结果和分析报告。

对于“DB for AI”方面,传统数据库可以为大模型提供结构化数据和非结构化数据高效的存储和查询能力。由于大模型通常需要处理大规模的数据,传统数据库的可伸缩性和性能变得尤为重要。数据库可以通过融合查询和差异化存储等技术,提供快速的数据访问和处理能力,满足大模型对数据的高效需求。

此外,大模型的兴起还为数据库注入了预测估算的能力。大模型可以通过学习历史数据和模式,对未来的趋势和结果进行预测和估算。传统数据库可以集成模型,实现对数据的预测分析。这使得数据库可以不仅提供对历史数据的查询和分析,还能够提供对未来数据的预测和估算结果,帮助用户做出更准确的决策。

事实上,不仅是大模型厂商,云计算厂商凭借在AI基础设施、商业生态、市场规模效应方面的已有优势,也开始聚焦向量数据库市场进行各种技术和商业化尝试,这些尝试或许会让向量数据库加速走向商业成功。

首先,多元化部署能力。垂直行业大模型,数据都是私有机密的,客户一般不愿意放到公有云上,这对一部分支持混合多云的云厂商是一大利好,通过私有部署、分布式、混合云等多种方案,打消行业客户将数据放到云端的现实疑虑。

其次,一体化AI能力。向量数据库的火爆,本质是由AI驱动的,而AI Native时代的数据工程,还有许多复杂问题尚待解决,比如检索效率,在处理大规模数据的并行任务时,保持快速响应时间是一个挑战,需要优化索引结构和搜索算法;高负载下的系统稳定性,需要确保数据库系统具备高可用性和容错能力,防止服务中断;存储海量的向量数据,成本效益比要进一步优化……目前来看,云厂商具备从底层算力集群、Maas模型平台到全栈工具链的AI能力,有望通过技术协同创新,持续优化向量数据库的性能和成本。

第三,产业服务能力。各行业对AI与业务的结合热情高涨,但大多还处于尝试探索期,需要结合自身场景、AI应用、IT设施等多种因素试错并迭代。这个过程中,随叫随到、帮助客户及时解决问题的ToB服务能力,也是非常看重的。深耕产业的公有云,有望降低很多企业在AI技术革命中的机会成本。

从某种程度上而言,无论是向量数据库,还是大模型,归根结底,人们在追捧它时的心态,焦虑大于需求。而这种焦虑则来源于“害怕被落下”。

而向量数据库的热潮,在一定程度上外化了人们的焦虑。但这并不能否定向量数据库的实际价值,甚至更长远的价值。

虽然,目前向量数据库仍处于发展初期,但可以确定的是,向量数据库与大模型一定是捆绑关系。因此,未来其演进方向也一定随着大模型能力的演进而发生变化。

不可否认的是,向量数据库的未来有星辰大海,也有曲折的前路。背靠大模型,向量数据库成为资本追捧的“宠儿”。然而,在未来的AGI时代,向量数据库还有更多实事要干。

声明: 该内容为作者独立观点,不代表新零售资讯观点或立场,文章为网友投稿上传,版权归原作者所有,未经允许不得转载。 新零售资讯站仅提供信息存储服务,如发现文章、图片等侵权行为,侵权责任由作者本人承担。 如对本稿件有异议或投诉,请联系:wuchangxu@youzan.com
(0)
上一篇 2024年5月31日
下一篇 2024年5月31日

相关推荐

  • 抖音不再陪小杨哥“疯狂”

    就在抖音电商峰会一周前,快手一哥辛巴炮轰小杨哥,指责其在质检、售后、赔偿态度等方面存在问题,模仿辛选的商业模式,以及小杨哥此前销售的一些产品如茅台酒、梅菜扣肉等存在质量问题,如果小杨哥不处理,他将用一亿元替小杨哥进行赔付。
    在2022年9月的抖音电商作者峰会上,刚转型直播带货一年的小杨哥,第一次获得了抖音电商的卓越个人奖。
    在短视频时代,抖音成就了小杨哥,正如小杨哥感谢抖音那般,“它具有很强的开放性和包容性,它给每一个人都提供平等展示自我的机会”,小杨哥也为抖音带来了很多用户,高峰时期小杨哥抖音粉丝量超过了1.2亿。

    2024年9月20日
  • 科隆新材IPO:业绩波动、内控缺位或成上市“拦路虎”

    上半年业绩表现不佳
    科隆新材的主营业务是液压组合密封件和液压软管等橡塑新材料产品的研发、生产和销售,以及煤矿辅助运输设备的整车设计、生产、销售和维修,同时也为风电、军工、高铁等行业客户提供定制化橡塑新材料产品。
    同时,如果未来煤炭主体能源地位被快速替代,下游客户新机装备需求减少,科隆新材又未能拓展旧机维修业务,或是未能适应市场变化、新技术和新产品未能顺应市场发展趋势,那么科隆新材就存在橡塑新材料产品经营业绩下滑的风险,甚至可能会对公司整体经营业绩造成不利影响。

    商业密码 2024年9月20日
  • 淘宝倒逼新风向:一场电商减负运动

    但售后服务同时也是电商变革最复杂的一环,开店、佣金、流量推广都只是商家与平台间的服务交易,售后却涉及平台导向、商家成本和消费者体验三方,且受社会消费情绪变化、平台生态优劣的直接制约,是各方利益最难平衡的地方。
    我们也发现,在这个过程中,电商平台的自我角色定位也在调整,从推出「仅退款」的游戏规则制定者、大家长,逐渐过渡到生态系统的设计者、平衡商家和消费者利益的服务商。

    商业密码 2024年9月20日
  • 博浪AI时代,阿里、华为“硬碰硬”

    根据申万一级行业分类,阿里巴巴概念板块156家上市公司分布于22个行业,其中传媒、电子、商贸零售、通信、医药生物分别聚集了50、25、13、11、9只概念股。
    根据申万一级行业分类,华为概念板块896家上市公司分布于28个行业,其中,计算机、电子、机械设备、通信、电力设备分别聚集了220、193、92、65、61只概念股。

    商业密码 2024年9月20日
  • 员工挂“罪牌”戴纸托手铐引质疑,80后王云安创立的古茗又“翻车”了

    员工头挂“罪牌”手戴纸托手铐,古茗玩梗惨遭翻车
    近日,古茗员工头挂“罪牌”、手戴形似手铐纸托的视频,在社交平台上广泛传播,引发诸多网友热议。
    至于上海,王云安认为该市场毗邻浙江,因此会有一定的消费者基础,但是上海奶茶行业竞争激烈,外卖比例很高,相对来说门店的收益更难做好,“我们在进省会城市,以及大的一线城市的时候,我们一定是做好准备了再去的,比如上海的消费者到底要什么,我们进去应该怎么做才可以让更多的店做得更好,古茗能够给上海的消费者带来什么样的不同呢,这些是我们要去思考的。

    商业密码 2024年9月20日
  • 古井教父悲情收场

    1986年之后的十年里,古井的资产增长了18倍,利润增长了24倍,王效金也因此被称为“古井教父”,甚至是“中国酒界第一人”。
    这款拥有1800多年历史的安徽名酒也许永远也不会再与茅台并肩了,但如今也可以称得上再度振兴,尤其是这一切还建立在王效金的固执和自大,当年差一点毁了古井贡酒的基础上。
    他甚至曾经在公开场合说过,王效金就是古井,古井就是王效金,“效忠”古井就是效忠他。

    2024年9月20日
  • 直言AI不如原创,吴克群凭什么?

    吴克群的原创音乐哲学
    来到《音乐缘计划》,吴克群分外真诚。
    如此来看,吴克群选择参与《音乐缘计划》这一原创音乐综艺,正是源自于他与原创音乐人之间的惺惺相惜。
    在分享创作心得、探讨音乐理念时,吴克群不再简单是一个综艺节目的嘉宾,他也是作为一名原创音乐人出现在舞台上,让一切热爱与纯粹都具象化。
    于是,面对当下音乐生态的顽疾,新生代音乐人的困境,吴克群会在稳定的音乐事业之外,积极参与各种原创音乐活动。

    商业密码 2024年9月20日
  • 专门“收割”妈妈们的特百惠,被时代抛弃了

    02特百惠被时代抛弃了
    《新品略财经》记得三四年前,在深圳龙华区某购物中心还开了一家特百惠的店,也曾在店里买过东西,当时的印象是特百惠的产品卖得还不错。
    在《新品略财经》看来,特百惠既是时代的产物,也是被时代抛弃的产物,这与消费环境、消费需求、市场竞争,乃至是与特百惠的传统商业模式等各方面密切相关。
    从产品层面来说,特百惠是化学科技运用到日用物品的代表案例,在特百惠诞生的年代,家庭有着食物保鲜难的痛点,特别是在冰箱不普及的年代,特百惠犹如“刚需”般存在。

    商业密码 2024年9月20日
  • 县城消费的另一面:喝奶茶的少了,钓鱼的多了

    图源:作者拍摄

    图源:作者拍摄
    刘子涵继续说道,现在同学之所以不愿意喝新茶饮,还有一部分原因是,学生们对新茶饮的口感愈发失去新鲜感。

    图源:作者拍摄
    但并不是所有县城零食折扣店都这么火爆,中秋节假日当晚当地赵一鸣零食折扣店偌大的门店看不到太多顾客,收银台前也仅有几个顾客在排队结算。

    图源:受访者提供

    有人为钓鱼投入千元,有人干起代购
    和新茶饮相对冷清、零食折扣店门店客流分化不同的是,部分业态在县城仍迎来火爆。

    2024年9月19日
  • 闪回科技二度冲刺港股,深陷盈利困境,雷军看走眼了?

    在回收生意的上游,闪回科技通过闪回收从消费电子厂商、零售商、运营商以及C端消费者处获取二手手机供给。
    在下游销售端,闪回科技以“闪回有品”面向B端商户和消费者进行二手机和新机的销售,公司接近90%营收由闪回有品贡献。”

    B端渠道的手机厂商是闪回科技高增长最大的助力,但与之相伴的是,面对强势的手机大厂,闪回科技没有议价权,还需要向手机厂商支付高昂的保证金和促销服务费。

    2024年9月19日