脸书专页
粉丝交流群
RSS/FEED订阅AI 搜索引擎革命：挑战 Google 霸主地位的新玩家 - Exa
在经历了近30年的发展后,搜索引擎技术似乎走入了创新的瓶颈。当世界正在经历新一轮 AI 革命时,搜索引擎依然停留在”十个蓝色链接”的老旧模式(以及各种 Sponsor 和百度“创新”的竞价排名 ?♂️)。
一家名为 Exa(https://exa.ai) 的创业公司正试图通过重构搜索引擎的底层架构,开创 AI 时代搜索的新范式。最近 Exa CEO – Will Bryk 在 Latent Space 播客访谈中(阅读原文进入)对 Exa 的理念和技术进行了详尽的探讨，咱们这篇文章将深入解析 Exa 的技术创新及对搜索行业的深远影响。
搜索引擎的技术困境
传统搜索引擎的架构设计深受其时代局限。Google 的搜索引擎架构形成于1998年,那时还没有 Deep Learning、LLM 这些现代 AI 技术。正如 Will Bryk 所说：
Google was built in a time where like in, you know, in 1998, where we didn’t have LLMs, we didn’t have embeddings. And so they never thought to build those things.
这种历史包袱导致了搜索引擎难以突破的技术天花板！
首当其冲的是400毫秒响应时间的限制。这个来自用户体验研究的硬性要求,实际上限制了搜索引擎进行更深入的语义理解。在如此短的时间窗口内,任何复杂的语义分析都无法实现,搜索引擎只能依赖预先建立的索引和简单的关键词匹配。
其次是关键词匹配的局限性。即便 Google 在语义理解方面做了诸多优化,但其核心仍然是基于关键词的匹配系统。Will 举了一个生动的例子，这个看似简单的反例实际揭示了传统搜索引擎在语义理解层面的根本缺陷。
You would give it a simple query, like, shirts without stripes, and it would give you a bunch of results for the shirts with stripes.
最后是全网覆盖带来的计算资源压力。为了保持对整个互联网的索引,传统搜索引擎必须在索引效率和深度理解之间做出妥协。这导致了一个悖论：索引越全面,理解就越肤浅。
ChatGPT 的出现让这些局限变得更加明显。当用户可以用自然语言与 AI 对话并获得准确答案时,传统搜索引擎的交互模式显得异常原始。用户不再满足于筛选、阅读和整合多个网页的信息,他们期待搜索引擎能够直接理解问题并提供答案。
Exa 的技术创新
Exa 对搜索引擎的重新思考始于一个基本洞察：搜索的本质是理解,而不仅仅是匹配。这种认知引导他们开发了一系列突破性的技术创新。
神经 PageRank：搜索的范式转移
传统的 PageRank 算法通过分析网页间的链接关系来确定页面重要性,这在互联网早期是一个优雅的解决方案。但随着互联网的演进,这种方法越来越难以捕捉内容的真正价值。Exa 提出的神经 PageRank 则从根本上改变了这种思路。
The link prediction objective can be seen as like a neural PageRank because what you’re doing is you’re predicting the links people share… but it’s strictly more powerful because people might refer to that Paul Graham fundraising essay in like a thousand different ways.
Will 的这段话揭示了神经 PageRank 的核心优势：它不仅看链接本身,还理解链接的语义环境。这意味着系统能够理解同一内容的不同表达方式,从而更准确地评估内容的重要性。
计算架构的革新
为支持这种深度语义理解,Exa 投资了一个价值500万美元的 H200 GPU 集群。这个决策反映了他们对搜索引擎架构的重新思考。传统搜索引擎被困在400毫秒的响应限制内,而 Exa 提出了一个更具弹性的方案。
People think of searches as like, oh, it takes 500 milliseconds because we’ve been conditioned… But what if searches can take like a minute or 10 minutes or a whole day, what can you then do?
这种新的计算架构采用了混合计算模式。对于一些基础的信息检索,系统仍然保持快速响应；但对于需要深度理解和综合分析的查询,系统会分配更多的计算资源和时间。这种灵活性使得 Exa 能够提供传统搜索引擎无法实现的深度语义理解服务。
技术栈的现代化
Exa 的技术栈分为三大核心系统：爬虫系统、AI 处理系统和服务系统。
这种架构在 Google 可能需要数百甚至上千人维护,但 Exa 通过现代化的系统设计,实现了小团队的高效运作。正如 Will 提到：
Those are all like, you know, teams of like hundreds, maybe thousands of people at Google. Um, but for us, it’s like one or two people each typically.
这种效率来源于系统的高度自动化和智能化。爬虫系统不仅负责内容获取,还包含智能的URL发现和优先级管理；AI 处理系统处理深度语义理解和链接预测；服务系统则优化了向量数据库和动态计算资源调度。
AI 搜索的技术路线之争
在 AI 搜索领域,目前形成了三种主要的技术路线,每种路线都反映了不同的技术理念和战略选择。
不同路线的本质差异
· Perplexity 采用传统搜索引擎+LLM 的组合方案,这种方式优势在于快速落地,但本质上仍受限于传统搜索引擎的能力。
· ChatGPT Search 则完全依托于 OpenAI 的大模型能力,具备强大的语义理解能力,但面临着实时性和计算成本的挑战。
相比之下,Exa 选择了一条更具挑战性的路径：构建全栈的神经搜索引擎。这意味着从底层架构开始重新设计整个搜索系统,虽然开发难度更大,但能够实现更深层次的创新。
基础设施路线的战略意义
Exa 选择成为基础设施提供商而不是直接做终端产品,这个决策颇具战略意义。
We are a search infrastructure company. So we want people to build, uh, on top of us, uh, build amazing products on top of us.
这段话揭示了他们的战略思考：通过提供强大的底层能力,让更多创新者能够构建新一代的搜索应用。
商业化与应用场景
在重构搜索引擎底层架构的同时,Exa 也在探索全新的商业模式和应用场景。这些创新不仅体现在技术层面,更反映了搜索服务在 AI 时代的新价值定位。
创新的商业模式
Exa 打破了传统搜索引擎固定计算预算的限制,转而采用弹性的计算预算制，这种模式允许客户根据需求的复杂度来分配计算资源,为不同场景提供最优的解决方案。正如 Will 解释的：
Some queries just like this blog post one might require scanning, like scavenging, like throughout the whole web in a way that just simply requires more compute.
这种商业模式的创新直接源于技术架构的突破。由于摆脱了400毫秒的响应限制,Exa 能够提供从快速检索到深度分析的全谱系服务。用户可以根据实际需求选择合适的计算深度和等待时间,这在传统搜索引擎中是不可想象的。
典型应用场景
在实践中,Exa 的技术已经在多个领域展现出独特价值。在学术研究领域,研究者可以通过深度语义搜索发现相关论文和研究成果。正如一个客户案例所示：
One customer, a big customer is using us to, um, basically build like a, a writing assistant for students who want to write, uh, research papers.
在人才招聘方面,Exa 的语义理解能力让企业能够更精准地找到合适的候选人。Will 提到了他们自己的实践：
Recruiting is really helpful. It is really great use case of Exa, um, because we can just get like a list of, you know, people who thought about search and just get like a long list.
市场研究和竞品分析是另一个重要应用领域。一位风投表示他们的团队连续多天使用 Exa 进行行业分析：
There was one VC that told me that him and his team, like we’re using Exa for like eight hours straight… just like getting lists of things because you just can’t find this information with traditional search engines.
API 服务模式
作为基础设施提供商,Exa 通过 API 为客户提供灵活的搜索服务。这种模式允许开发者将 Exa 的搜索能力无缝集成到自己的应用中,同时保持对搜索体验的完全控制。API 的设计充分考虑了现代应用开发的需求,支持异步查询、批量处理等高级特性。
未来展望
AI 搜索的发展趋势
搜索技术的未来发展将深受 AI 技术演进的影响。
一个关键趋势是 LLM 成本的持续下降,Will 提到某些用例的成本已经下降了200倍：
When some very useful tool goes down in cost by 200X in like the space of, I don’t know, a couple of years, there are going to be new opportunities in search.
另一个重要趋势是搜索与 AI 的深度融合。即便在 AGI 时代,搜索引擎仍将扮演关键角色。正如 Will 所说：
You could have a world and we are going to have this world where you have like GPT-5 level systems and beyond that could like answer any complex request… [but] if Google can’t find them information, there’s nothing they could do.
生态系统的重构
搜索引擎的演进必然带来整个信息生态系统的重构。Will 指出：
Search engines completely influence. They have downstream effects. They influence what people choose to create.
这意味着更智能的搜索引擎将推动更高质量的内容创作,形成良性循环。
结语：搜索引擎的下一个十年
Exa 的创新为我们展示了搜索技术的新可能。正如 McLuhan 所说：
We shape our tools and thereafter our tools shape us.
新一代搜索引擎不仅会改变我们获取信息的方式,还将重塑整个互联网的知识生产和传播模式。
在这个意义上,Exa 的尝试代表了一个可能的未来：搜索不再局限于简单的信息检索,而是演变为一个智能的信息理解和整合系统。这种转变的意义,不亚于当年 PageRank 算法对搜索引擎的革新。
在 AI 时代,搜索引擎的价值不应该被局限在毫秒级的响应时间里,而是应该着眼于为用户提供真正有价值的答案。这可能意味着等待时间的增加,但换来的是理解的深度。
这正是 Exa 给我们的启示：有时候,为了实现真正的突破,我们需要跳出既有框架,重新思考问题的本质。
- 🔥免费PC翻墙、安卓VPN翻墙APP
- 🔥灵魂之谜|中华文化|治国大道
