讨论会 01|长文本 vsRAG(月之暗面对谈 Zilliz)
共识粉碎机
2024/08/12
讨论会 01|长文本 vsRAG(月之暗面对谈 Zilliz)
讨论会 01|长文本 vsRAG(月之暗面对谈 Zilliz)

共识粉碎机
2024/08/12
Unprocessed episode, you can be the first!
大家好,欢迎来到共识粉碎机 AI 颠覆软件讨论会系列的第一期播客!
共识粉碎机是 AI 圈的老社群了,从去年 3 月份开始我们就坚持举办 AI 颠覆软件讨论会系列,走到现在已经是第 19 期了,我们也终于准备好在第 19 期将内容搬上播客!
与过去大家听到的 AI 播客不同,我们同时会讨论场景、应用,也会直接进入到技术细节。
讨论节奏会非常快速,信息量非常密集,相信每一期对于听众都是一次信息大爆炸。
【本期嘉宾】
陈将:Ziilliz 生态和 AI 平台负责人
唐飞虎:月之暗面担任研发工程师和开发者关系负责人
【共识粉碎机主持人】
周默:共识粉碎机公众号主理人,前美元对冲基金投资人,前腾讯 / 微软战略与投资经理。
共识粉碎机目前也承接投研咨询合作与 AI 战略转型 / 大模型技术落地项目,欢迎戳公众号了解。
【参考资料】
本期的内容已经抽取成文字纪要,请查阅共识粉碎机公众号的文章:
《EP19:长文本 vsRAG(月之暗面对谈 Zilliz)》
关于 RAG 的讨论共识粉碎机在过往文章中也有讨论,请查阅:
【本期内容】
本次讨论的大背景是在之前的 RAG 讨论会后(陈将老师也作为嘉宾参与),我们收到了非常多关于在不同场景是选择长文本还是 RAG 的问题。与过去讨论长文本与 RAG 经常空对空相比,我们本次讨论会将分到具体的场景、具体的指标,方便创业者、从业者、投资人具体了解。
以下是我们聊得:
00:04:21 长文本与 RAG 的典型差别:准确率
00:06:55 长文本与 RAG 的典型差别:成本与延迟
00:09:43 长文本降低 First Token 延迟的方法
00:13:40 长文本 vsRAG 就像关公战秦琼,:要看场景
00:16:35 RAG 的部署工作与难度
00:20:38 RAG 的权限处理
00:23:58 长文本的部署与权限处理
00:27:25 长文本的技术爬坡路径
00:29:16 RAG 的技术爬坡路径
00:35:04 场景比较:数值计算 / Text2SQL
00:40:24 场景比较:客服与 Sales Agent
00:52:10 长文本与 RAG 的长度边界讨论
00:55:01 场景比较:AI Coding
01:01:04 企业的代码库有多大?
01:03:49 企业大代码库一定要用 RAG 吗?
01:05:36 企业大代码库如何做解析结构?
01:09:02 场景比较:AI 搜索
01:11:24 GitHub Copilot 用长文本还是 RAG?
01:12:26 RAG 的成本原理与组成
01:17:17 长文本还有哪些工作可以降低成本?
01:18:53 长文本与 RAG 的融合架构与部署
01:23:36 QA 环节:长文本的技术壁垒与大模型差异化
01:24:52 QA 环节:AI 搜索他对于网页语义提取能做到什么颗粒度?AI 搜索是否还会混合过去的传统倒排?
01:28:12 QA 环节:大厂的丰富索引库经验会不会让其在 AI 搜索上比创业公司更强?
01:29:46 QA 环节:GraphRAG 带给我们什么启发?技术路线是否是现在的 Best Practice?
01:34:15 QA 环节:企业内部落地 RAG 的过程中如何克服冷启动?

