scripod.com
E78|深度拆解Hermes Agent和OpenRouter背后的Web3血缘,聊聊人才去了AI后Web3还有戏吗

Highlights

Transcript

Chapters

Pins

E78|深度拆解 Hermes Agent 和 OpenRouter 背后的 Web3 血缘,聊聊人才去了 AI 后 Web3 还有戏吗

Web3 101

Apr 24
Web3 101

Web3 101

Apr 24
OverviewShownote
Unprocessed episode, you can be the first!
Web3 101 不是 AI 101,但我们必须聊聊最近一些火热的 AI 产品(如 OpenRouter、Hermes Agent)背后的 Web3 血缘。这是个例的巧合,还是加密原住民自带的基因优势?
我们深度拆解 Hermes Agent 开发团队 Nous Research 和 OpenRouter 的前世今生,探寻 Stability AI 和加密矿企在 AI 算力战中的隐秘贡献,去理解两个极具冒险精神的行业之间,正在发生怎样的人才与思想交融。
【主播】
刘锋,BODL Ventures 合伙人,前链闻总编辑
熊浩珺 Jack,律动 BlockBeats 副主编,《Web3 无名说》主播
【嘉宾】
王超,科技投资人
【你将听到】
00:21 Web3 101 不是 AI 101,但要聊聊最近热门 AI 产品背后的 Web3 血缘
03:07 Hermes Agent 开发团队 Nous Research 的起源
05:52 Nous 的 CEO 曾是归零 MEV 项目 Eden Network 的 CTO
06:22 从捍卫用户主权的 Hermes 模型,到 YaRN 架构,再到成功挑战 405B 参数模型的微调
17:15 分布式训练框架 DisTrO
24:05 爆火的智能体 Hermes Agent 之暗线:背后潜藏着分布式强化学习(RL)数据收集网络,未来极可能演变为去中心化数据市场
29:31 OpenRouter 创始人 Alex 曾是最大 NFT 市场 OpenSea 核心成员(CTO)
33:06 OpenRouter 商业逻辑:异构数据的聚合,从聚合 NFT 到数据到聚合 / 路由大模型 API 的商业逻辑迁移
36:45 为什么从 Web3 出来的团队能在 AI 的世界里面大放异彩?这是普遍现象吗(bushi)?
40:08 Moltbook 创始人也是币圈老人
40:26 Stability AI 的开源先声:创始人 Emad 从币圈来,又回到币圈去
45:48 从 FTX Future Fund 走出来的 AI 新星:Leopold Aschenbrenner(OpenAI / 态势感知基金)、Avital Balwit(Anthropic)
47:46 加密矿企无心插柳成为 AI 算力中心
52:23 终极拷问:Web3 人才流向 AI,我们该伤感吗?
55:44 放下伤感,尊重技术浪潮,让人才流向创新最密集的领域
【词汇表】
本期提到的 Web3 及 AI 词汇
OpenRouter
Hermes Agent
Nous Research
Moltbook
Stability AI
FTX Future Fund
Leopold Aschenbrenner
Avital Balwit
【延伸阅读和相关术语】
GPTeacher:2023 年春,Teknium 在看到斯坦福大学的 Alpaca 论文(展示了用 GPT-3.5 蒸馏出训练数据来微调小模型)后,决定使用能力更强的 GPT-4 来生成更高质量的指令数据。这成为开源界最早且最知名的基于 GPT-4 生成的模型微调数据集之一,为早期开源模型的进化提供了原始数据支撑。
Hermes 系列模型:2023 年 6 月首发。在早期极度缺乏资金的支持下,由社区成员利用业余时间拼合计算资源完成,目前已演进至 Hermes 4 系列。证明了小型开源团队能在基础推演性能上达到极高水准,并在业界确立了反说教审查的 “中性对齐” 产品理念。
YaRN:一种基于旋转位置编码 (RoPE) 的底层数学架构改进机制。 2023 年 8 月,Nous 团队在早期为解决 LLaMA 原生模型仅有 4000 token 上下文导致无法处理长文档的痛点,针对性研发的架构。该方案后续被 Meta 的 Llama 3.1 和 DeepSeek 等核心大厂直接应用,成为行业的底层通用方案。
WorldSim:以网页命令行形式构筑的沙盘推演产品,底层调用大模型 API 来探索和生成平行的连续文本世界,2024 年推出,引起了市场关注。但由于触发风控被 Anthropic 切断 API。
Hermes 3 405B:基于千亿级的 Llama 3.1 405B 巨型模型基础,Nous Research 进行极其复杂的全参数微调而推出的开源模型。
DisTrO (Distributed Training Over-The-Internet):一种极其高效的分布式通信压缩算法机制,将不同物理机器节点间的网络通信数据量压缩至原始的近千分之一。
DeMo 算法论文:初步完成 DisTrO 通信压缩技术后,由多方外围作者合作对核心底层原理进行的学术化总结与联合发表。深度学习领军人物、Adam 优化器发明者 Durk Kingma 在审读后参与了合作署名。
Psyche Newtork:属于 DisTrO 压缩技术的直接系统落地,通过社区自发贡献闲散普通 GPU 并进行模型联合训练的网络。底层依托 Solana 区块链进行节点间的派单任务协调,实现了物理去中心化分布的大模型网络训练主网。
Teknium:Nous Research 联合创始人,匿名。最初独立发觉并开发出初代 Hermes 模型与 GPTeacher 的先行实施者。
Karan Malhotra:Nous Research 联合创始人,本科就读于宗教与哲学,在其履历中曾作为研究人员供职于斯坦福大学脑刺激边缘实验室。直接主导了 WorldSim 等非标项目的立项。
Jeffrey Quesnelle:Nous Research 联合创始人及 CEO,曾任 Eden Network 的首席工程师。
Alex Atallah:OpenSea CTO + OpenRouter 创始人。
【后期】
AMEI
【运营】
朱婕
【BGM】
Mumbai - Ooyy
【在这里找到我们】
收听渠道:苹果|小宇宙
海外用户:Apple Podcast|Spotify|Google Podcast|Amazon Music
联系我们:podcast@sv101.net
Special Guest: 王超.