本期节目邀请盛颖（Rex）讨论其在开源推理引擎项目上的经验，包括从学术走向工程化、开源与商业化的平衡。她的开源项目（red shark/Reshar）始于2023年，目标是创建生产就绪的推理与下一代AI平台。她强调不仅做工具链，而是更全面的平台开发。项目于2026年获得1亿美元种子融资，并在全球广泛部署，服务包括谷歌、微软等。团队在快速扩张，并优先解决推理中的技术瓶颈。盛颖主张开源策略应结合界限防止滥用，并推动去中心化。她关注性别平等，倡导通过长期培养关键人才改变不平等。项目在技术上采用了诸如radix attention的方法处理复杂推理场景。 #### 内容简介 本期对话嘉宾为盛颖（Rex），介绍其从斯坦福博士项目演化出的开源推理引擎（red shark/Reshar）及将其做成 production‑ready 平台并商业化的实践。项目于 2026 年5月完成约 1 亿美元种子轮融资，已部署在全球数十万张 GPU 上、为包括大型厂商在内的服务每天生成“数万亿”级别的 token，团队规模四十多人并快速扩张。节目在技术细节上强调把推理、训练与基座模型视为“工具箱”，优先解决最大瓶颈（如内存碎片化与内存管理），追求 Day‑zero（发布即支持新模型）兼容性，并举例说明工程折中：如用 radix attention 做前缀缓存与 K 值复用，但该优化在无共享前缀场景下收益有限。关于开源策略，盛颖主张全部开源、不要私有分支，同时承认开源与闭源需并存并设界限以防滥用；在组织治理上强调权责匹配、從以人为核心逐步建立体系；在社会议题上她长期关注科技圈平权，倡导通过长期培养“老师的老师”式的人才链条来改变结构性不平等。 #### 社区观点 支持观点：部分评论赞同全部开源的立场，认为开源能促进行业去中心化、加速生态繁荣，并利于吸引全球贡献者与客户； 商业化担忧：也有人质疑完全开源如何与商业化盈利兼容，担心竞争对手或大厂直接利用开源成果并边缘化原始团队； 工程取向争议：有评论认为把内存碎片化与 Day‑zero 兼容作为优先级正确，另一些人则认为延迟、吞吐与能耗优化在生产环境中更为关键，应根据客户场景动态排优； 技术细节讨论：关于 radix attention 的前缀缓存，有人认为这是对话型/对话历史场景的有效优化，但在创意写作等无共享前缀场景中收益有限，评论中对何时应用此类复用策略有广泛讨论； 开源与安全边界：多数人达成共识认为开源有益，但需要设立滥用防护与许可证策略（例如限制敏感用途或建立商业授权路径），以兼顾开放与责任； 组织与人才：有人强调团队扩张阶段要把权责与激励对齐，保留创业速度同时建立必要流程，另有声音提醒快速扩张会带来招聘质量与文化稀释的风险。 #### 内容导读 理解本期内容可以从三条主线入手：第一是产品与工程：这是一次关于如何把学术原型打造成 production‑ready 推理平台的案例分享，关注点包括解决内存碎片化、实现 Day‑zero 兼容、以及在具体场景下使用如 radix attention 的工程折中；第二是开源与商业化的博弈：盛颖阐述了“全部开源、不要私有分支”的立场，同时承认需要与闭源并存并设界限以保护商业化路径与防止滥用，节目对两者如何共存给出实践思路；第三是组织与价值观：从创始治理、权责匹配到长期培养推动平权的“老师的老师”链条，讨论既有业务扩张的管理挑战也有长期社会责任。关键点在于把推理视为更广义的“下一代 AI 平台”的组成部分——工程优化必须以真实场景驱动，开源带来生态与去中心化优势但需设计边界，组织成长需要同步构建制度与文化。听或读这期内容时，可着重捕捉具体工程案例（如内存管理、前缀复用的局限）、开源策略的实践细节及创始团队在组织治理上的经验教训。