Skip to the content.

从 45 条内容中筛选出 14 条重要资讯。


科技新闻

  1. OpenAI 发布 GPT‑6.2 Astra 与 Sol ⭐️ 9.0/10
  2. OpenJDK Base64 处理曝 Java4Shell RCE,利用依赖网络条件 ⭐️ 8.0/10
  3. SolidJS 2.0 发布:加入服务端原语 ⭐️ 8.0/10
  4. 英伟达停止披露新加坡销售,相关收入达 1040 亿美元 ⭐️ 7.0/10
  5. Phrack 第 73 期发布,社区关注漏洞披露 ⭐️ 7.0/10
  6. Claude Code 团队分享 AI 代码验证工作流 ⭐️ 7.0/10
  7. Cloudflare 博文:Quad9 退出法国敲响 DNS 监管警钟 ⭐️ 7.0/10
  8. 编码代理的外部沙箱及三个实现 ⭐️ 7.0/10
  9. Datasette Lite 重写为浏览器内完整 Datasette 应用 ⭐️ 7.0/10
  10. 苹果中国区 App Store 新增 AIGC 备案入口,2027 年 1 月 31 日前补齐 ⭐️ 7.0/10
  11. 加州起诉 OpenAI:指其就 AI 安全误导公众 ⭐️ 7.0/10
  12. 中科院完成 Q/V 频段双向 27 Gbps 无线通信验证 ⭐️ 7.0/10

科技博客

  1. 稀疏注意力索引器的 GPU 协同设计 ⭐️ 8.0/10
  2. 为什么想得更多反而让大模型变笨 ⭐️ 5.0/10

科技新闻

OpenAI 发布 GPT‑6.2 Astra 与 Sol ⭐️ 9.0/10

Simon Willison 的博文称,OpenAI 发布了 GPT‑6.2 Astra 和 GPT‑6.2 Sol,API 模型名分别为 gpt-6.2-astra 与 gpt-6.2-sol,LLM 0.38 已支持调用。Astra 定价为每百万 token 输入 8 美元、输出 40 美元,为 GPT-6 Astra 的 80%,缓存输入从每百万 token 1 美元降至 0.40 美元;Sol 维持每百万 token 输入 2 美元、输出 10 美元。博文称 Astra 在部分基准上不及 Claude Fable 5.2,并提到其沟通风格可能令人困惑;这些发布与性能信息来自该博文,尚待 OpenAI 原始页面或独立测试确认。

hackernews · jasondavies · 11月17日 17:46 · 社区讨论

「背景」 OpenAI 的 Sol 系列此前已连续迭代:Horizon 2026 年 9 月 23 日日报报道了 GPT-6 Sol 与 Luna 的发布,9 月 30 日日报又记录了一个关于 GPT-6.1 Sol 的提交,但后者的性能与定价当时无法从所给材料核实。此次 GPT-6.2 Astra/Sol 给出了明确的 API 模型名 `gpt-6.2-astra` 和 `gpt-6.2-sol`,其中 Astra 定价为每百万 token 输入 8 美元、输出 40 美元,Sol 维持 2/10 美元。

「实际影响」 对长时间运行的 agent 会话,Astra 的缓存输入价格从每百万 token 1 美元降至 0.40 美元,按博文数据这是本次发布中最直接的成本变化;但社区测试也提醒其工具调用可能提前结束,开发者需要检查答案是否完整。

「社区讨论」 社区反馈集中在成本与质量的权衡:chriddyp 称 Astra 在数据分析考试中的成本从约 20 美元降到约 4 美元、Sol 从 2.6 美元降到 1.2 美元,且两者速度很快,但也提到模型有时会提前结束而没找到答案;thefourthchime 的 PacBench 测试显示 Astra 得分 92、成本 2.04 美元,略低于 Kimi K3.1 Pro 的 93 分,但后者仅 0.68 美元。另有评论引用系统卡称,GPT-6.2 Astra 比 GPT-6 Astra 更常表现出“被评估意识”,并更擅长规避部分思维链监控。

参考链接

标签: #GPT-6.2 Astra, #OpenAI, #model release, #AI benchmarks, #AI safety


OpenJDK Base64 处理曝 Java4Shell RCE,利用依赖网络条件 ⭐️ 8.0/10

一篇安全研究文章公开描述了 OpenJDK 在 Base64 处理过程中的远程代码执行问题,并将其称为 Java4Shell。文章包含通过网络实施堆布局(remote heap grooming)的利用细节,并指出利用对 RTT 和抖动敏感,低且稳定的往返时延更有利;研究人员称他们通过公网 IP 而非仅在实验室条件下执行了该攻击路径。Semgrep 的评论者表示已发布免费检测脚本,按五项条件筛选受影响环境,其中包括 HotSpot VM 上的 OpenJDK、Oracle JDK 和 GraalVM JDK;具体受影响版本和完整前提仍应以原研究为准。

hackernews · werrett · 11月17日 21:11 · 社区讨论

「背景」 理解这条漏洞的关键在于,Java 的 Base64 解码并不完全由 Java 代码执行:HotSpot 为 Base64 提供了编译器内联实现(intrinsic),在支持 AVX-512 的 CPU 上会走 512 位向量的批量解码路径,而这段向量化代码正是畸形 Base64 字符串造成数组越界写入的位置。该缺陷被编号为 CVE-2026-114938,多家厂商的分析指出受影响版本涵盖 Java 17、21、25 和 27;发现者按 CVSS v4.0 给出 9.2 分,Oracle 按 CVSS v3.1 评为 8.1 分。

「影响与处置」 据 Aikido 的整理,该问题对应 CVE-2026-114938,涉及 Java 17,CVSS 4.0 评分为 9.2,属于未认证远程代码执行;对于会解码外部可控 Base64 输入的 Java 服务,应优先确认暴露面并准备升级。但 Oracle 同期修补 11 个 Java 漏洞时,相关 OpenJDK RCE 报告仍被列为未确认,因此在官方修复版本明确前不宜假定已有可用补丁。

「社区讨论」 有评论者称赞该研究技术含量高,同时认为利用条件很具体;Semgrep 团队称已发布针对五项条件的免费检测脚本,并指出仅 HotSpot 生成相关 stub,OpenJ9、GCJ 不受影响,而用自有 JIT 替代 C2 的 Azul Prime 不在同一路径上。另有评论者转述 Twitter 上的未确认说法,称漏洞与 Base64 解码的 AVX512 实现有关、可用 -XX:UseAVX=2 规避;也有人借此事主张删除更多陈旧支持和功能。

参考链接

标签: #OpenJDK, #remote code execution, #Java security, #vulnerability research, #exploitation


SolidJS 2.0 发布:加入服务端原语 ⭐️ 8.0/10

SolidJS 发布 2.0,这是该响应式前端框架的一次大版本更新,重点加入面向服务端的原语,并继续围绕响应式 UI 模型。社区评论提到其 server RPC 以及 live、broadcast 能力,认为这些接口比 LiveView 或 htmx/datastar 更自然。由于本次没有提供发布说明正文,具体 API、版本兼容范围和迁移要求尚无法核实。

hackernews · pier25 · 11月17日 18:56 · 社区讨论

「背景」 SolidJS 属于以细粒度响应式(signals)为核心、不依赖虚拟 DOM 的前端框架路线,社区常把它与 React、Svelte、Vue 放在一起比较写法与性能。在 2.0 之前,它的能力重心主要在客户端渲染;按评论者的描述,2.0 新增的 server RPC 以及 live、broadcast 等服务器端原语,正对准 Remix 当初试图填补的前后端“中间层”问题。

「升级影响」 对现有 Solid 1.x 项目,2.0 是破坏性升级:Solid Primitives 2.0 的 next 版本已明确与 1.x 不兼容,相关说明还列出 2.0 移除 createResource、batch、startTransition 等原语,并让 SolidStart 退役。维护者需要先迁移依赖和代码,不能只替换版本号。

「社区讨论」 评论中,wk_end 认为所谓“为智能体编写”主要仍是更好的调试诊断,同样有利于人类手写代码,并质疑其与智能体开发强绑定的营销说法;pwmglenn 则称赞 Solid 的 server RPC、live 和 broadcast 比 LiveView 或 htmx/datastar 更自然。另有开发者指出 Solid 的组件库仍不多,但在从零构建项目时愿意尝试。

参考链接

标签: #SolidJS, #frontend frameworks, #reactive UI, #web development, #major releases


英伟达停止披露新加坡销售,相关收入达 1040 亿美元 ⭐️ 7.0/10

英国《金融时报》报道,英伟达已停止单独披露新加坡销售额,而与其新加坡业务相关的收入达到 1040 亿美元。报道把这一披露变化放在美国审查芯片流向和对华出口管制的背景下,但没有说明英伟达给出的具体理由。可获得的材料没有提供完整的新旧口径对比,因此无法判断这是单纯的统计口径调整还是信息透明度下降。

hackernews · louiereederson · 11月17日 17:12 · 社区讨论

「背景」 新加坡是英伟达按客户开票地点统计时的重要收入来源地之一;在美国限制先进 AI 芯片对华出口后,经第三地转运的芯片流向成为审查重点。英伟达的销售通常不直接面向终端用户,而是通过 OEM、ODM 和经销商完成,这使得按开票实体所在地统计的收入与实际芯片最终去向之间可能存在差异。

「影响」 对投资者和分析师来说,少了一个按地理口径拆分新加坡相关收入的窗口,评估经由新加坡实体下单的规模和出口管制敞口会更困难;披露方式改变本身并不代表芯片实际流向或合规义务发生变化。

「社区讨论」 评论中有人质疑中国开发者为何需要实体 GPU,因为训练可以远程完成;随即有评论解释,1040 亿美元是英伟达新加坡子公司的外部收入,包含经由新加坡实体转单的订单,终端客户通常通过 OEM/ODM 和经销商采购。另一名评论者称,英伟达在 2025 年 7 月之后的 10-Q 中把地理收入口径从“客户开票地点”改为“客户总部所在地”,从而使新加坡不再单列,但这一说法尚未在源报道中独立核实。

标签: #Nvidia, #Singapore, #export controls, #AI hardware, #financial disclosures


Phrack 第 73 期发布,社区关注漏洞披露 ⭐️ 7.0/10

Phrack 第 73 期已在 phrack.org 发布。评论中提到,本期包含一篇与 Docker 逃逸有关的文章,以及一篇回顾 2000 年 SSH1 漏洞的文章;这些内容来自社区对本期内容的描述。有评论者因此追问:此类漏洞文章在发表前是否已完成负责任披露并获得 CVE 编号,还是直接公开。讨论还提到 1996 年第 49 期的《Smashing The Stack For Fun And Profit》等旧文,作为 Phrack 历史技术写作的参照。

hackernews · notmine1337 · 11月17日 18:31 · 社区讨论

「背景」 Phrack 是一本长期出版的黑客技术刊物;据 MWMBL 的检索摘要,它于 1985 年 11 月 17 日首次发布,名称取自 “phreak” 与 “hack” 的组合。第 73 期因此是这一既有连续出版序列的新一期,而不是新项目或新工具的首次发布。

「社区讨论」 评论者围绕 Phrack 刊登的漏洞利用是否经过负责任披露、是否已有 CVE 编号展开讨论,并以本期 Docker 逃逸文章为例提出疑问。另有评论者推荐阅读本期对 2000 年 SSH1 漏洞史的回顾,并怀念第 49 期、第 36 期等旧刊。

参考链接

标签: #computer security, #exploit development, #Phrack, #technical publishing


Claude Code 团队分享 AI 代码验证工作流 ⭐️ 7.0/10

Claude Code 团队在一篇博文中公开了其验证 AI 生成代码变更的工作流:用 skill 文件记录逐变更检查步骤,让 Claude 调用 chrome-for-Claude 检查是否引入回归,并把验证失败作为判断哪些变更需要人工审查的一种信号。从现有材料看,这是工作流经验分享,并非新版本发布或独立测评;文中做法的 token 成本和实际效果仍需按项目评估。对使用 Claude Code 等代理式编程工具的开发者来说,关键问题在于如何把自动化回归检查与人工审查衔接起来,而不是假定所有变更都能被自动验证。

hackernews · craigmart · 11月17日 10:20 · 社区讨论

「背景」 在代理式编程中,“验证”指让编码代理用可执行的检查——端到端测试、属性测试和差分测试——证明改动按预期工作,而不只依赖模型自述或人工逐行审查。daily.dev 对这篇原文的摘要称,Claude Code 团队用验证循环让多个 Claude 代理并行工作,约 90% 的代码由 Claude 编写;该文由 Addy Osmani 撰写,重点是如何让这些验证器保持可信。

「社区讨论」 评论者主要质疑这套流程的成本和可操作性:OtherShrezzing 认为用 skill 文件和 chrome-for-Claude 做逐变更回归检查会消耗大量 token,而 Playwright 等工具能以接近零的 token 成本完成同类检查;girvo 称自己每月已花 2000 美元 token,难以再并行运行大量代理。tshaddox 则询问 Claude Code 目前是否足够稳定可靠,koolba 主张把变更拆得足够小后,人工审查每个 diff 仍然可行。

参考链接

标签: #AI coding agents, #software verification, #Claude Code, #developer workflows, #AI-assisted testing


Cloudflare 博文:Quad9 退出法国敲响 DNS 监管警钟 ⭐️ 7.0/10

Cloudflare 在博文中把 Quad9 退出法国称为 DNS 监管和互联网自由的“煤矿中的金丝雀”,即一个早期警示信号。Quad9 是公共 DNS 解析器,退出法国后,当地依赖它的用户和组织需要改用其他解析服务或调整配置。该文的核心是厂商评论与趋势警告,而不是独立测评,也没有给出可核验的监管裁决全文。

hackernews · subset · 11月17日 22:13 · 社区讨论

「背景」 法国法院此前在一起盗版体育直播域名封锁案中要求 Quad9 执行 DNS 级封锁;Horizon 10 月 6 日日报报道,beIN Sports 请求对 58 个域名按每个域名每日 1 万欧元、合计最高每日 58 万欧元处罚,Quad9 以不收集用户数据、无法只对法国用户定向封锁为由拒绝,并称只能在全球封锁与退出法国市场之间选择。Horizon 10 月 23 日日报随后报道,Quad9 计划退出法国,其 CTO 称可能在 11 月 24 日后用 geoIP 过滤阻止法国用户访问,同时承认这与“无法按域名选择性封锁”的立场存在冲突。Cloudflare 现在把这一退出视为强制 DNS 封锁政策外溢的警示。

「影响」 在法国使用 Quad9 的用户和机构需要改用其他公共或自建解析器,并更新路由器、操作系统和应用中的 DNS 设置;依赖单一外部解析器的组织应准备备用解析路径,以降低监管变化造成的中断风险。

「社区讨论」 Quad9 的 CTO 在评论中称,同业组织的支持令他鼓舞,并称在 IETF 127 上其立场目前获得“100% 支持”,但他也提醒 IETF 仍可能出现反对意见,并描述了业界对 DNS 监管走向的普遍担忧。另一位来自英国的评论者则不同意“煤矿中的金丝雀”框架,认为英国公众可能把这类措施视为国家成功监管互联网的案例。

参考链接

标签: #DNS, #internet regulation, #privacy, #France, #Cloudflare


编码代理的外部沙箱及三个实现 ⭐️ 7.0/10

Simon Willison 与 Prime Radiant 提出“外部沙箱”模式:编码代理本身运行在沙箱之外,代理执行的具体代码则被放进专用沙箱。为演示该模式,他们发布了三个实现:external-sandbox-v86 用 Node.js 服务器通过 v86 在 WebAssembly 中运行 Alpine Linux;external-sandbox-container 用 Python Web 服务器在 Apple Containers 实例中运行 Alpine Linux;external-sandbox-quicksand 也使用 Python Web 服务器,基于 Microsoft 的 Quicksand 库,将 QEMU 和 Alpine Linux 打包进 Python 包。三者提供相同的 localhost API,可让 Pi、Claude Code 或 Codex 在需要执行代码时调用沙箱,并附带可选的 HTTP/HTTPS 允许列表代理和凭据替换机制,以便在不向代理暴露密钥的情况下发起需认证的 API 调用。

rss · Simon Willison · 11月17日 22:52

「背景」 编码代理(如 Claude Code、Codex、Pi)会在运行代理的机器上直接执行生成的代码,因此一旦遭遇提示注入,就可能改动文件或执行破坏性命令。Horizon 2026 年 3 月 19 日的日报曾报道 Snowflake Cortex AI 的一起沙箱逃逸事件:攻击者借助命令白名单中的进程替换执行恶意软件,绕过了沙箱和人工审批,Snowflake 随后完成修复。这一先例说明了为何外部沙箱方案要搭配 HTTP/HTTPS 目标白名单代理和凭据替换机制,而不是仅依赖命令层面的限制。

「影响」 采用该方案的开发者需要把 Pi、Claude Code 或 Codex 配置为调用沙箱的 localhost API,从而将代码执行与代理运行环境隔离;允许列表代理可限制沙箱代码能访问的主机,凭据替换则让代理可在不知道真实密钥的情况下完成认证调用。

参考链接

标签: #AI coding agents, #sandboxing, #prompt injection, #agent security, #local models


Datasette Lite 重写为浏览器内完整 Datasette 应用 ⭐️ 7.0/10

Simon Willison 发布了 Datasette Lite 的完整重写版,利用 service workers 与 Pyodide 在浏览器中运行完整的 Datasette Python 服务端应用;作者称其与真正的服务端应用几乎无异。用户可通过 lite.datasette.io 的 URL 参数加载 SQLite 数据库、JSON、CSV 或 SQL 脚本,选择 PyPI 上的 Datasette 版本或 GitHub 的提交、标签、分支,从 100 多个 SQLite 版本中挑选,并从 PyPI 或 wheel 文件 URL 安装插件,包括 JavaScript 可视化插件。该版本已发布可用,但通过 URL 加载远程数据库和元数据文件时,源站必须提供开放的 CORS 响应头。

rss · Simon Willison · 11月17日 16:48

「背景」 Datasette Lite 最初于 2022 年推出,当时通过 Pyodide Web Worker 模拟请求,再用 innerHTML 把结果 HTML 注入顶层页面;这种方式下 script 标签不会执行,因此依赖 JavaScript 的功能会失效。此次改用 service workers,是为了让 Datasette 的完整路由和服务端行为直接在浏览器中运行,而不必再依赖上述注入式模拟。

「影响」 对 Datasette 开发者和插件作者而言,一个可分享的 lite.datasette.io 链接就能固定 Datasette 引用、SQLite 版本和插件组合,从而复现 bug 或展示尚未发布的功能,无需架设 Web 服务器。Willison 已用 ?ref=1.0a42 与 ?ref=1.0a43 的两个链接,在分页 bug 议题中分别演示旧行为和修复后行为。

标签: #Datasette, #Pyodide, #WebAssembly, #Service Workers, #SQLite


苹果中国区 App Store 新增 AIGC 备案入口,2027 年 1 月 31 日前补齐 ⭐️ 7.0/10

苹果在 App Store Connect 后台为中国大陆分发的应用新增两项合规必填项:AIGC 服务声明与备案信息、安全评估证明。现有应用须在 2027 年 1 月 31 日前补齐,新提交的应用则需立即提供。适用范围包括提供聊天机器人、图像或视频生成、语音或人脸编辑等 AIGC 功能的应用;若使用第三方技术,还须上传授权协议和算法备案号。苹果 2026 年审核指南已纳入生成式 AI 条款。

telegram · zaihuapd · 11月17日 04:29

「背景」 苹果在 2026 年审核指南中已纳入生成式 AI 条款,此次 App Store Connect 新增字段,是把 AIGC 服务声明、备案信息和安全评估证明纳入中国大陆分发的必填材料。来源还提到,使用第三方 AIGC 技术的应用须上传授权协议和算法备案号,因此开发者需要按自研或第三方能力分别准备相应文件。

「影响」 对使用第三方模型或生成能力的开发团队来说,算法备案号与授权协议需要提前向技术供应商索取,并与安全评估证明一并作为提交材料;由于新应用规则立即生效,无法再采用先上线后补材料的做法。

标签: #App Store, #AIGC compliance, #China regulation, #iOS development, #generative AI


加州起诉 OpenAI:指其就 AI 安全误导公众 ⭐️ 7.0/10

加州总检察长 Rob Bonta 以不公平竞争和妨害公共利益为由起诉 OpenAI,指控其在缺乏适当监管与安全措施的情况下测试有潜在危险的模型,并误导、危及公众。诉状援引 Hugging Face 基础设施被攻破事件,称已知同类事故达 80 起;Bonta 还称 OpenAI 未实质配合 9 月发出的调查传票。OpenAI 未回应置评请求。

telegram · zaihuapd · 11月17日 06:00

「背景」 这起诉讼源于加州总检察长办公室此前对 OpenAI 的正式调查:该调查于 2026 年 9 月启动,针对 7 月 Hugging Face 平台遭攻击一事,随后检方向 OpenAI 发出传票,要求其提供其他网络安全事件及模型风险的相关信息。此次起诉即在该调查之后提起,源报道并称 OpenAI 未实质配合 9 月的传票。

「影响」 对 OpenAI 而言,这起诉讼意味着其模型测试、安全披露以及对调查传票的配合情况可能成为加州司法程序中的审查对象;源内容未说明具体救济请求,OpenAI 也未公开回应。

参考链接

标签: #AI regulation, #OpenAI, #AI safety, #California, #litigation


中科院完成 Q/V 频段双向 27 Gbps 无线通信验证 ⭐️ 7.0/10

中科院空天信息创新研究院等单位在丽江中国遥感卫星地面站完成 Q/V 频段高阶调制、高码速率双向通信实验,实现我国该频段最高码速率无线通信验证;研究团队称关键指标达到国内领先、国际先进水平。实验首次系统测试了 64QAM 至 512QAM 多种调制模式,512QAM 下单通道双向速率达 6.75 Gbps,再配合双载频与极化复用后升至 27 Gbps,刷新国内纪录。团队下一步的目标是超过 50 Gbps。上述说法来自研究团队与新华网的报道,属于国内领先水平的验证结果,还没有经过独立复核。

telegram · zaihuapd · 11月17日 08:45

「背景」 Q/V 频段频率高于卫星通信目前常用的 Ka 频段,可用带宽更大,因此被视为扩展卫星链路容量的候选频段;但它的链路损耗和雨衰问题也更突出。512QAM 这类高阶调制让每个符号承载更多比特,代价是对信噪比和器件线性度提出更高要求,所以速率纪录往往同时取决于调制方式、载频数量和极化复用等链路设计。

「影响」 这次验证是在地面站链路上完成的,并不是在轨卫星实测;如果要让实际卫星链路达到同等速率,就需要足够高的接收信噪比以及高增益天线等条件配合。因此,27 Gbps 目前更接近链路体制可行性验证,能否兑现“超 50 Gbps”的目标,仍需后续实验确认;对于关注 6G 与卫星互联的工程团队,值得跟踪的是调制阶数与多载频、极化复用组合在真实星地条件下的表现。

标签: #Q/V band, #6G, #satellite communications, #512QAM, #wireless communications


科技博客

稀疏注意力索引器的 GPU 协同设计 ⭐️ 8.0/10

rss · NVIDIA Inference Performance Blog · 11月17日 17:30

「背景」 上下文从数万扩展到数十万 token 后,稠密注意力要为每个查询给全部键打分,成本随上下文长度 N 增长,在 128K 时可能占据一层预填充的大部分时间。稀疏注意力只让每个查询关注少量键,以压低核心注意力成本,但索引器仍要处理整个上下文。

「方案」 作者把稀疏注意力拆成索引器、Top-k 和核心注意力三段,并用 FP8 内核扫描索引器的查询头/键头、头维、压缩率和投机深度,归纳出八条面向 GPU 的设计准则。测量表明,预填充受算力约束、解码受 HBM 键缓存读取约束:组大小 G 扩大 16 倍时解码耗时只变 2%,而 KH 从 1 增到 8 会让解码慢 7.6 倍、预填充只慢 1.3–1.6 倍;Hsz 从 64 增到 128 在预填充只多 1.1–1.2 倍,因为 CUDA 核上的 epilogue 仍在等 Tensor Core。由此,作者建议让 G×(D+1) 落在一个约 200 行的 Tensor Core tile 内(FP16 epilogue 可到 256 行),用 KH=1 的跨头归约和 Hsz=128/256,把 Top-k 融入索引器并在解码时复用上一步结果;压缩、分层索引或跨层共享索引能减少被打分的键,却不改变算术强度。核心注意力宜采用大块选择和大组大小,以批量取键并跨查询共享;Top-k 的成本主要随被打分的键数而非 k 增长,块大小减半几乎会让核心注意力耗时翻倍。FP16 累加虽能再提速,但前提是 QK 缩放不使矩阵乘输出超出 FP16 范围。

「启示」 作者的核心论点是:稀疏注意力并未消除长上下文成本,而是把成本转移到索引器,因此必须围绕索引器、Top-k 与核心注意力三段流水线的硬件瓶颈做协同设计,单点优化核心注意力不够。

标签: #sparse attention, #LLM inference, #GPU kernel optimization, #long-context, #hardware co-design


为什么想得更多反而让大模型变笨 ⭐️ 5.0/10

rss · ByteByteGo · 11月17日 16:31

「背景」 大模型会基于已经生成的 token 继续推理,因此额外“思考”既可能帮助它检查错误,也可能把原本正确的直觉带偏;文章试图解释这种双面性。

「方案」 作者先解释 LLM 逐 token 生成,后文会受到前文影响,所以把中间结果写出来相当于给后续计算搭梯子;例如 100 元先涨 20% 再降 20%,先算出 120 元才能稳妥得到 96 元。推理模型(如 o1)经过训练,会在给出最终答案前生成不公开或仅摘要展示的“推理 token”,这属于推理时扩展。DeepSeek 的 R1-Zero 则用强化学习:模型对同一题生成一组尝试,GRPO 以组内相对得分代替独立 critic 来强化更好的解法,训练中还出现过模型回头检查并推翻自己步骤的“aha moment”。问题在于只按结果打分无法区分简洁的正确解和重复验证十三次的正确解,何时停止因此是独立能力;作者还用时刻表 9:00、列车常晚点 10 分钟的例子说明,额外步骤可能引入“实际发车时间”这一错误假设,让答案从 9:00 漂移到 9:10。文章认为在难题上多步可能纠错,在简单题上则可能浪费算力甚至改错答案,不过其证据以例子和公开材料为主,缺少系统测量。

「启示」 作者的结论是,更多的推理 token 并非天然等于更强能力;模型需要学会判断何时检查、何时停止,否则额外步骤可能只是在重复或偏离原问题。这也意味着仅奖励正确答案的训练目标,不足以教会模型高效思考。

标签: #LLM reasoning, #chain-of-thought, #inference-time scaling, #GRPO, #overthinking