Skip to the content.

从 53 条内容中筛选出 21 条重要资讯。


  1. KVarN:方差归一化的 KV 缓存量化实现 3-4 倍压缩 ⭐️ 9.0/10
  2. NVIDIA 发布 Nemotron-3-Ultra:550B 参数开源大模型,支持 1M 上下文 ⭐️ 9.0/10
  3. Anthropic 发布开源框架,用于 AI 驱动的漏洞发现 ⭐️ 8.0/10
  4. VoidZero(Vite 开发公司)加入 Cloudflare ⭐️ 8.0/10
  5. Anthropic 报告递归自我改进进展 ⭐️ 8.0/10
  6. Meta 在智能眼镜上推出面部识别,引发隐私争议 ⭐️ 8.0/10
  7. 高斯点溅射融合两种渲染技术 ⭐️ 8.0/10
  8. 因 LLM 发现漏洞,splice()和 vmsplice()系统调用面临移除 ⭐️ 8.0/10
  9. 加州年龄保证法案豁免开源,扩大年龄限制 ⭐️ 8.0/10
  10. 在线策略蒸馏成为重要后训练技术 ⭐️ 8.0/10
  11. 测量几何深度学习中的对称性-数据交换率 ⭐️ 8.0/10
  12. 开源库通过自适应路由将 LLM 推理成本降低 56% ⭐️ 8.0/10
  13. LLM 智能体中的忠实不确定性:校准与效用的权衡 ⭐️ 8.0/10
  14. Higgs Audio v3 TTS 4B:支持 100 种语言的语音聊天模型 ⭐️ 8.0/10
  15. BeeLlama v0.3.1 通过 DFlash 和 MTP 将推理速度提升至 4.93 倍 ⭐️ 8.0/10
  16. Gemma 4 QAT 版本确认即将发布 ⭐️ 8.0/10
  17. cyankiwi AWQ 更新新增 NVFP4 和 FP8 支持,KL 散度表现最佳 ⭐️ 8.0/10
  18. 谷歌发布 Gemma 4 12B 模型,可在笔记本本地运行 ⭐️ 8.0/10
  19. 老虎国际暂停中国境内账户新开仓 ⭐️ 8.0/10
  20. 苹果新版 Siri 将采用谷歌和英伟达芯片处理云端 AI ⭐️ 8.0/10
  21. AI 智能体流量首次超过人类流量 ⭐️ 8.0/10

KVarN:方差归一化的 KV 缓存量化实现 3-4 倍压缩 ⭐️ 9.0/10

KVarN 结合了 Hadamard 旋转和对 K、V 矩阵两个轴的方差归一化,然后进行最近取整,在 AIME24 等基准测试上实现了 3-4 倍的 KV 缓存压缩,准确率损失低于 1%,并且在 vLLM 中相比 FP16 基线实现了加速。 KV 缓存内存是长上下文 LLM 推理的关键瓶颈;KVarN 提供了一种实用的开源解决方案,在不牺牲准确性或吞吐量的情况下将内存减少 3-4 倍,这对于推理和代码生成等测试时计算场景尤其有益。 KVarN 不需要模型重新训练或校准;可以通过一个标志集成到 vLLM 中。与 TurboQuant 等先前工作相比,KVarN 声称在相似或更好的准确性下具有更高的吞吐量(最高 2.4 倍),尤其是在推理基准测试上。

reddit · r/MachineLearning · /u/intentionallyBlue · 6月4日 13:21

背景: KV 缓存存储 transformer 模型中的中间键值对,以避免自回归解码期间的重复计算,但长序列会消耗大量 GPU 内存。量化降低了这些值的精度以压缩内存,但先前的方法常常导致质量损失或吞吐量下降。Hadamard 变换是一种正交线性运算,有助于解相关数据以实现更好的量化。方差归一化将数据缩放为单位方差,减少了导致量化误差的异常值。

参考链接

社区讨论: 评论者指出 KVarN 进入了一个竞争环境,其中 FP8 量化已经很强,但强调 KVarN 在推理基准测试上相比 TurboQuant 提供了更好的权衡。一些人赞赏其开源 vLLM 集成以及同时关注吞吐量和准确性。

标签: #KV-cache, #quantization, #LLM inference, #variance normalization, #Hadamard transform


NVIDIA 发布 Nemotron-3-Ultra:550B 参数开源大模型,支持 1M 上下文 ⭐️ 9.0/10

NVIDIA 发布了 Nemotron-3-Ultra,这是一个 550B 参数的开源大语言模型,其中 55B 参数处于活跃状态,采用混合 LatentMoE、Mamba-2 和 Attention 架构,支持高达 100 万个 token 的上下文。 该模型代表了开源前沿大语言模型的重大飞跃,结合了创新架构以实现极致效率与超长上下文能力,有望支持复杂的智能体工作流和高级推理任务。 该模型至少需要 8 块 GB200/B200/GB300/B300、16 块 H100 或 8 块 H200 GPU,采用 OpenMDW 许可证 1.1 版,发布日期为 2026 年 6 月 4 日。它包含多 token 预测(MTP)以实现更快的生成,并支持通过聊天模板切换推理模式。

reddit · r/LocalLLaMA · /u/jacek2023 · 6月4日 11:48

背景: Nemotron-3-Ultra 采用混合架构,交错使用 Mamba-2(一种状态空间模型)、混合专家(MoE)和注意力层。LatentMoE 是一种改进的 MoE 设计,针对每 FLOP 和每参数的准确率进行了优化。多 token 预测(MTP)是一种训练技术,模型同时预测多个未来 token,通过推测解码提升推理速度。

参考链接

社区讨论: Reddit 社区对模型的能力表示兴奋,但指出其极高的硬件要求,一位用户评论道“太大无法在本地运行,有人有 8 块 H200 吗?”,反映出可及性方面的担忧。

标签: #NVIDIA, #Nemotron, #LLM, #MoE, #Mamba


Anthropic 发布开源框架,用于 AI 驱动的漏洞发现 ⭐️ 8.0/10

Anthropic 开源了一个参考框架,用于利用 AI 代理(基于 Claude Mythos 模型)发现软件漏洞。该框架提供了结构化的工具和基础设施来自动化漏洞研究。 此次发布降低了安全研究人员利用先进 AI 代理进行漏洞发现的门槛,有望加速开源软件中零日漏洞的识别。同时也表明了 Anthropic 对开源安全工具和透明度的承诺。 该框架目前不积极维护,也不接受贡献,正如仓库中所注明的。社区估计每次运行的成本可能在数百到数千美元之间,具体取决于所使用的模型(如 Opus 或 Mythos)。

hackernews · binyu · 6月4日 20:11 · 社区讨论

背景: Anthropic 的 Claude Mythos 模型最近在 1000 多个开源项目中发现了超过 23000 个潜在漏洞。用于漏洞研究的 AI 代理利用大型语言模型自主分析代码并识别安全缺陷,但有效使用需要精心设计的’框架’来引导代理的注意力。

参考链接

社区讨论: 知名安全研究员 tptacek 将该框架比作’车间夹具’——能提供灵感,但用户可能更倾向于构建自己量身定制的版本。另一位评论者 baby 指出,没有好的框架,像 Claude 这样的模型难以发现漏洞,尤其是密码学漏洞,并且该框架仍需要大量定制。Simon Willison 询问运行成本,并引用了仓库中的大致 token 估算。

标签: #AI, #security, #open-source, #vulnerability research, #agent


VoidZero(Vite 开发公司)加入 Cloudflare ⭐️ 8.0/10

Vite 构建工具背后的公司 VoidZero 宣布加入 Cloudflare,引发了关于开源项目未来和商业模式的讨论。 此次收购凸显了大型科技公司收购流行开源工具以增强开发者平台的趋势,并引发了对开源商业模式可持续性的质疑。 该收购在 Cloudflare 和 VoidZero 博客上同时宣布,承诺 Vite 的路线图和开源性质将保持不变,但社区成员表示怀疑。

hackernews · coloneltcb · 6月4日 13:00 · 社区讨论

背景: Vite 是一个现代前端构建工具,在开发期间使用原生 ES 模块实现快速启动和热模块替换。它由 Vue.js 的创建者尤雨溪开发,已成为 JavaScript 工具生态系统的重要组成部分。

参考链接

社区讨论: 社区评论对此次收购表示不安,一些人指出’打造流行工具,然后被收购’的模式,质疑对开源独立性的影响。其他人提到 Cloudflare 的资源可能使 Vite 受益,但怀疑情绪仍然很高。

标签: #acquisition, #Cloudflare, #Vite, #JavaScript tooling, #open source


Anthropic 报告递归自我改进进展 ⭐️ 8.0/10

递归自我改进可能导致智能爆炸,引发深刻的安全和控制问题;Anthropic 在倡导 AI 安全的同时追求这一目标,引发了关于速度与谨慎是否兼容的辩论。 博客提到了一个名为 ‘Mythos’(源自克苏鲁神话)的模型,并声称 AI 现在编写了 Anthropic 的大部分代码,但该公司仍面临频繁的 API 中断和限流问题。

hackernews · meetpateltech · 6月4日 16:20 · 社区讨论

背景: 递归自我改进(RSI)是指 AI 系统通过重写自身代码来自主增强智能的假设过程,可能导致快速智能爆炸。虽然仍是一个理论概念,但像 Anthropic 这样的实验室正在迈出早期步骤,在 AI 社区中既引起了兴奋也引发了担忧。

参考链接

社区讨论: 社区表达了怀疑:一些用户指出了 Anthropic 的可靠性问题(频繁的 API 错误),其他人质疑除了“氛围编码”外是否真的取得了突破,还有几位批评了追求 RSI 与声称优先考虑安全之间的不一致。名称 ‘Mythos’ 也引发了关于对人类漠不关心的讽刺评论。

标签: #AI, #recursive self-improvement, #Anthropic, #AI safety


Meta 在智能眼镜上推出面部识别,引发隐私争议 ⭐️ 8.0/10

Meta 已在其 Ray-Ban Meta 智能眼镜上部署面部识别技术,能够实时识别用户视野中的人。 这一功能引发了重大的隐私担忧,因为它允许未经同意进行隐蔽识别,可能导致广泛的监控和滥用。 这些眼镜可以将人脸与联系人数据库或公共资料进行匹配,用户可以选择在识别到附近的人时接收通知。

hackernews · buchodi · 6月4日 19:36 · 社区讨论

背景: 面部识别技术多年来一直备受争议,涉及隐私、偏见和政府监控等问题。2012 年 Google Glass 就曾面临类似的反对,其开发者被明确禁止构建面部识别应用。

社区讨论: 评论者既表达了对无障碍功能(如用于面孔失认症)的渴望,也表达了强烈的隐私担忧。有人引用了 Google Glass 和 Meta 过去的隐私争议,还有人建议制作一种能检测附近面部识别眼镜的‘相反’设备。

标签: #facial recognition, #smart glasses, #privacy, #Meta, #wearable tech


高斯点溅射融合两种渲染技术 ⭐️ 8.0/10

一种名为高斯点溅射的新渲染技术在 Siggraph 2026 上提出,它结合了高斯溅射和基于点的渲染,以实现高效的 3D 可视化。 这种混合方法可以实现实时高质量的新视角合成和 3D 场景表示,可能对游戏、VR 和计算机图形学管线产生影响。 该技术将高斯溅射的体积表示与点云的效率相结合,在质量和速度之间提供了折中。与网格溅射的比较表明,高斯溅射可能在处理锐利特征方面存在不足。

hackernews · ibobev · 6月4日 10:48 · 社区讨论

背景: 高斯溅射是一种体积渲染技术,用各向异性高斯基元表示场景,实现实时光场渲染。基于点的渲染使用点作为几何基元,渲染时间恒定且独立于场景复杂度。这项新工作旨在结合两种方法的优势。

参考链接

社区讨论: 社区评论显示了对 AAA 游戏采用这些方法的兴趣,用户还请求关于经典点溅射的教程(已被高斯溅射掩盖)。一位评论者将该技术与网格溅射进行了比较,指出三角形比高斯函数能更好地表示锐利特征。

标签: #computer graphics, #rendering, #Gaussian splatting, #point cloud, #Siggraph


因 LLM 发现漏洞,splice()和 vmsplice()系统调用面临移除 ⭐️ 8.0/10

LWN 文章报道,由于大型语言模型(LLM)发现的漏洞激增,Linux 内核可能会移除 splice()和 vmsplice()系统调用。 移除这些系统调用将是内核的重大变更,影响数据移动的性能优化,但能通过消除频繁的漏洞来源来增强安全性。 splice()系统调用通过管道在文件描述符间移动数据,减少拷贝;vmsplice()将用户内存映射到管道或从管道映射。近期补丁添加了 fs.splice_needs_write sysctl 参数限制拼接操作,但文章暗示可能考虑完全移除。

rss · LWN.net · 6月4日 16:22

背景: splice()系统调用于 2006 年加入 Linux 2.6.17,通过减少系统调用和数据拷贝来提升 I/O 性能。它通过重映射文件与管道之间的页面实现零拷贝。vmsplice()将其扩展到用户内存。但复杂的内核交互多年来导致了大量安全漏洞。

参考链接

标签: #linux, #kernel, #security, #system-calls, #vulnerabilities


加州年龄保证法案豁免开源,扩大年龄限制 ⭐️ 8.0/10

2026 年 5 月 28 日通过加州众议院的 AB 1856 法案,豁免开源操作系统遵守《数字年龄保证法》的年龄段数据收集要求,但将年龄限制扩展至所有网络浏览器和网站,强制收集年龄信息。 该法案影响复杂:一方面保护了开源开发者免受合规负担,另一方面大幅扩大年龄限制至浏览器和网站,引发对用户隐私、言论和安全的严重担忧。 豁免范围严格限于开源操作系统,未明确涵盖集成开源代码的商业产品。扩展部分要求浏览器和网站请求并收集年龄数据,加剧了原已存在的宪法损害。

rss · LWN.net · 6月4日 14:53

背景: 《数字年龄保证法》(AB 1043)于 2025 年 10 月在加州签署成为法律,要求操作系统提供商收集用户的年龄段数据并传输给应用。AB 1856 最初旨在修订该法,重点关注年龄验证信号。EFF 和开源社区对原法律对隐私和开源项目的影响表示担忧。

参考链接

标签: #policy, #privacy, #open source, #age assurance, #California


在线策略蒸馏成为重要后训练技术 ⭐️ 8.0/10

Hugging Face 团队成员在 PapersWithCode 上介绍了在线策略蒸馏(OPD)作为一种关键的后训练方法,并提供了原始论文和 Sasha Rush 的白板讲解视频等资源。 在线策略蒸馏驱动了 Qwen 3.6/3.7、GLM-5.1 和 DeepSeek-V4 等先进模型,因此 AI 研究人员和实践者理解该技术至关重要。 在在线策略蒸馏中,学生模型生成自己的轨迹,教师模型插入提示 token 来抑制特定错误,无需新的解码过程,从而实现高效训练。

reddit · r/MachineLearning · /u/NielsRogge · 6月4日 12:40

背景: 知识蒸馏是一种将知识从教师模型转移到学生模型的技术。在线策略蒸馏是其变体,利用学生自身的输出来采样轨迹,教师模型提供 token 级别的反馈以纠正错误,特别适用于大型语言模型的后训练。

参考链接

标签: #on-policy distillation, #knowledge distillation, #AI research, #post-training, #LLMs


测量几何深度学习中的对称性-数据交换率 ⭐️ 8.0/10

这篇论文通过受控的 C_n 对称任务和一种新的相对交换率估计器,实证测量了等变性带来的样本复杂度降低,证实了理论预测。主要结果是 beta_diff≈1.28,与理论因子 1.0 一致,而错误群组控制显示不对齐会主动损害性能。 这项工作直接验证了几何深度学习中的一个核心主张——等变性将样本复杂度降低了 G 倍——这一主张常被假设但很少被测量。它提供了一种严谨的方法来区分群阶和任务难度,为未来基于对称性的学习的实证研究提供了模板。 作者推导了一个相对交换率估计器,抵消了共享的任务难度,避免了朴素估计器的混淆。他们还包含了错误群组控制:具有错误循环对称性的模型显著差于无约束模型,联合置信区间[0.79, 3.26]排除了零。

reddit · r/MachineLearning · /u/AhmedMostafa16 · 6月4日 22:43

背景: 等变性是指模型输出在输入对称性(如旋转或排列)下可预测地变换的性质。几何深度学习认为,将等变性编码到模型架构中可以减少所需训练数据量,理论上减少因子等于群大小 G 。然而,测量这一效果很具挑战性,因为更大的群也会引入更难的对称结构,将优势与增加的任务难度混在一起。
参考链接

标签: #geometric deep learning, #equivariance, #sample complexity, #symmetry, #empirical validation


开源库通过自适应路由将 LLM 推理成本降低 56% ⭐️ 8.0/10

一个名为 AgentCodec 的源代码可用库将 28 种 LLM 可靠性技术统一到单个 API 下,并配备三个自适应路由器(SemKNN 和两个本地 ACM 路由器),在特定模型组合上实现了匹配质量下高达 56%的成本降低。用户只需将导入语句从’openai import OpenAI’改为’agentcodec.openai import OpenAI’即可采用。 该库解决了可靠性方法各自拥有独立代码库和提示格式的碎片化问题,使得基准测试和组合技术变得极其耗时。通过启用每提示的自适应技术选择,它提供了一条在不牺牲质量的情况下显著降低推理成本的实用路径,可能加速可靠 LLM 在生产中的部署。 该库包含来自六个通信理论家族(ARQ、分集合并、Turbo 解码、喷泉码、FEC、ACM)的 28 种技术,以及七种先前方法基线(如 Self-Consistency 和 Chain-of-Verification)。单个超参数λ控制质量-成本前沿的权衡,并且该库可作为 OpenAI、Anthropic 和 Ollama 客户端的即插即用替代品,保留原生响应格式。

reddit · r/MachineLearning · /u/Intellerce · 6月4日 16:51

背景: LLM 可靠性技术旨在通过额外推理来提高正确性,例如通过重试、集成或验证步骤。这些方法类似于无线通信中的纠错策略,其中 LLM 被视为噪声信道。自适应路由根据输入动态选择最佳技术,类似于自适应调制编码(ACM)根据信道条件调整以最大化吞吐量。该库实现了这一类比,统一了分散的方法,并允许轻松比较和组合。

参考链接

标签: #LLM, #reliability, #inference optimization, #adaptive routing, #open-source


LLM 智能体中的忠实不确定性:校准与效用的权衡 ⭐️ 8.0/10

一位 Reddit 用户强调了在 LLM 智能体中校准(将置信度与正确性匹配)与效用之间被低估的区别,并提出了一种实用的基于验证器的方法,该方法能捕获约 60%的幻觉工具调用,但代价是增加了延迟。 这一区别对于智能体安全性至关重要,因为过度自信的智能体在拥有工具访问权限时可能会根据错误的前提采取行动,造成实际危害。所提出的基于验证器的折衷方案提供了一种在不完全牺牲可用性的情况下减少工具使用中幻觉的方法。 作者的设置使用了一个生成任务图的规划阶段,随后是一个轻量级验证器,检查计划与可用证据的一致性,将幻觉从 25%降低到 5%,但正确回答减少了一半。折衷方案是让规划层标记低置信度任务供人工审核,同时自动执行高置信度任务。

reddit · r/MachineLearning · /u/Ill_Awareness6706 · 6月4日 14:53

背景: 在 LLM 智能体中,校准指的是模型的置信度与其实际正确性的匹配程度,而效用则反映了智能体行动的整体收益。谷歌关于元认知减少幻觉的论文提出了这一区别。大多数智能体栈目前将置信度视为日志细节而非控制界面,这对于安全关键应用是有问题的。

参考链接

社区讨论: 虽然该帖子未包含评论,但原始 Reddit 线程可能包含关于校准-效用权衡和实际实施挑战的进一步讨论。

标签: #LLM, #uncertainty calibration, #agent safety, #hallucination, #metacognition


Higgs Audio v3 TTS 4B:支持 100 种语言的语音聊天模型 ⭐️ 8.0/10

Higgs Audio 发布了其 TTS 模型的第三版,一个 40 亿参数模型,支持 100 种语言,并具有用于语音聊天应用的内联控制功能。 该发布通过提供广泛的多语言支持和语音聊天优化,推动了本地 TTS 技术的发展,使开发者能够更轻松地将自然语音集成到应用中,而无需依赖云服务。 该模型拥有 40 亿参数,专为语音聊天而构建,内联控制可能用于情感语调、速度或发音。之前的 v2 版本在情感和问题类别上相比 GPT-4o-mini-tts 取得了很高的胜率。

reddit · r/LocalLLaMA · /u/FerretLegitimate6929 · 6月4日 22:26

背景: 文本到语音(TTS)模型将书面文本转换为口语音频。Higgs Audio 是来自 Boson AI 的文本-音频基础模型。内联控制允许用户通过文本输入中的自然语言标签调整语音特征(如情感或速度),这一功能在其他 TTS 系统(如 ElevenLabs 和 Deepgram)中也有出现。

参考链接

标签: #TTS, #multilingual, #voice chat, #open-source


BeeLlama v0.3.1 通过 DFlash 和 MTP 将推理速度提升至 4.93 倍 ⭐️ 8.0/10

BeeLlama v0.3.1 是 llama.cpp 的一个分支,新增了 DFlash 推测解码、MTP 支持、q6_0 KV 缓存和 TurboQuant。在单张 RTX 3090 上,Gemma 4 31B 模型达到每秒 177.8 token,是基准速度的 4.93 倍。 这代表了本地 LLM 推理速度的重大飞跃,使 Gemma 4 31B 等强大模型能够在消费级硬件上高效运行。通过在一个易用的分支中集成 DFlash 和 MTP 等先进技术,降低了本地运行大语言模型的门槛。 DFlash 技术使用轻量级块扩散模型进行推测解码,实现了高接受率(例如在 Gemma 4 31B 上接受率为 65.7%,最终生成 token 中接受部分占比 90.0%)。MTP 本身可提供 1.8-1.9 倍加速。该更新与上游 llama.cpp 对齐,并为所有平台提供预编译二进制文件。

reddit · r/LocalLLaMA · /u/Anbeeld · 6月4日 21:25

背景: 推测解码通过使用小型草稿模型提出多个 token,再由大目标模型并行验证,从而加速 LLM 推理。DFlash 是一种基于块扩散的轻量级草稿模型,而 MTP(多 token 预测)是一种训练方法,使模型本身能够预测多个 token。量化减少模型内存占用,q6_0 是 KV 缓存的 6 位量化格式。

参考链接

标签: #llama.cpp, #local LLM, #inference optimization, #BeeLlama, #Quantization


Gemma 4 QAT 版本确认即将发布 ⭐️ 8.0/10

Gemma 团队成员 Omar 在 Reddit 评论中确认,Gemma 4 的量化感知训练(QAT)版本即将发布,并建议社区在测试量化前等待该版本。 该版本意义重大,因为与标准训练后量化相比,QAT 可以生成更高质量的量化模型,有可能提高 Gemma 4 本地部署的推理效率和准确性。 QAT 版本预计将直接把量化感知训练融入模型训练过程,通常能在低位宽下获得更好的性能。具体发布日期尚未公布,但该团队成员表示即将到来。

reddit · r/LocalLLaMA · /u/Aaaaaaaaaeeeee · 6月4日 09:18

背景: 量化感知训练(QAT)是一种通过在训练过程中模拟低精度运算来优化神经网络以部署在资源受限设备上的技术。与训练后量化(PTQ)不同,QAT 允许模型适应量化误差,通常能获得更高的精度。这对于像 Gemma 4 这样的大语言模型尤为重要,因为在不显著损失质量的情况下减小模型大小对于本地推理至关重要。

参考链接

社区讨论: 该公告是在一条相对未被注意的评论中发布的,但本地 LLM 社区很可能会欢迎这一进展,因为它有望提高量化性能。一些用户可能更愿意等待官方的 QAT 版本发布后再对 Gemma 4 进行量化实验。

标签: #gemma, #quantization, #llm, #open-source, #model-optimization


cyankiwi AWQ 更新新增 NVFP4 和 FP8 支持,KL 散度表现最佳 ⭐️ 8.0/10

cyankiwi 发布了其 AWQ 量化实现的更新,新增了对 NVFP4 和 FP8 动态量化的支持。在 Qwen3.6 模型上的基准测试显示,他们的 4 位 AWQ 量化在所有测试的 4 位方法中,相对于 BF16 基线实现了最低的 KL 散度。 这一更新表明,经过精心实现的 AWQ 量化配合混合精度支持,在保持模型保真度方面可以超越 NVFP4 等更新的量化格式。它为实践者提供了一个实用且高质量的 4 位量化选项,适用于像 Qwen3.6 这样的大型语言模型。 报告的指标包括权重大小(GiB)和 KL 散度;例如,cyankiwi/Qwen3.6-27B-AWQ-INT4 实现了 0.020443 的 KLD,模型大小为 19.04 GiB,优于 NVFP4 变体和 AutoRound 方法。此次更新还引入了 FP8 动态量化,对特定层使用 8 位权重和激活。

reddit · r/LocalLLaMA · /u/_cpatonn · 6月4日 20:18

背景: AWQ(激活感知权重量化)是一种根据激活统计信息校准量化尺度以最小化精度损失的方法。NVFP4 是 NVIDIA 的 4 位浮点格式,采用块大小为 16 的块缩放;而 FP8 动态量化则动态地将权重和激活量化为 8 位。KL 散度衡量从原始 BF16 精度压缩时丢失的信息量。

参考链接

标签: #AWQ, #quantization, #Qwen, #LLM inference, #NVFP4


谷歌发布 Gemma 4 12B 模型,可在笔记本本地运行 ⭐️ 8.0/10

谷歌发布了 Gemma 4 12B 开源 AI 模型,仅需 16 GB 内存即可在笔记本上本地运行。该模型填补了 Gemma 4 系列中移动端轻量版与大型专业版之间的空白。 此次发布大幅降低了本地 AI 推理的门槛,使开发者和爱好者无需依赖云端即可运行功能强大的模型。这也表明了谷歌对开源 AI 的承诺,采用了 Apache 2.0 许可证。 Gemma 4 12B 模型仅需 16 GB 系统内存或显存,约为 26B MoE 版本所需内存的一半。谷歌声称其基准测试性能接近 26B MoE 版本。

telegram · zaihuapd · 6月4日 01:46

背景: Gemma 4 系列于 2026 年 4 月发布,采用 Apache 2.0 许可证,包含从移动端到专业级的多款模型。Mixture of Experts(MoE)是一种技术,通过选择性激活多个专门的子模型来实现高效推理。

参考链接

标签: #AI, #Machine Learning, #Google, #Gemma, #Open Source


老虎国际暂停中国境内账户新开仓 ⭐️ 8.0/10

老虎国际宣布,自 2026 年 6 月 12 日起,暂停中国境内存量账户的新开仓、加仓和入金操作,仅允许卖出、平仓和出金,以遵守跨境证券业务监管要求。 这标志着中国对非法跨境证券交易监管整顿的重要一步,影响数百万使用境外券商的内地散户投资者。此举表明执行力度加强,可能重塑金融科技券商行业,并推动投资者转向合规渠道。 暂停仅适用于中国境内的服务;现有客户的境外服务不受影响。资金可正常转出,资产安全有保障。在监管要求下,富途、长桥等其他券商也采取了类似行动。

telegram · zaihuapd · 6月4日 07:51

背景: 中国监管机构一直在收紧对跨境证券活动的管控,以防止资本外逃并维护金融稳定。2026 年 5 月,八部门联合发布了整治非法跨境证券期货基金活动的综合方案。老虎国际、富途等境外券商因未持合法牌照而面临越来越大的压力,需停止服务内地客户。

参考链接

标签: #finance, #regulation, #China, #securities, #fintech


苹果新版 Siri 将采用谷歌和英伟达芯片处理云端 AI ⭐️ 8.0/10

据报道,苹果计划将新版 Siri 的云端 AI 查询交由谷歌数据中心处理,使用英伟达 Blackwell B200 芯片,这一做法打破了其惯用的自研硬件策略。 这一转变表明苹果在 AI 性能竞争中的务实需求,可能重塑其对第三方硬件和云服务商的依赖格局,影响整个 AI 生态链。 B200 GPU 基于英伟达 Blackwell 架构,专为大规模 AI 工作负载设计,并包含硬件级加密以保护数据安全,回应了隐私方面的担忧。

telegram · zaihuapd · 6月4日 11:37

背景: 苹果历来优先自研芯片,如 A 系列和 M 系列处理器。然而,在其自有服务器上运行 Gemini 等大型语言模型的速度过慢,因此不得不转向云服务合作伙伴。英伟达的 Blackwell GPU 是最新高性能 AI 加速器,而谷歌云提供可扩展的基础设施。

参考链接

标签: #Apple, #Siri, #AI, #Nvidia, #Google


AI 智能体流量首次超过人类流量 ⭐️ 8.0/10

Cloudflare 报告称,AI 智能体现在生成 57.5% 的网络请求,比其 CEO 此前预测的 2027 年更早地超过了人类流量。 这一里程碑标志着自主 AI 智能体的迅速崛起,将重塑网络流量模式、网络安全以及企业与互联网的交互方式。 据 Cloudflare 称,若按使用总时长衡量,人类仍是网络的主要使用者,但流媒体和社交媒体产生的页面请求量远低于自动化程序。公司区分这些智能体与传统爬虫,因为它们执行比价、内容检索等多步骤任务。

telegram · zaihuapd · 6月4日 16:49

背景: AI 智能体是能代表人类在线执行复杂任务(如购物或研究)的自主程序。与传统遵循预定义规则的机器人不同,AI 智能体使用大语言模型进行推理并采取行动。Cloudflare 提供机器人管理工具来检测和分类此类流量,使网站能够识别并选择性阻止 AI 智能体。

参考链接

标签: #AI, #bots, #internet traffic, #Cloudflare, #automation