Arm 工程师实测三款前沿模型生成测试平台的缺陷检出率
Arm 高级验证架构师 Vikash Kumar 独立测试 Claude Opus 5、GPT-5.4 和 GLM-5.2 在 25 个未公开 RTL 设计上生成测试平台的能力,三款模型分别检出 79.2%、76.2% 和 62.8% 的 806 个手工植入功能缺陷。
NEWS / 动态
按时间浏览,使用右上角筛选切换领域。
Arm 高级验证架构师 Vikash Kumar 独立测试 Claude Opus 5、GPT-5.4 和 GLM-5.2 在 25 个未公开 RTL 设计上生成测试平台的能力,三款模型分别检出 79.2%、76.2% 和 62.8% 的 806 个手工植入功能缺陷。
ChipAgents 正在开发 Build-A-Chip-Bench,Nvidia 参与贡献基准套件与评分规则,该基准用开源工具和开源 PDK 评估 AI 智能体从工作负载规格到 GDS 布局完成芯片设计流程的能力。每个设计须通过硬门槛,包括对照隐藏验证 IP 的功能正确性以及可布线性、保持时间和 DRC,通过者再按 PPA 对照任务约束评分。表现最好的智能体在 65% 的任务上通过硬门槛,总体得分 16.6%;前沿智能体在回溯早期决策、优化时保护已有可用行为以及围绕慢速工具运行做规划方面仍有困难。
ChipAgents 宣布其 Build-A-Chip-Bench 加入 Fireworks 的 Specialized Intelligence Index(SII)。该基准由 ChipAgents 与 NVIDIA 贡献者共同开发,评估 AI 智能体从工作负载规格到 GDS 布局的数字芯片设计流程,任务提供固定接口、开源工具和开源 PDK,智能体可调用独立验证服务但看不到隐藏测试与验证 IP,最终由独立评分器打分。
推荐理由:ChipAgents 公开了从工作负载规格到 GDS 的智能体基准,并给出双门评分与首轮 16.6% 结果,可用于比较全流程评测口径。
Sigasi 在 10 月 14 日的线上研讨会中让 AI 智能体(演示用 Claude Code)完成两个 HDL 工程目标,两者都自行结束,但确定性分析仍报出未用信号、generic 映射问题、未约束信号类型和空范围等遗留项。

ChipAgents 与 NVIDIA 合作推出 Build-A-Chip-Bench,用于评估 AI 智能体能否从设计规格一路完成数字 IC 物理实现并得到通过验证的 GDS,覆盖架构、RTL、功能验证、综合、布局布线、时钟树综合、时序与功耗签核及物理验证等环节。
推荐理由:该基准把评估从 RTL 生成延伸到物理实现与签核,其初测结果可用于比较智能体在功能与 PPA 之间的落差。

ChipNexus(原 Primis AI)介绍其从 RapidGPT 演进而来的 NEX 智能体平台,并说明 Composable、Hierarchical、Adaptable、Secure、Extensible 五项 CHASE 原则。
Si2 宣布上线 LBC-bench,这是一个公开、开源的榜单,用于追踪大语言模型和 AI 智能体在半导体设计与验证任务上的表现,网站代码已在 GitHub 开源。
推荐理由:Si2 以联盟形式推出公开榜单,把 LLM 在芯片设计与验证任务上的评测数据与网站代码一并开源,便于复现与横向比较。

ChipNexus 与普渡大学 SoCET 团队合作,用从 32 位 ALU 到双核缓存一致 RV32I 处理器的四级任务评测 NEX 的 RTL 设计能力。最复杂设计含 25–30 个 RTL 文件和约 30 个汇编测试程序,人工估计约 100 小时,使用 NEX 后约 2.5–3.5 小时完成,有经验设计者的活跃设计时间降幅在 2.4 倍到 43 倍之间。
Si2 发布开源基准 CVDP 1.1.0,针对 AI 智能体改进评测框架。该版本采用 cocotb、Yosys、IVerilog 的稳定版本,cocotb 2.x 有望支持更多开源与商业仿真器,框架内新增使用 Claude Code 运行评测的初始设置,并增加来自 40 多个开源仓库的 100 个数据点,含人工植入缺陷和更大规模问题。
推荐理由:CVDP 1.1.0 的更新清单可用于比较面向 AI 智能体的 RTL 基准在工具版本与数据规模上的变化。