对 Škrinjar et al. (2026) Runs N' Poses 基准的五点评析

评析对象: Škrinjar, P., et al. (2026). Evaluating generalization in protein–ligand cofolding methods. Nature Structural & Molecular Biology, 33, 782–794. DOI: 10.1038/s41594-026-01797-5

评析者: 王觉菊 (Jueju.Wang), DiVo Gen²AI

日期: 2026-07-03

---

要点一：评测框架与工业角色的系统性错配

AlphaFold3 (AF3) 类共折叠模型在工业蛋白质设计管线中的实际角色是构型评分筛选器（conformational scoring filter），而非泛化生成器（generalization generator）。在 de novo 蛋白质设计的典型工作流中：

扩散模型生成候选（PXDesign-d, 500个binder）→ AF3构型预测与评分 → 筛选Top 5 → PPI Head亲和力评分 → 经典分子对接交叉验证 → 湿实验

泛化/生成由扩散模型负责，AF3 负责对生成结果做构型可能性预测与置信度评分。该基准评测 AF3 的"泛化能力"，实质是对筛选器评测其生成能力——评测维度与被评测对象的工业定位存在系统性错配。

对 AF3 类模型的合理评测应聚焦于：(1) 在已知系统上的绝对构型精度；(2) 在候选群中的相对排名能力（ranking capability）——后者正是工业界最关心的维度，而该基准完全未涉及。论文仅评估了绝对构型精度的变体（在陌生系统上测绝对精度），遗漏了排名能力这一关键维度。

---

要点二：绝对精度 ≠ 筛选价值——排名能力的遗漏

该基准以 1 Å ligand RMSD 为阈值定义"成功/失败"，用绝对精度否定 AF3 类模型的整体价值。然而，在 de novo 蛋白质设计的实际场景中，AF3 的核心价值在于相对排名能力——从数百个扩散模型生成的候选中筛选出构型最优的子集。

即使 AF3 在低序列相似度区间的绝对构型精度仅有 5–18% 的成功率，其排名能力可能远高于此——因为"排名最优的5个候选"可能比"随机选取的5个候选"在湿实验验证中显著更优。绝对精度与筛选价值是两个不同维度的度量：前者衡量单个预测与实验结构的吻合度，后者衡量模型在候选群体中的相对鉴别力。

该基准仅报告了绝对精度维度的结果，未设计任何排名能力评估实验。这一遗漏使得论文的"AF3 泛化不足"结论在工业应用语境下缺乏完整信息量——一个在绝对精度上仅 5% 成功率的模型，可能在排名维度上提供远超随机水平的信号。

---

要点三：指标体系缺乏物理基准锚定

该基准的核心指标——SuCOS-pocket 相似度与 1 Å ligand RMSD 阈值——是否与受体-配体结合的物理现实对应，论文未充分论证：

1 Å RMSD 阈值的热力学含义高度系统依赖。 对刚性小分子配体，1 Å 位移可能对应 >2 kcal/mol 的结合自由能变化（ΔΔG），构成热力学上的显著差异；但对柔性肽段配体，1 Å 位移可能处于热涨落范围内，不构成热力学上有意义的构型差异。论文未论证该阈值在其所评测的各类系统（小分子、肽段、蛋白质-蛋白质界面）中的热力学等价性。

SuCOS-pocket 相似度衡量的是三维形状与药效团特征的重叠度，而非热力学驱动力（自由能、焓-熵补偿）的定量表征。形状相似不等于热力学等价——两个 SuCOS-pocket 相似度 <20% 的复合物可能共享相同的热力学驱动力模式（如相同的氢键网络拓扑），但会被该基准归入"低泛化"区间。

如果评测指标体系脱离了构型与热力学的物理基准，评测结论的物理解释力将受限。

---

要点四："新指标"的理论承诺与实践兑现之间的落差——以 ipSAE 为例

DiVo Gen²AI 团队在 NPY/Y4R 项目中实测 ipSAE（interaction prediction Score from Aligned Errors, Dunbrack 2025），用于修正 AF3 的 ipTM 评分在短肽-受体复合物上的偏差。实测数据如下：

ipSAE 的理论承诺是修复 ipTM 因构建体尺寸差异导致的评分偏差，更好地区分真实复合物与假阳性。但在短肽（<20 aa）场景下，ipSAE 因分母效应系统性虚低——不同长度的短肽截短体 ipSAE 值几乎无区分（0.017 vs 0.019），而同为短肽的 C 端片段却给出 0.845 的高分。ipSAE 在短肽-受体场景下丧失了区分力。

这一经验具有方法论启示：类似 Runs N' Poses 基准中的 SuCOS-pocket 相似度等"新指标"，其理论承诺（精确度量泛化难度）与特定应用场景下的实践兑现之间可能存在落差。新指标在发布时通常基于中长链配体/蛋白质验证，在短肽、截短体等边界场景下的适用性需要独立验证。

---

要点五：正确的工程响应是扩充垂直训练集与构建交叉验证管线

AF3 类模型在低序列相似度区间性能下降的根本原因是训练数据覆盖不足。以鱼类蛋白质为例，DiVo Gen²AI 团队实测发现 AF3 对鱼类受体-配体复合物的 ipTM 与经典分子对接数据出现背离——这直接反映了鱼类蛋白质在训练集中的稀少。

解决该问题的工程路径是扩充垂直领域训练集（如鱼类蛋白质专用数据集），而非构建评测基准来证伪。两种路径的本质差异：

评测基准的诊断价值不可否认——它揭示了"哪些领域的数据覆盖不足"，恰好指导了训练集扩充的方向。但诊断本身不解决问题，工程界的优先投入应是治疗而非诊断。

与此相应，DiVo Gen²AI 的策略是构建多维度交叉验证管线（扩散生成 → AF3 结构预测 → PPI Head 亲和力评分 → 经典分子对接验证 → 湿实验筛选），依赖多维度交叉验证的内部一致性提供可信信号，而非依赖单一"金标准"评测。每个维度提供部分信号，维度交叉提供可信信号——这是工程实效主义的方法论基础。

---

总结

---

DiVo Gen²AI · 技术评析 王觉菊 (Jueju.Wang) 2026年7月3日