RoseTTAFold:三轨网络驱动的蛋白质结构与相互作用预测
新简介
RoseTTAFold 是华盛顿大学 Baker 实验室的结构预测系统,论文《Accurate prediction of protein structures and interactions using a three-track neural network》于 2021 年 7 月 15 日发表于《Science》第 374 卷第 871 至 876 页,DOI 10.1126/science.abj8754,采用 CC BY 许可。它是 CASP14 之后继 AlphaFold2 之后第二个公开发布的系统,架构上的核心差别在于:它不直接回归残基标架与侧链扭转角,而是在网络中层保留了一个显式的距离表示。
论文自身的定位是比较性的,引用时需谨慎。摘要写明,作者探索了包含相关思想的多种网络架构,最终以三轨网络取得最佳表现,其中一维序列层面、二维距离图层面与三维坐标层面的信息被依次变换并整合。摘要称三轨网络在 CASP14 上取得了接近 DeepMind 的精度,正文则明确指出三轨模型在 CASP14 靶标上的表现仍不及 AlphaFold2。
官方仓库为 RosettaCommons/RoseTTAFold,创建于 2021 年 6 月 29 日,以 Python 编写,默认分支为 main,MIT 许可,未归档。核验时约有 2280 星标、459 分叉与 99 个未关闭 issue。仓库共 217 个树条目,主要部分包括三轨网络代码 network/、用于酵母蛋白相互作用筛选的快速双轨变体 network_2track/、Rosetta 风格的精修与误差预测 DAN-msa/ 与 folding/、输入准备脚本 input_prep/、两个运行脚本 run_pyrosetta_ver.sh 与 run_e2e_ver.sh、conda 环境文件以及一个小型示例目录。
许可的切分方式容易被误读。源代码为 MIT,而训练权重与相关数据按 Rosetta-DL 软件许可发布,这是一份非商业协议:允许在机构内部运行、展示、复制与修改,仅限内部非营利非商业研究使用,并要求把用其产生的结果以非商业研究目的向其他研究者开放。任何商业用途(含收费服务项目)都需与华盛顿大学另签协议并支付费用。权重本身托管在 files.ipd.uw.edu,因此下载路径本身就是协议约定的一部分,并非公开发布。
项目周围的生态比仓库本身更宽。robetta.bakerlab.org 提供的 Robetta 服务包含 RoseTTAFold 选项,Baker 实验室另有一个 RoseTTAFold-All-Atom 仓库承载该方法的全原子推广,核酸扩展位于 uw-ipd/RoseTTAFold2NA。同一课题组的第二篇《Science》论文以 DOI 10.1126/science.abm4805 发表,主题是核心真核蛋白复合物的计算结构。
原理与工作方式
三轨设计并行推进三种表示。一维轨保存多序列比对,行是残基、列是数据库序列。二维轨保存以残基对索引的成对表征,网络由此预测距离图。三维轨保存真实坐标,它从一个生成的初始结构出发,由网络反复精修。
特征提取是迭代式的。network/Attention_module_w_str.py 中的 IterativeFeatureExtractor 交替执行三件事:用注意力更新一维与二维表征、用 SE3 变换器更新三维结构、再把更新后的结构回注到成对表征中。network/RoseTTAFoldModel.py 给出默认维度:d_msa 为 64、d_pair 为 128、d_templ 为 64,MSA 轨注意力头 4 个、成对轨 8 个、模板轨 4 个,n_module 为 4、n_module_str 为 4、n_layer 为 4,dropout 取 0.1。
距离头是二维残差网络。network/DistancePredictor.py 定义了 DistanceNetwork,用四个独立的 ResNet 头从成对特征预测四个量:残基间距离、二面角 omega,以及二面角 theta 与 phi。代码在计算对称量之前先把特征对称化,而 theta 与 phi 这类非对称量在未对称化的输入上计算,这与「哪些量在残基交换下对称、哪些不对称」的物理区分一致。network_2track/DistancePredictor.py 的双轨版本实现同样的四个头,但不包含输入对称化步骤。
坐标分两阶段产生。network/Refine_module.py 中的 Regen_Network 从最终成对特征与预测距离图重新生成初始坐标,使用图变换器与 UniMP 块,节点维度 64、边维度 128,输出每个残基的旋转与平移以及一个八维状态量。Refine_Network 随后通过多个 SE3 变换器块精修该结构,SE3 参数配置为输入特征 32、输出特征 16、边特征 32。network/equivariant_attention 下的 SE3 变换器实现来自原始的 SE(3)-Transformers 工作,network/performer_pytorch.py 中的注意力模块基于 Performer 架构,两者在 README 中均已署名。
置信度与结构一同预测。模型逐残基返回 lDDT 值,仓库将其写入输出 PDB 的 B 因子列,因此可在任意结构查看器中直接读取。
运行时存在两个变体。端到端版本产出单个 PDB 文件,B 因子列为逐残基预测 lDDT,文件名为 t000_.e2e.pdb。PyRosetta 版本把网络输出送入 Rosetta 风格精修,产出五个最终模型,B 因子列存放估计的 Cα rms 误差,文件名为 model_[1-5].crderr.pdb。PyRosetta 路径需要另行取得华盛顿大学的商业许可。
双轨模型是针对特定任务的有意简化。它位于 network_2track,通过 network_2track/predict_msa.py 调用,接受 a3m 格式的配对 MSA、输出 npz 文件名与第一条链的长度。它为高通量酵母蛋白相互作用筛选而开发,在该场景下仅凭距离图就足以给候选界面排序,对每一对都跑完整三轨精修则过慢。
复合物预测是独立脚本,输入约定也自成一套。network/predict_complex.py 接受配对 a3m 文件与链长列表,例如 -i paired.a3m -o complex -Ls 218 310,README 记录了一次后续提交把复合物预测脚本的 window_size 修正为 200。
适用边界与前提
README 明确给出运行前提。项目面向 Linux 与支持 CUDA 的 NVIDIA 驱动,conda 环境文件区分 CUDA 11 的 RoseTTAFold-linux.yml 与 CUDA 10 的回退版本 RoseTTAFold-linux-cu101.yml。folding-linux.yml 仅在需要 PyRosetta 版本时建立,而该路径硬性要求华盛顿大学的 PyRosetta 许可。
数据库体量很大且锁定在特定快照。README 指定 2020 年 6 月版的 UniRef30(约 46 GB)、BFD(约 272 GB)、2021 年 3 月快照的结构模板(超过 100 GB),并注明 CASP14 基准使用的是 2020 年 3 月的模板集。这些是归档快照,区别于在线数据库,结论可复现,同时把工具锁定在 2020 年中的进化状态上。
权重以单一压缩包形式从 Baker 实验室服务器分发,即 weights.tar.gz,内含网络权重,并自 2021 年 11 月更新起包含用于酵母蛋白相互作用筛选的双轨模型权重 RF2t.pt。README 明确要求用户重新下载权重以取得该文件,同时说明原始 RoseTTAFold 权重本身未发生变化。
训练方式与 AlphaFold 谱系有差别,这对预期设定很关键。论文说明,由于硬件显存限制,作者无法直接在大蛋白上训练,因为三轨模型含有数百万参数;他们改为向网络呈现许多不连续裁剪,每个裁剪由两段不连续序列片段组成、总计跨 260 个残基。最终模型通过把各裁剪产生的一维特征与二维距离、朝向预测合并平均得到,再经两条不同路径生成最终三维结构。
网络是在单链上训练的,复合物并不在训练范围之内。论文明确写出这一点,并指出单链结构预测中可能因此存在训练集偏差,这会体现为亚基相对排布的不确定。
仓库以指南式流水线形式发布,定位上不充当生产级调度器。README 直言所提供的运行脚本只是展示 RoseTTAFold 如何工作的一种指南,若要更高效地使用计算资源,应改为把各步骤拆成带正确依赖关系的独立作业,为 hhblits 与 hhsearch 阶段分配更多 CPU 与内存,仅在网络推理时使用 GPU。
上手路径
安装顺序固定且简短。克隆仓库,用 RoseTTAFold-linux.yml 或 CUDA 10 变体建立 conda 环境,若需 PyRosetta 路径则用 folding-linux.yml 建立 folding 环境,下载并解包权重归档,运行第三方依赖安装脚本 install_dependencies.sh,随后抓取三个数据库。
使用入口有三个。单链预测在示例目录中,用 run_pyrosetta_ver.sh 或 run_e2e_ver.sh,调用形式为 ../run_[pyrosetta, e2e]_ver.sh input.fa 加输出目录。复合物预测见 network/predict_complex.py,输入配对 a3m 与链长列表。高通量相互作用筛选用双轨模型,命令形如 python network_2track/predict_msa.py 加 MSA、输出 npz 名与第一条链长度,example/complex_2track 目录中有可直接运行的示例。
预期输出因路径而异,应逐一核对。PyRosetta 版本给出五个最终模型,B 因子列为估计的 Cα rms 误差;端到端版本给出单个 PDB,同一位置存放逐残基 lDDT。
FAQ 记录了两个实用问题。运行 hhblits 或 hhsearch 时出现段错误被归因于 conda 提供的静态编译版 hhsuite,建议的绕过办法是从源码自行编译并替换该构建。另一条针对计算节点上的作业调度,与前述假设一节的口径相同:拆分流水线,让 MSA 工具跑在 CPU 密集节点,仅把网络推理放到 GPU。
README 还链接了额外资源。robetta.bakerlab.org 的 Robetta 服务提供 RoseTTAFold 选项,CASP14 官方靶标的模型以 casp14_models.tar.gz 发布于 files.ipd.uw.edu,其中包含输入的 MSA 与 hhsearch 文件。main 分支最后一次提交日期为 2022 年 1 月 27 日,内容是改进内存缓存的序列数据库排序,因此即使仓库元数据记录了更晚的推送(发生在另一分支),该仓库自那时起实际上已冻结。
对于无法自备数据库与权重的用户,托管的 Robetta 路线同时免去了数百 GB 的下载与 Rosetta-DL 再分发约束,代价是权重许可所要求的机构协议。
横向对比
论文内部的对比对象是 CASP14 的其他参赛者与作者自己的双轨模型。一维、二维、三维三个层面均以注意力运算、且三个层面之间有信息流动的模型,是作者测试中表现最好的,明显优于当时排名最前的两个服务器组 Zhang-server 与 BAKER-ROSETTASERVER、排名全部组别第二的 BAKER 人类组,以及作者自身的双轨注意力模型。论文给出了结构性解释:在训练集相同、一维与二维轨注意力架构相近、推理模式操作相近的前提下,三轨模型相对双轨模型的性能提升说明,同时在比对、距离图与三维坐标三种表示上推理,比仅在比对与距离图信息上推理能更有效地提取序列与结构之间的关系。
AlphaFold2 是直接对比对象,论文对此并未夸大。论文指出,多序列比对深度与模型精度之间的相关性在 RoseTTAFold 上低于 CASP14 受测的 trRosetta 与其他方法,并把与 AlphaFold2 的差距部分归因于限制可探索模型规模的硬件条件,以及其他差异。论文还指出一处具体的架构差异:在双轨的 AlphaFold2 架构中,原子坐标的预测发生在一维与二维信息处理完成之后,而三轨设计把坐标精修与其他表征交错进行。同属双轨路线的开源复现可以参考 OpenFold,它把 AlphaFold2 的训练与推理栈整体开放出来。
论文主张的相对 AlphaFold2 的优势落在应用侧,基准分数上没有体现出来。它指出该网络能快速解决困难的 X 射线晶体学与冷冻电镜结构建模问题,为功能未知的蛋白提供功能洞见,并能仅从序列信息快速生成准确的蛋白复合物模型,从而绕开「先建模各亚基再做对接」的传统路径。
RosettaFold filter 是这一体系中一项没有 AlphaFold2 同类物的独立贡献。DAN-msa/ErrorPredictorMSA.py 是一个误差预测网络,接受 npz 格式的预测距离图与装满 decoy PDB 的目录或单个 PDB,为每个结构给出置信度估计。它提供 --roll 选项以处理来自主干网络的距离图,并提供 --pdb 标志进入单结构模式。这是 Baker 实验室用于在 decoy 间挑选、给候选界面打分的关键组件,也是整个工具包中在 AlphaFold2 发布版里没有直接对应物的部分。
双轨模型是第三个对比选项,它以牺牲坐标轨换取吞吐率;在材料领域的多轨潜在场模型(如 MACE-MP)中,也能看到用注意力组织多种物理量的相似取舍。其目标是酵母蛋白相互作用筛选,在该场景下为每个候选对产出界面置信度,比为每个对产出精修三维结构更重要。
与实验测定的关系与 AlphaFold 谱系一致:基于序列的建模无法取代晶体学或冷冻电镜,但可以提供起始模型,缩短实验路径。
基准与数据
主要基准是 CASP14。论文报告三轨模型明显优于当时排名最前的两个服务器组 Zhang-server 与 BAKER-ROSETTASERVER、BAKER 人类组以及作者的双轨注意力模型,同时仍不及 AlphaFold2。比较在 CASP14 靶标上进行,作者把部分差距归因于模型规模所受的硬件限制。
界面与复合物结果在蛋白相互作用数据集上报告。对基于已知结构复合物的配对序列比对构建的二链与三链靶标,所得模型在很多情况下接近真实结构,TM-score 高于 0.8。论文把这一点与配对序列间的残基共进化信息联系起来,并指出序列越多生成的复合物结构越准确。
面向疾病的用结果有量化数字。作者用 RoseTTAFold 为 693 个结构域生成模型,这些蛋白是已知结构的同源蛋白、含多个致病突变或经历过大量实验研究。其中超过三分之一的模型预测 lDDT 高于 0.8,对应 CASP14 靶标上平均 2.6 埃的 Cα RMSD。
论文也报告了数据有限时复合物预测的稳健性。鉴于网络训练于单链,作者指出单链结构预测中可能存在训练集偏差,并以「网络未在复合物上训练、进一步在蛋白复合物数据集上训练很可能改善多蛋白组装体建模」作为限定说明。
同样值得注意的是论文中没有的内容。开放获取文本不含 RosettaFold filter 的性能表,推理运行时数字也未在论文正文中给出,这些数据需从仓库、补充材料或服务文档获得,其来源与 CASP14 及 TM-score 数字并不同源。
官方 CASP14 预测连同输入的 MSA 与搜索结果一并发布,使得基准路径可以从已发布物件复现,这比仅有表格的复现条件更强。
物理 AI 场景中的用法
把这类结构预测与通用物理基础模型放在同一张图上比较时,物理基础模型合集 收录的条目给出了不同模态下的统一视角。RoseTTAFold 在计算生物工作流中占据特定位置,其中可迁移的部分是架构,具体生物学结论不在此列。三轨设计是一种通用的组织方式:把显式的几何约束(此处为残基间距离)保留在网络中层,而不把它压缩成最终回归目标。这样做的收益是中间表示保持物理可解释——距离图可直接与实验距离图比较——并且模型可以在实验者真正会核查的层面被检视。
在以仿真为主线的工作中,同样的分工在此成立:预测结构是初始条件,下游的分子动力学、对接或自由能计算继承其质量;把初始构象接进 GROMACS 这类显式分子动力学流程时,初始误差会被后续采样部分吸收。这里的区别特征在于距离图。由于网络暴露的是完整的预测距离图而不仅是最终坐标,工作流可以把预测距离与实验约束、或与仿真轨迹采样得到的距离作比较,从而获得坐标型输出无法提供的廉价中间诊断。
误差预测组件的工作流价值最为清晰。基于距离图的误差预测器为候选结构打分,把生成环节变成可过滤环节,这正是许多物理 AI 流水线已经实现的标准「生成—过滤—验证」模式。对一个装满 decoy 的目录逐个打分并给出每个结构的置信度,正是结构生成或对接阶段之后、消耗算力确认幸存者之前所需要的操作。
迭代式结构精修也是可迁移的想法。把坐标更新与序列、配对表征交错进行,意味着网络能利用不断演化的几何来聚焦注意力。在仿真代理模型中,这对应于在循环中用场或网格的残差表示来精修场,一次性回归解不足以支撑这类迭代;降阶建模与代理模型 一节给出的工作流分层与此一致。
CASP14 案例对工作流设计有启发。Baker 实验室把官方预测连同输入比对与搜索结果一并发布,第三方无需重跑比对检索即可复现基准路径。对科学工作流而言,这在成本上是有意义的差别,理由与 AlphaFold 流水线中的预计算 MSA 选项相同。
复杂度控制策略同样可迁移。在固定总残基数的不连续裁剪上训练、再把逐裁剪预测平均成全长模型,是一种带清晰聚合规则的显存驱动分解。类似分解也出现在把大域切块并缝合重叠补片的体积仿真代理模型中。
不适用场景与失效模式
最具约束力的限制来自权重许可。Rosetta-DL 软件许可允许软件、数据或权重仅在接收方机构内运行、展示、复制与修改,仅限内部非营利非商业研究,并要求把用其生成的结果以非商业研究目的向其他研究者开放。禁止出版、分发或转让给监督下参与研究的机构员工与学生之外的任何人,商业用途(含收费服务项目)需与华盛顿大学另签付费协议。基于这些权重的商业产品无法分发,这一条约束与本集合其他条目采用的 CC BY-NC 安排不同,因为它同时限制生态内部的再分发。
训练裁剪限制了可达尺度。论文明确指出,由于三轨模型含有数百万参数且硬件显存不足,无法直接在大蛋白上训练,因此训练使用总跨 260 残基的两段不连续裁剪。非常大的结构域与大型组装体因此处在模型拟合范围之外。
复合物预测带有已知的训练偏差。网络训练于单链,复合物并不在训练目标之中,论文对此直言不讳,指出这可能给单链结构预测引入偏差 Consequently 亚基之间的相对排布比折叠本身更不确定。
序列深度的依赖性弱于竞争谱系。论文报告,多序列比对深度与模型精度之间的相关性在 RoseTTAFold 上低于 CASP14 受测的 trRosetta 与其他方法,意味着该方法从深度比对中提取的信号更少,相应更多依赖模板与学得先验。
基础设施要求沉重,官方指引也明确说所附脚本是指南,尚未经过调优。三个数据库合计超过 400 GB,环境要求特定 CUDA 代次并为 CUDA 10 准备了回退方案,README 记录了 conda 版 hhsuite 的段错误及自行编译的绕行办法,FAQ 还指出产出五个精修模型需要 PyRosetta 许可。
仓库实际上已冻结。main 分支最后一次提交为 2022 年 1 月 27 日,核验时未关闭 issue 有 93 个、PR 有 6 个,其中包括 nvrtc 的 GPU 架构参数无效报告、运行 predict_e2e.py 时的总线错误、BFD 压缩包下载失败、UniRef30 压缩包解压失败,以及复合物预测脚本中 write_pdb 的缺陷报告。issue 编号也反映出反复出现的操作类疑问,例如模型能否处理短于 50 残基的蛋白、流水线中的 TTA 标志具体指什么。
三轨架构按设计也比双轨变体慢,这限制了它在高通量筛选场景中的使用,这正是单独存在 network_2track 包与其专属权重文件的原因,在两者之间做选择取决于任务本身,不属于偏好问题。
版本与口径核对
多个版本并存,各自对应独立物件。《Science》第 374 卷第 871 至 876 页的论文日期为 2021 年 7 月 15 日,DOI 10.1126/science.abj8754,采用 CC BY 许可。仓库自身的版本标记体现在模型预设名与权重归档中:原始 RoseTTAFold 权重,以及 2021 年 11 月更新加入的、用于酵母蛋白相互作用筛选的双轨模型权重 RF2t.pt,该次加入未改动原始权重。
推送日期与提交日期是不同的事实,这里的差别有实际意义。仓库元数据记录 2024 年 2 月 15 日有一次推送,但 main 分支的提交历史终止于 2022 年 1 月 27 日的 MSA 排序 PR 合并,查询 2024 年 2 月 16 日之后的提交返回空。因此 2024 年的推送属于另一分支,默认分支上维护的实际终点是 2022 年 1 月。
模板数据库快照在基准与发布之间不同。README 指向 pdb100_2021Mar03.tar.gz 供一般使用,并明确说明 CASP14 基准使用的是 2020 年 3 月的那一套。要复现已发表的 CASP14 数字,需要旧快照,README 也单独给出了链接。
数据库快照是固定的,不随线上服务变化。UniRef30 是 2020 年 6 月版,BFD 是 README 列出的特定 metaclust id30 c90 最终序列归档,因此今天重跑仍使用与原始工作相同的进化数据,不会反映其后新增的序列。
模型维度可配置,而默认值值得记录,因为已发表结果依赖于它们。network/RoseTTAFoldModel.py 的默认值为 d_msa 64、d_pair 128、d_templ 64、n_head_msa 4、n_head_pair 8、n_head_templ 4、d_hidden 64、n_module 4、n_module_str 4、n_layer 4、p_drop 0.1,距离头对 distance、omega、theta 各预测 37 个分箱,对 phi 预测 19 个分箱。
两条运行路径的置信度口径不同,这一点容易被误引。端到端版本在单个输出 PDB 的 B 因子列报告逐残基 lDDT,PyRosetta 版本在五个输出模型的同一位置报告估计的 Cα rms 误差。前者是局部相似度评分,后者是全局误差估计,二者不可互换。
两份许可的范围不同,应分别引用。仓库代码为 MIT,版权标注 2021 RosettaCommons;权重与数据按 Rosetta-DL 软件许可,属于机构内部非商业协议,不是开源许可;PyRosetta 本身是华盛顿大学另行授权的独立商业产品。
参考资料
- Baek M, DiMaio F, Anishchenko I, 等. Accurate prediction of protein structures and interactions using a three-track neural network. Science, 第 374 卷, 第 871 至 876 页, 2021 年 7 月 15 日. DOI 10.1126/science.abj8754. CC BY.
- 官方 RoseTTAFold 仓库
https://github.com/RosettaCommons/RoseTTAFold,代码 MIT,权重按 Rosetta-DL 许可。 - Rosetta-DL 软件许可,非商业许可协议,托管于 files.ipd.uw.edu/pub/RoseTTAFold/Rosetta-DL_LICENSE.txt。
- Humphreys IR, Pei J, Baek M, 等. Computed structures of core eukaryotic protein complexes. Science, 2021. DOI 10.1126/science.abm4805.
- RoseTTAFold-All-Atom 仓库
https://github.com/baker-laboratory/RoseTTAFold-All-Atom,该方法的全原子推广。 - RoseTTAFold2NA 仓库
https://github.com/uw-ipd/RoseTTAFold2NA,蛋白与核酸复合物扩展。 - Fuchs FB, Worrall DE, Fischer V, Welling M. SE(3)-Transformers: 3D Roto-Translation Equivariant Attention Networks. arXiv 2006.10503, 2020.
- Choromanski K, 等. Rethinking Attention with Performers. arXiv 2009.14794, 2020.
- CASP14 官方评分榜
https://predictioncenter.org/casp14/zscores_final.cgi。 - CASP14 模型预测与输入 MSA、hhsearch 文件,托管于 files.ipd.uw.edu/pub/RoseTTAFold/casp14_models.tar.gz。
- Robetta 服务
https://robetta.bakerlab.org/,托管的 RoseTTAFold 选项。 - Jumper J, Evans R, Pritzel A, 等. Highly accurate protein structure prediction with AlphaFold. Nature, 第 596 卷, 第 583 至 589 页, 2021. DOI 10.1038/s41586-021-03819-2.
- Anishchenko I, Chidyausiku TM, Ovchinnikov S, Pellock SJ, Baker D. De novo protein design by deep network hallucination. Nature, 第 600 卷, 2021. DOI 10.1038/s41586-021-04184-w.
- Chaudhury S, Lyskov S, Gray JJ. PyRosetta: a script-based interface for implementing molecular modeling algorithms using Rosetta. Bioinformatics, 第 26 卷, 第 689 至 691 页, 2010. DOI 10.1093/bioinformatics/btq007.
- Steinegger M, Söding J. Protein homology clustering with MMseqs2. Nature Biotechnology, 第 35 卷, 第 539 至 542 页, 2017.
- Mirdita M, 等. UniRef30: a unified and consistent reference for sequence comparison and search. bioRxiv, 2021.