ESM-IF1

ESM-IF1 ESM Inverse Folding

Summary card

Задача и generated object

Used in these tasks: Fixed-backbone inverse folding, Предложение single mutations

Part of these workflows: Fixed-backbone inverse folding

Architecture and operating principle

Input representation

NR

Encoder и decoder

NR

Latent or generative state

NR

Conditioning mechanism

Partial masks, complexes, interfaces, multistate use cases

Generation mechanism

GVP geometric encoder + autoregressive Transformer

Sampling: NR

Training objectives

NR

Losses: NR

Mathematical details: NR

Integrated evaluation

Conditional log-likelihood; can score mutations

Architectural limitations

• Fixed-backbone assumption.
• scores fold compatibility more directly than therapeutic function.
• legacy repository.

Uses these architecture components: Inverse folding, Geometric transformers, SE(3)-equivariant networks, Invariant models

Generator versus evaluation

Training data и biases

Inference hardware и runtime

Experimental evidence

Limitations and failure modes

• Fixed-backbone assumption.
• scores fold compatibility more directly than therapeutic function.
• legacy repository.

Deployment: Immediate retrospective evaluation

Reproducibility, license, commercial use

Related tools

Alternative tools: NR

Complementary: NR

Related: NR

Not directly comparable with

Depends on these external modules

NR

Related glossary terms

Primary paper и полный список источников

Source matrix: landscape xlsx, last verified 2026-08-13.

Детальный source-grounded разбор

Недоступные или неполные источники

ESM-IF1 (GVP-Transformer) — inverse-folding generator $p(Y\mid X)$ по координатам N/Cα/C. Sequence recovery и zero-shot likelihood ratio не равны experimental $K_d$. Released модель — гибрид 4 GVP-GNN + 8+8 Transformer (~142M), обученный на CATH + 12M AF2-предсказанных структур.

Происхождение источников

Проверенные файлы реализации:

• README.md (IF1 usage)
• esm/inverse_folding (не построчно в этом выпуске)

1. Что именно делает инструмент

[PAPER]Вход: backbone N, Cα, C coordinates (не side chains). Комплексы: цепи конкатенируются с 10 mask tokens между цепями. Частично masked backbone допустим (span mask train). bioRxiv: complexes; span masking up to 30 AA until 15% coords masked

[PAPER]Выход: авторегрессивная последовательность $Y$ (sampling или argmax при $T=10^{-6}$ для recovery). Backbone не генерируется.

[PAPER]Fixed-backbone inverse folding, не de novo fold. Zero-shot mutation scoring через likelihood ratio — evaluator mode той же сети, не отдельный affinity head.

2. Архитектура в одном абзаце

[PAPER]GVP-GNN encoder извлекает геометрию (rotation-equivariant vectors + invariant scalars). Затем change of basis в локальные residue frames → invariant scalars → generic Transformer encoder–decoder (learned positional embeddings, pre-LN). Лучшая модель: 4 GVP-GNN encoder layers, 8 Transformer encoder, 8 decoder, 8 heads, $d=512$, 142M. Инвариантность $p(Y\mid X)=p(Y\mid TX)$ для $T\in\mathrm{SE}(3)$ (Appendix A.3). §GVP-Transformer; Appendix A.3

4. Математическая модель

5. Физическое устройство состояния

[PAPER]Атомы остова в $\mathbb{R}^3$; GVP vectors — геометрические направления; scalars — invariant. Sequence — AA identity. pLDDT AF2 — входной признак (RBF) для predicted structures, не выход ESM-IF1. 10 gap tokens — цепной разделитель, не физический линкер.

7. Training

[PAPER]CATH topology 80/10/10: 16153 / 1457 / 1797. Плюс 12M UniRef50 AF2 structures (Amber-relaxed; sequences ≤500; ranked by MSA Transformer distogram lDDT). Mix per epoch: experimental set + 10% random sample of 12M → ~1:80 experimental:predicted. pLDDT < 90 маскируется (~25% predicted coords). Binary token experimental vs predicted. Span masking: spans ≤30 AA until 15% coords masked.

[PAPER]Small GVP-GNN (1M, 3+3) деградирует на predicted data. Large GVP-GNN (21M, 8+8) и GVP-Transformer выигрывают. Overfit CATH-only при scaling 1M→21M (42.2% → 39.2% recovery). Table 1; Fig. 6

8. Inference

[PAPER]Sampling из $p(Y\mid X)$; для max recovery $T=10^{-6}$. Partial backbone: masked nodes excluded from GVP then zeros into Transformer (Appendix A.2). Multi-state: geometric mean of likelihoods $p(Y\mid A)$ and $p(Y\mid B)$ как proxy $p(Y\mid A,B)$.

NRDefault CLI temperature / batch в этом выпуске: NR (код IF1 не построчно). Не путать с ESM-2 masked LM.

10. Почему, по мнению авторов, метод эффективен

[PAPER]Mechanism. Predicted structures ×3 orders of magnitude снимают data bottleneck; GVP даёт геометрию, Transformer — long-range / masked spans, которые чистый GVP-GNN не держит (Fig. 4).

[PAPER]Author claim. 51% native recovery (72% buried) on structurally held-out backbones; ~10 pp over prior GVP-GNN on CATH-only; generalization to complexes, partial masks, multi-state, zero-shot mutation.

[PAPER]Evidence. Retrospective CATH topology split; ablations Fig. 6 / Table 1 / C.1; zero-shot Rocklin stability, SKEMPI, Starr ACE2–RBD Spearman 0.69 when given RBD+ACE2 coords. No prospective designed-and-tested binders in this paper.

[INTERPRETATION]Causal support. Predicted-structure mix — ablation Fig. 6a–b (directly supported). Spearman 0.69 — retrospective correlation, не affinity maturation campaign.

12. Ablation analysis

[PAPER]CATH-only vs +AF2: GVP-Transformer recovery 38.3% → 51.6%; GVP-GNN-large 39.2% → 50.8%; tiny GVP-GNN 42.2% → 38.6% (деградация). Span vs independent masking: span лучше на длинных масках (Fig. 4). Число GVP layers перед Transformer помогает (Fig. C.1). Complex coords vs single chain: substantial perplexity gain (Table 2). RBM coords / ACE2 coords necessary for RBD affinity correlation (Table 3).

13. What the model does not represent

• Растворитель, протонирование, гликозилирование, кофакторы
• Side-chain packing как отдельный decoder
• Настоящая $\Delta G$; Spearman на Starr scan ≠ designed antibody Kd
• De novo backbone
• Antibody-specific fine-tune (это ESM-IF1; AntiFold — отдельный FT)

14. Evidence and limitations

[INTERPRETATION]Авторы честно показывают, что IF likelihoods коррелируют с некоторыми mutational assays. Это не prospective design evidence. AntiFold позже FT эту архитектуру на SAbDab+OAS — см. /tools/antifold.html. Structural evolution (Shanker/Hie Science) использует IF1-complex scoring — отдельный инструмент каталога.

15. Reproducibility

[CODE]Weights historically esm_if1_gvp4_t16_142M_UR50. Репозиторий esm на 2023-06-27 (commit выше) — maintenance; Meta перемещала модели. Точный inference example в этом выпуске не прогонялся. repo SHA only

Физико-химический смысл

Модульная схема

Generator versus evaluator

Claim–evidence matrix

Различия между статьёй и реализацией

Схемы information flow

flowchart LR
  X["Backbone N/CA/C"] --> GVP["4× GVP-GNN"]
  GVP --> F["Local frames → invariant tokens"]
  F --> TE["8× Transformer encoder"]
  TE --> TD["8× Transformer decoder AR"]
  TD --> Y["Sequence Y"]
  Y -.->|"optional"| LR["likelihood ratio vs WT"]

Источники

1. [1] Hsu C. et al. Learning inverse folding from millions of predicted structures. PMLR 162:8946–8970 (2022). · DOI · источник
2. [2] Jing B. et al. Learning from protein structure with geometric vector perceptrons. ICLR 2021. · источник
3. [3] facebookresearch/esm commit 2b369911. · источник

Нерешённые научные вопросы

• Table A.1 optimizer / batch / lr — NR numerically in HTML
• Построчный audit InverseFoldingModel.forward
• Совпадение checkpoint name с 142M GVP-Transformer — по документации ESM, не по hash файла весов