Geometric transformers

Геометрические трансформеры. Established English term: Geometric transformers.

1. Область определения

[INTERPRETATION]Роль в пайплайне — geometric inductive bias / backbone сети: слои, которые встраивают 3D distances, orientations, residue frames или pair representations в Transformer (или AF-like pair track + IPA). Сама семья не задаёт $p(\mathrm{data})$ и не выбирает mutants. Generated или scored state зависит от головы: дискретные AA tokens (inverse folding), обновлённые frames / atomic coords (structure module), либо masked sequence recovery поверх тех же представлений. Это не affinity head и не assay loop.

[PAPER]Математический объект входа — residual tokens плюс геометрический encoder $E_{\mathrm{geom}}(X)$: kNN-граф на Cα (GVP), либо sequence/pair features из PLM + Evoformer (tFold). Выход Transformer — invariant scalars для logits или pair/frame updates. Scored state (log $p$, ipLDDT, ipTM, AAR) — внутренний score, не $K_D$. Jing §3 protein graph; Hsu/AntiFold SI GVP then Transformer; tFold Fig. 3a ESM-PPI + Evoformer-Single + IPA

[MATRIX]Задачи каталога, куда bias реально входит: inverse folding и structure-aware antibody sequence через ESM-IF1 и AntiFold; antigen-conditioned antibody design и de novo antibody через workflow tFold / epitope-mab-tfold, где geometric stack — predictor/recovery, не единственный generator. Не few-shot ELISA AL. architectures/geometric-transformers.yaml applicable_task_ids; workflows antibody-inverse-folding, epitope-mab-tfold

[INTERPRETATION]Это не inverse folding: IF — задача/факторизация $p(s\mid x)$, реализуемая и GVP-Transformer, и residue MPNN. Это не graph neural networks: чистый message passing без global Transformer (ProteinMPNN; Jing GVP-GNN 3+3 / 8+8) живёт там. GVP-слой — encoder этого класса, не тождество «весь Jing = geometric transformer».

[PAPER]Это не SE(3)-equivariant models как класс векторного выхода $f(Rx+t)=Rf(x)+t$: у Hsu после local-frame projection Transformer видит invariant tokens; итоговый $p(Y\mid X)$ инвариантен (AntiFold SI; Hsu Appendix A.3 в prior read). IPA обновляет frames эквивариантно — это подтип пары, не лицензия называть ESM-IF1 equivariant decoder. Это не invariant models целиком: invariance — свойство отображения, здесь один из этапов (GVP scalars / pair distances). AntiFold SI rotation/translation invariant encoder; Jing Eq. 1 GVP; tFold IPA SE(3)-equivariant structure module

[PAPER]Это не protein language models: ESM-2/ProGen/IgLM — sequence-only. tFold имеет оба id: ESM-PPI — PLM-компонент; Evoformer-Single+IPA — этот класс. Не писать «tFold = geometric transformer целиком» и не подставлять Hsu $p(Y\mid X)$ как уравнение tFold. tFold tFold-Ab four modules; extra_constraints this page

[MATRIX]Это не frame diffusion и не flow matching: там train target — SE(3) score или $v_\theta\approx u_t$; RF/IPA там denoiser/drift, без architecture_id geometric-transformers у RFdiffusion и FlowDesign. tools/rfdiffusion.yaml; tools/flowdesign.yaml omit this id

[MATRIX]Catalog tools с architecture_id: geometric-transformers: ESM-IF1, AntiFold, tFold. Часто путают с ProteinMPNN (GNN IF, нет этого id), с чистым GVP-GNN Jing (literature, не tool), с AF2/AF3 как «тем же Transformer» без различения predictor vs generator, и с IgLM (PLM, нет 3D bias). mappings.py esm-if1, antifold, tfold

[INTERPRETATION]Seed one-liner $A_{ij}=q_i^\top k_j+b(d_{ij},R_i^{-1}R_j)$ — схема pair-biased attention, не уравнение default ESM-IF1 (там vanilla Transformer на invariant tokens) и не tFold FAPE. Не подставлять как loss каталожного инструмента. seed mathematical_formulation; Hsu/AntiFold SI: generic Transformer after GVP

2. Интуитивный принцип

[PAPER]Обычный Transformer видит порядок токенов и learned positions. Geometric variant добавляет, что residues близки в $\mathbb{R}^3$ или как ориентированы их frames. Два рабочих механизма в каталоге: (i) локальная геометрия → invariant scalars → global self-attention (GVP-Transformer); (ii) pair track $z_{ij}$ и точки в локальных кадрах (Evoformer / IPA), где attention зависит от инвариантных расстояний, а кадры обновляются SE(3)-эквивариантно. Jing motivation CNN vs GNN; Hsu GVP then TF; tFold Evoformer-Single + IPA

[PAPER]На inference меняется то, что умеет голова. IF: фиксированный backbone $X$, сэмплируется sequence $Y$ (AR decode или masked redesign). tFold-Ab: sequence → predicted antibody structure (recycle). tFold design: masked CDR tokens заполняются recovery head при clamped FR/epitope, параллельно предсказывается complex; low ipLDDT маскируются и идут в recycle. Веса $\theta$ на inference фиксированы. AntiFold Fig. 1 sampled sequences; tFold Fig. 1a generator+filter; ipLDDT recycle

[PAPER]Long-range contacts, которые kNN GNN обрезает ($k=30$ у Jing/Hsu), могут пройти через dense attention. Цена — $O(L^2)$ память pair/attention. Jing на CPD наоборот показал, что Structured Transformer (graph + attention) хуже GVP-GNN на CATH 4.2 — attention не автоматически лучше GNN; Hsu добавляет Transformer после GVP именно ради masked spans. Jing Table 1 Structured Transformer vs GVP-GNN; Hsu Fig. 4 span mask (prior bioRxiv read)

[PAPER]Главный эмпирический рычаг GVP-Transformer: объём structural data (Hsu: +12M AF2 UniRef50) плюс span-masking, чтобы encoder не видел полный backbone на masked узлах. Главный рычаг AntiFold: antibody FT + 3:1 CDR vs FR loss weight + OAS predicted Fv. Главный рычаг tFold-Ab: MSA-free ESM-PPI вместо MSA search. Главный рычаг tFold design: epitope clamp + ipLDDT filter + phage — не «магия IPA». Hsu predicted structures (PMLR abstract / Table 1 prior); AntiFold §2.2; tFold ESM-PPI vs MSA; Fig. 1 phage

[PAPER]Предостережение по метрикам. Native sequence recovery / AAR, perplexity, IF $\Delta\log p$, ABodyBuilder2 RMSD designed vs crystal, tFold backbone RMSD / DockQ / ipLDDT / ipTM / iplddt не experimental affinity / $K_D$ / ELISA / BLI / SPR. Spearman 0.42 на Warszawski DMS — retrospective score, авторы: performance driven by de-selecting loss-of-binding variants. tFold SPR nanomolar — после phage display и virtual screen, не выход IPA. AntiFold Table 1 Sr 0.42 and Discussion de-selection; tFold Fig. 1b phage then SPR

[PAPER]pLDDT AF2 на train Hsu — входной RBF feature predicted examples, не выход ESM-IF1. ipLDDT tFold — confidence structure head. Ни один не «считает $\Delta G$»: energy head в loss этого класса нет. Hsu pLDDT as input (prior); tFold ipLDDT / iplddt Fig. 6c

[PAPER]Промежуточные GVP vectors / pair $z_{ij}$ / noisy recycle features $\neq$ MD-траектория фолдинга и $\neq$ van der Waals potential. 10 gap tokens между H и L — конвенция представления комплексов, не физический линкер. AntiFold SI 10 position padding of gap tokens

[INTERPRETATION]Не переносить UCB, DDPM $\varepsilon$, Meier $\Delta\ell$ ESM-1v, FAPE как default GVP-Transformer. FAPE/distogram — AF-family structure losses tFold (weights NR), не train target ESM-IF1.

3. Формальная математическая постановка

[INTERPRETATION]Сначала родовая композиция класса. Затем подтипы с разными уравнениями: (A) GVP-Transformer IF — ESM-IF1, AntiFold; (B) Evoformer-Single + IPA + optional recovery — tFold. Jing GVP Algorithm 1 — слой encoder, не отдельный catalog tool. Не одна seed-формула pair-bias на все.

[INTERPRETATION]Формулы, которые не принадлежат классу как train target / default catalog tool: ProteinMPNN random-order CE; FrameDiff IGSO(3) score; FlowDesign CFM MSE; UCB/EI; Meier masked-marginal $\Delta\ell$; ProGen NLL без геометрии; полный AF2 SI IPA listing. Seed $A_{ij}=q^\top k+b(d,R^{-1}R)$ — схема pair-biased подтипа, не уравнение ESM-IF1.

[PAPER]Negative / non-binder / ELISA labels в loss GVP-Transformer: нет (CE vs native AA). tFold-Ag train — binding complexes from SAbDab; virtual screen позже использует низкий confidence как proxy non-binder, это не contrastive affinity loss. Не сравнивать AntiFold AAR, Hsu CATH recovery, tFold DockQ и tFold SPR как один benchmark. AntiFold CE on masked positions; tFold training on binding pairs; Fig. 5 virtual screen

[INTERPRETATION]Родовая композиция $T_\theta\circ E_{\mathrm{geom}}$ не является уравнением default-инструмента: ESM-IF1 оптимизирует AR CE; tFold-Ab — structure losses AF-family; tFold recovery — masked AA CE + structure. Не подставлять seed pair-bias one-liner как loss AntiFold.

[PAPER]GVP-GNN-large Hsu (8+8 слоёв, 21M, prior bioRxiv) — всё ещё GNN без Transformer: на CATH-only recovery 42.2% tiny vs 39.2% large (overfit), с AF2 mix large 50.8%. Transformer даёт устойчивость к mask $>5$ AA (Fig. 4). Не путать три Hsu-архитектуры: tiny GVP-GNN, large GVP-GNN, GVP-Transformer (released ESM-IF1 = последняя). prior Hsu Table 1 and Fig. 4; released checkpoint is GVP-Transformer

[PAPER]tFold in silico CDR-H3 AAR 0.302 без prior и 0.317 с epitope (SAbDab-22-Design-Ab n=50) сравнимо с dyMEAN, которому нужен epitope. Авторы: высокий AAR не равен лучшему дизайну. Не подставлять эти доли как SPR hit rate (1.5–4.4% binders after display). tFold Fig. 6b; Supplementary Table 4; Discussion 1.5–4.4%

[PAPER]Jing MQA loss (Huber + pairwise GDT-TS) и CASP correlations не train target каталожных IF tools. Не переносить GDT-TS на ESM-IF1. Jing Appendix D Eq. 6 Huber pairwise

[PAPER]Invariance $p(Y\mid TX)=p(Y\mid X)$ — свойство головы sequence, не лицензия называть ESM-IF1 SE(3)-equivariant generator координат. Equivariant path есть у IPA (tFold) и у внутренних GVP vectors до projection. AntiFold SI invariant encoder; tFold IPA equivariant updates

Слой GVP (Jing) — encoder, не Transformer

[PAPER]Чистый GVP-GNN (Jing CPD/MQA) — страница GNN. Здесь слой нужен как геометрический encoder GVP-Transformer. Equivariance к rotations and reflections (Eq. 1). Chirality не штрафуется Algorithm 1. Jing Eq. 1; Algorithm 1; §3.2 protein graph

Подтип A — GVP-Transformer inverse folding (ESM-IF1 / AntiFold; tool-specific)

[PAPER]Seq2seq encoder–decoder. Encoder: 4 GVP-GNN на kNN graph ($k=30$), change of basis векторных фич в локальные N–Cα–C frames → invariant scalars → 8 Transformer encoder + 8 AR decoder, 8 heads, $d=512$, $\approx 142$M. $p(Y\mid X)=p(Y\mid TX)$ для $T\in\mathrm{SE}(3)$. Span mask до 30 AA, 15% coords; masked nodes исключаются из GVP, в Transformer — нули. Не уравнение tFold. Table A.1 optimizer/batch/lr — NR. AntiFold SI architecture citing Hsu; prior Hsu bioRxiv §GVP-Transformer, Appendix A.2–A.3

Подтип B — pair-biased attention / Evoformer-Single + IPA (tFold; tool-specific; AF2 literature)

[PAPER]tFold-Ab: ESM-PPI → Evoformer-Single (sequence + pairwise) → IPA structure module → recycle. tFold-Ag docking unit: 32 Evoformer-Single + 8 structure blocks; antibody module frozen при train Ag; antigen features from pretrained AF2 (MSA). Extra sequence recovery head: masked CDR reconstruction + structure supervision (AF-family protocols; exact FAPE weights NR). Не копируем SI Algorithm 22. Не Hsu $p(Y\mid X)$. tFold Fig. 3a; Fig. 4a 32+8; Fig. 6a recovery head; Methods dual-task

4. Представление данных

[PAPER]Узлы класса — amino-acid residues (иногда nanobody single chain). Jing/Hsu: proximity graph, $k=30$ nearest Cα. Рёбра Jing: unit vector Cα$_j-$Cα$_i$, 16 Gaussian RBF distances 0–20 Å, sinusoidal sequence-distance $j-i$. Это вход GVP, не pair track Evoformer. Jing §3.2 k=30; RBF 16 centers 0–20 Å

[PAPER]ESM-IF1 / AntiFold node scalars: $\{\sin,\cos\}\circ\{\phi,\psi,\omega\}$ (Jing-style dihedrals) + binary mask; vectors: forward/reverse Cα directions + imputed Cβ direction (tetrahedral). Decoder: one-hot AA, causal $i\to j$ только $i

[PAPER]Time embedding нет (это не diffusion/FM). Conditioner tensors: residue masks; chain concat; AntiFold IMGT region strings. ELISA / measured $y$ tensor нет. AntiFold Fig. 1 region to design; SI masking

[PAPER]Вход сети vs внешний файл: PDB/CIF backbone (N, Cα, C); numbering — IMGT 1–128 для AntiFold region sampling (PAPER/DOC); tFold campaign Table 1 — Chothia. Не смешивать IMGT и Chothia без оговорки. Library CSV нет у IF; tFold oligo pools — synthesis after generation, не тензор сети. AntiFold IMGT; tFold Table 1 Chothia numbering

[SI]AntiFold комплексы: H затем 10 gap tokens (missing coords) затем L — как Hsu complexes. Optional antigen heavy atoms как extra chain (custom_chain). Не docking. AntiFold SI concatenated light chain, 10 position padding

[PAPER]tFold-Ab: ESM-PPI sequence/pair features from amino-acid sequence (MSA-free для antibody). tFold-Ag antigen unit: AF2 MSA + pair + initial coords (MSA есть у antigen, нет у antibody в Ag module). Epitope — extra inter-chain embedding (tFold-Ag-ppi). Pair representation memory $O(L^2)$. tFold-Ab MSA-free ESM-PPI; tFold-Ag antigen AF2 MSA; tFold-Ag-ppi epitope

NRРазмерности tFold Evoformer width / ESM-PPI parameter count в Nat. Commun. HTML NR (не выдумывать 650M). tFold-Ag docking: 32 Evoformer-Single blocks + 8 structure blocks — PAPER. tFold-Ab stack depth — NR. tFold-Ab Evoformer-Single block count not in main HTML

[PAPER]Аугментации, меняющие геометрию/токены: Hsu/AntiFold span и shotgun coordinate masks; AntiFold 0.1 Å Gaussian noise на predicted OAS coords; Hsu pLDDT$<90$ mask на predicted train coords (prior). tFold recovery: 30% probability mask CDR AA при co-train (70% keep original). Random rotation как explicit SE(3) aug ESM-IF1 — NR this pass beyond invariance by construction. AntiFold SI Gaussian 0.1 Å; tFold Methods 30% CDR mask

[PAPER]Batching Jing CPD (literature): structures grouped by size, max 1800 residues per batch (Appendix D). Hsu/ESM-IF1 batch size — Table A.1 NR. AntiFold: one pass OAS predicted, then SAbDab until 10 epochs without val-loss improvement. tFold: CD-Hit 95% identity, one representative per cluster per epoch. Jing Appendix D 1800 residues; AntiFold SI two-phase; tFold Methods CD-Hit 95%

5. Физическое представление

[PAPER]Математический $X$ у подтипа A — атомы остова N, Cα, C в лабораторных координатах. $Y$ — идентичность residue (side-chain type), не χ-углы: packing в ESM-IF1/AntiFold отсутствует как decoder. Imputed Cβ vector Jing — тетраэдрическая геометрия, не экспериментальный Cβ. Jing backbone-only; AntiFold SI N, Cα, C

[PAPER]Подтип B (tFold-Ab): predicted atomic-level 3D, включая side chains end-to-end (HTML: backbone and side-chain conformations), без Rosetta minimize в отличие от DeepAb/IgFold. Это predictor output, не guaranteed crystal pose. tFold-Ag обновляет и antibody, и antigen coords (flexible docking unit). tFold-Ab end-to-end side chains; tFold-Ag updates Ab and Ag structures

[PAPER]SE(3): ESM-IF1 encoder invariant к global rotation/translation ($p(Y\mid TX)=p(Y\mid X)$) — не equivariant vector head. GVP внутренние $V$ — equivariant к rotations and reflections, пока не спроецированы в local frame. IPA structure module — equivariant frame updates (tFold). Global rotation PDB не должна менять IF sequence; должна поворачивать tFold-Ab coords together with input if equivariance holds. Jing Eq. 1 reflections; Hsu invariance; tFold IPA SE(3)-equivariant

[PAPER]Перестановка residues ломает пептидную химию и AR order IF. Chain concat H+L с gap tokens — конвенция, не физическая симметрия перестановки цепей. tFold nanobody: нет второй Ig chain — другой generated object, чем paired mAb. AntiFold SI H+L concat; tFold SAbDab-22H2-Nano

[PAPER]Side chains: отсутствуют в generative state IF; присутствуют в tFold-Ab predicted structure; AntiFold refold RMSD считает backbone N/Cα/C после ABodyBuilder2 — evaluator, не AntiFold decoder. AntiFold SI RMSD N, Cα, C after ABodyBuilder2

[INTERPRETATION]Промежуточный masked node / recycle representation / pair $z_{ij}$ $\neq$ физическая траектория фолдинга и $\neq$ энергия. 10 gap tokens $\neq$ Gly-linker.

[PAPER]Chirality: GVP Algorithm 1 equivariant to reflections unless chirality features added — не выдавать автоматическую L-stereo-правильность IF. tFold structure module наследует AF-like frames; stereo failure mode не квантифицирован в HTML (NR). Jing Eq. 1 rotations and reflections

[PAPER]Assay label (SPR $K_D$, phage ELISA OD) не координата state сети. Появляется только как внешний experiment после filter. tFold Fig. 1b experimental validation downstream of generator+filter

6. Физико-химический смысл

[INTERPRETATION]Класс кодирует геометрическую статистику packing и (у tFold) predicted interface. Нет явного energy head: нельзя писать, что сеть «считает $\Delta G$».

7. Что обучается

[PAPER]Параметры: GVP matrices + Transformer $\theta$ (подтип A); ESM-PPI (further-pretrained ESM-2) + Evoformer-Single + IPA + recovery head (подтип B). Frozen vs trained: AntiFold fine-tunes весь ESM-IF1 stack (не frozen encoder). tFold-Ag: pretrained tFold-Ab fixed while training Ag docking unit. Antigen AF2 unit pretrained, not the IF generator. AntiFold FT ESM-IF1; tFold-Ag antibody feature unit remains fixed

[PAPER]Generic loss подтипа A — token CE native sequence (Eq. 1 SI). Negative examples — другие 19 AA на masked/AR позициях, не non-binder antigens. Нет contrastive affinity, нет FAPE в ESM-IF1. AntiFold SI loss over masked positions

[SI]AntiFold tool-specific: 3:1 CDR vs FR mask sampling weight; span + shotgun (7.5%+7.5%); layer-wise LR $LR_i=LR\times 0.85^{i}$ ($i=0\ldots 20$ layers); Gaussian 0.1 Å on predicted coords. Two-phase: one epoch OAS predicted, then SAbDab until 10 epochs no val improvement. AntiFold SI layer-wise decay Eq. (2); two-phase training

[PAPER]Hsu pretrain (prior bioRxiv): CATH experimental + 12M AF2 UniRef50; mix ~1:80 experimental:predicted per epoch; binary token experimental vs predicted; pLDDT$<90$ mask. Fine-tune vs pretrain: AntiFold без ESM-IF1 init — val CDRH3 AAR 31.5% vs 58.4% со всеми augmentations (Table S4 vs S3 narrative). Pretrain — рычаг recovery, не affinity. AntiFold Table S4 0.315 CDRH3; main text 31.5% vs 58.4%

[PAPER]tFold-Ab: structure prediction (AF-family supervision; FAPE/distogram weights NR). tFold-Ag stage 1 structure only; later stages random CDR masking 30% for joint recovery. Confidence ipTM/ipLDDT — auxiliary heads, не SPR labels. tFold three-stage training; 30% mask; established protocols 28, 29

[PAPER]ESM-PPI: further pretrain ESM-2 on monomers and multimers — PLM objective (masked/sequence; exact MLM rate NR in HTML). Это не geometric transformer loss; pair/structure модули — отдельное обучение. tFold ESM-PPI further pre-training monomers and multimers

[PAPER]Jing GVP-GNN CPD (literature): CE на CATH 4.2. MQA: Huber absolute + pairwise ranking on GDT-TS. Не переносить MQA loss на ESM-IF1. Jing Appendix D MQA Huber pairwise; CPD NLL

[PAPER]Affinity labels в $\mathcal{L}$: нет. tFold virtual screen использует confidence trained on binders vs assumed lower scores for non-binders — calibration, не supervised $K_D$. tFold trained exclusively on binding pairs; Fig. 5 AUC

8. Прямой проход и information flow

[PAPER]Порядок подтипа A: PDB backbone → featurize graph (dihedrals, kNN) → 4 GVP-GNN (scalar+vector) → project vectors into local frames → invariant token sequence → 8 Transformer encoder → 8 AR decoder with causal AA → softmax 20. Sequence появляется в decoder; geometry — только encoder. Likelihood ranking — тот же forward, evaluator. AntiFold SI 4 GVP + 8+8; Hsu encoder structure-only

[PAPER]Порядок tFold-Ab: sequence → ESM-PPI (intra/inter-chain features) → Evoformer-Single updates sequence and pair → IPA maps to 3D → recycle previous features/structure. MSA search нет. Side chains из structure module, не отдельный packer в сети. tFold Fig. 3a four modules; recycling module

[PAPER]Порядок tFold design: FR template + antigen sequence + epitope → tFold-Ag-ppi generator (masked CDRs, iplddt-greedy position, temperature) → predicted complex → filter (tFold-Ag and AlphaFold-Multimer confidence, clash with receptor, novelty edit distance, motif filter, A2binder-like score) → 10k Fabs/target → phage → SPR. Geometric stack здесь generator recovery и evaluator; phage — experiment. Не прятать display внутрь «одной IPA сети». tFold Methods candidate selection numbered steps 1–7; Fig. 1a–b

[PAPER]ABodyBuilder2 — train-time structure generator OAS и post-hoc refold evaluator AntiFold, не слой AntiFold inference. AF2 — train corpus Hsu и antigen encoder tFold-Ag, не ESM-IF1 forward. AntiFold ABodyBuilder2 train/test; tFold antigen AF2 unit

[INTERPRETATION]Не смешивать inverse folding decoder с tFold recycle: у IF backbone clamped; у tFold-Ab coords — выход predictor.

[PAPER]Sequence vs geometry vs score: подтип A — geometry только в encoder, sequence в decoder, score = log $p$ той же сети. Подтип B — sequence уже на входе ESM-PPI; geometry появляется в IPA; score = ipLDDT/ipTM/iplddt отдельных голов. Не читать любой score как $K_D$. Hsu encoder structure-only; tFold Fig. 3–6 heads

[INTERPRETATION]Inverse folding packer, AF check и ABodyBuilder2 refold — внешние модули. Не прятать их внутрь «одной geometric transformer сети», если это другой checkpoint.

[PAPER]tFold-Ag antigen path: AF2 MSA features — другой pretrained module, frozen wrt design head. Ensemble с AF-Multimer/AF3 выбирает max confidence — evaluator, не generator. tFold-Ag antigen AF2 unit; Fig. 4g ensemble

flowchart TD
  IN["Input: backbone PDB or sequence plus epitope plus FR"] --> BRANCH{"Head type"}
  BRANCH -->|"subtype A IF"| GVP["GVP-GNN encoder kNN"]
  GVP --> INV["Local frames to invariant tokens"]
  INV --> TF["GENERATOR: Transformer AR / masked CE"]
  TF --> Y["Sequence Y"]
  Y --> LL["EVALUATOR: log p / AAR not Kd"]
  BRANCH -->|"subtype B tFold"| PPI["ESM-PPI then Evoformer-Single"]
  PPI --> IPA["IPA structure module plus recycle"]
  IPA --> PRED["PREDICTOR: frames / complex"]
  PRED --> REC["optional recovery head CDRs"]
  REC --> FILT["EVALUATOR: ipLDDT ipTM AF-Multimer"]
  FILT --> PHAGE["EXPERIMENT: phage display"]
  PHAGE --> SPR["EXPERIMENT: SPR competition"]
  LL --> LAB["EXPERIMENT only if user assays"]

9. Training procedure

[PAPER]Hsu (prior bioRxiv HTML + PMLR abstract): CATH 4.3 topology split 80/10/10 — catalog numbers 16153 / 1457 / 1797 structures. UniRef50 AF2, exclude Gene3D HMM hits of val/test CATH topologies (leakage control). Sequences ≤500; Amber-relax predicted. Не README-вывод. prior Hsu bioRxiv CATH topology; PMLR abstract 12M predicted structures

[PAPER]Jing CPD (literature, не tool): CATH 4.2 curated by Ingraham, 18204 / 608 / 1120. TS50: filter CATH train at 30% PSIBLAST to TS50 — no canonical split across methods. Jing §4 CATH 4.2 sizes; TS50 30% filter

[PAPER]AntiFold: same split as AbMPNN — 2074 SAbDab complexes (protein antigen, resolution $<$5 Å) + 147458 OAS paired ABodyBuilder2 structures; 90% concatenated-CDR identity, 80/10/10. Val/test: drop 1 and 3 structures not modelable with ABodyBuilder2. Independent therapeutic-mAb holdout — NR. AntiFold §2.1 Data; SI SAbDab 2074

[PAPER]tFold-Ab structures: SAbDab experimental before 31 Dec 2021 (8264 paired, 1693 heavy-only, 376 light-only after cleaning). Cluster CD-Hit 95% → 2873 clusters; one sample/cluster/epoch. Val: 1 Jan–30 Jun 2022, drop $>$95% ID to train. Test SAbDab-22H2-Ab n=169 and Nano n=73 (1 Jul–31 Dec 2022). tFold Methods datasets antibody structures

[PAPER]tFold-Ag complexes: 4834 Ab–Ag + 1319 nanobody–Ag before 31 Dec 2021; cluster by antigen 95% → 2459 clusters. Test cutoff 1 Jul 2022 for fair AF-Multimer/AF3 comparison; drop antigen $>$600 residues, missing interface, $>$50% missing Ab residues. Design campaign additionally fine-tuned generator on epitope-specific SAbDab prior to 2024 excluding paratope — не тот же split, что 2022 test. tFold Methods AbAg datasets; candidate selection step 1 fine-tune before 2024

[PAPER]Симуляция vs wet-lab: CATH/SAbDab AAR, RMSD, DockQ, CASP GDT-TS, virtual-screen AUC — in silico. AntiFold: нет prospective wet-lab. tFold: 10000 Fab/target phage then SPR — prospective binding workflow, не isolated geometric-net metric. Не смешивать. AntiFold no wet-lab; tFold 10000 pairs phage

[PAPER]Teacher forcing: AR decoder Hsu/AntiFold — standard next-token (SI factorization). Self-conditioning как у Proteina — NR для этого класса. tFold recycle — iterative structure, не diffusion time-sample. AntiFold Eq. 1 AR; tFold recycling module

NRBatching / GPU hours: Jing ~2 days Titan X, memory-bound. Hsu/AntiFold/tFold wall-clock train — NR this pass. Не выдумывать. Hsu Table A.1 batch/lr NR; tFold train hardware NR in HTML

10. Inference and generation

[PAPER]Старт подтипа A: PDB backbone (solved or predicted); optional partial coord masks; AntiFold IMGT Fv 1–128. Не шум $x_T$ diffusion. Не library 𝒳 EVOLVEpro. AntiFold Fig. 1 input PDB

[PAPER]Алгоритм IF: AR decode N→C (комплексы: target chain first, 10 mask tokens between chains — Hsu). Temperature categorical; Hsu recovery $T=10^{-6}$ (почти greedy). AntiFold default $T=0.20$ на выбранных IMGT CDR (CODE CLI / SI sampling). logits scaled as $\mathrm{logits}/t$ before softmax (ProteinMPNN-style, SI Eq. 7). Top-k — NR as default. AntiFold SI temperature 0.20; Hsu T=1e-6 prior

[CODE]AntiFold masked redesign: sample только выбранные regions; framework fixed unless unmasked. --esm_if1_mode — baseline weights, не AntiFold FT (DOC). antifold/main.py flags (prior inspection); README

[PAPER]tFold-Ab: MSA-free structure from sequence; recycle previous prediction. Авторы: ~50× vs AF3 server, ~5000× vs AF-Multimer на их Fig. 3b (single A100 + 21 CPU except AF3 server) — tool-specific runtime, не аксиома класса, не переносить на ESM-IF1. tFold Fig. 3b; 50-fold AF3; 5000× AF-Multimer

[PAPER]tFold design sampler: ~1M candidates / target from 1000 random seeds × 36 FR length combos; iterative position by highest iplddt; temperature on CDR1/2. Single-step recovery даёт повтор «YYY»; step-by-step снижает repeats (PAPER). Не beam search. Не UCB. tFold Methods ~1 million; iplddt step-by-step vs YYY motif

[PAPER]Post-hoc evaluator: AntiFold ABodyBuilder2 RMSD; Hsu none in-loop; tFold filter confidence ≥0.7 top 20%, steric clash with receptor/ligand, edit-distance novelty, OAS motif filter, in-house specificity score (A2binder-derived) — не generator. AF-Multimer/AF3 — ensemble structure evaluator. tFold filter steps 3–6; AntiFold SI refold

[INTERPRETATION]Чего в классе нет как стандарт: assay-in-the-loop, contig RFdiffusion, ODE steps, ProteinMPNN random decode order (другой класс). tFold phage panning — experiment after computational shortlist.

[PAPER]Multi-state Hsu: geometric mean $p(Y\mid A)p(Y\mid B)$ as proxy $p(Y\mid A,B)$ (prior). Dual PDBFlex — conditioner, не sampler class. Hsu multi-state (prior bioRxiv)

11. Conditioning

[PAPER]Зажимается у подтипа A: backbone coordinates (clamped); partial span masks; chain IDs via concat; optional antigen coords (AntiFold). Не epitope tensor как у tFold-Ag-ppi, если пользователь не подал antigen chain. AntiFold optional antigen chain; Hsu partial masks

[PAPER]AntiFold region masks: default CDR1/2/3; IMGT-weighted train masking ≠ inference region string. Nanobody mode — single chain. Classifier-free guidance нет. AntiFold Fig. 1 specify IMGT region; SI IMGT-weighted train only

[PAPER]tFold зажимает: human FR template (campaign: IGHV3-23/IGKV1-5, IGHJ4/IGKJ1), antigen sequence, specified epitope, CDR length combinations (36; CDR1/2 fixed by V gene, CDR3 from OAS frequencies). Numbering Chothia в Table 1. tFold Table 1; Methods 36 most frequent CDR3 combinations

[PAPER]tFold-Ag-ppi / contact: extra structural restraints (epitope sites, optional paratope, optional contact map) в inter-chain embedding. Это не ELISA labels. tFold-Ag-ppi epitope; tFold-Ag-contact maps

[INTERPRETATION]Чего нет: measured_var / ELISA в attention; CATH label CFG (это Proteina, другой класс); contig map RFdiffusion; UCB acquisition.

[PAPER]Hsu dual-state: two PDBFlex conformations (prior Fig. 7) — conditioner на flexible residues, не second assay. Hsu Fig. 7 dual-state (prior)

[PAPER]MSA: нет у ESM-IF1/AntiFold inference и у tFold-Ab antibody path. Есть у tFold antigen AF2 unit. Не приписывать MSA conditioner ESM-IF1. tFold-Ab MSA-free; tFold-Ag antigen MSA

[INTERPRETATION]Hotspot как RFdiffusion residue map — NR для catalog tools этого id. tFold epitope — residue sites on antigen, не diffusion hotspot encoding.

12. Вычислительная сложность

[PAPER]Драйверы подтипа A: $L$ residues (Fv ~128 IMGT; complexes + antigen atoms); kNN $k=30$ GVP $O(Lk)$ per layer × 4; Transformer $O(L^2)$ per layer × (8+8); AR decode $O(L)$ steps. Pair memory Evoformer нет у ESM-IF1. Jing k=30; Hsu 8+8 (prior); AntiFold IMGT 1–128

[PAPER]Драйверы tFold: pair $O(L^2)$ Evoformer-Single; 32+8 blocks на Ag docking unit; recycles; antigen MSA search (доминирует, пока не закэширован). High-throughput vs one antigen: HTML — среднее время на комплекс падает с числом antibodies (Supplementary Fig. 8). tFold-Ag 32+8; Supplementary Fig. 8 amortized antigen

[PAPER]tFold-Ab vs AF-Multimer 5000× и vs AF3 server 50× — author-reported Fig. 3b, structure prediction, не generative IF sampling cost. EquiFold 1.02 s vs tFold-Ab 1.15 s на их бенчмарке — не класс-аксиома. tFold Fig. 3b; EquiFold 1.02 vs 1.15 s

[INTERPRETATION]«Дешевле diffusion» — нет NFE-сравнения GVP-Transformer vs RFdiffusion в прочитанных papers этого класса. Не писать как факт. INTERPRETATION: один AR pass vs $T$ denoise steps — другая постановка, не измерение.

[PAPER]Campaign cost tFold: 1M in silico → 10k synthesized Fabs/target × 4 antigens; phage 2–4 rounds; 10 Fc-fusions SPR. GPU train — NR. Library construction Twist oligo pools — experimental logistics, не NFE. tFold 10000 Fab; ten Fc-fusions

[INTERPRETATION]OOM на больших комплексах — failure mode seed каталога (pair $L^2$). Cropping epitope away — user error, не формула.

13. Преимущества

[PAPER]Механизм: local GVP даёт геометрию без voxel CNN; global attention держит masked spans, на которых kNN GNN падает к background perplexity (Hsu Fig. 4, prior). Это следует из постановки encoder+Transformer, не из affinity. Hsu Fig. 4 (prior bioRxiv)

[PAPER]Hsu Table 1 (prior): GVP-Transformer native recovery 51.6% на CATH topology-held-out с AF2 mix vs 38.3% CATH-only; buried 72%, surface 39% (PMLR abstract: 51% recovery, 72% buried, almost 10 pp over existing). Не обобщать на antibody CDR без FT. PMLR abstract; prior Table 1 51.6% / 38.3%

[PAPER]Jing Table 1: GVP-GNN CATH all recovery 40.2% vs Structured Transformer 36.4% / perplexity 5.29 vs 6.85 — аргумент за GVP слой, не за «Transformer всегда лучше GNN». Jing Table 1 All recovery/perplexity

[PAPER]AntiFold test CDRH3 AAR 60% vs ESM-IF1 43% vs AbMPNN 56% (p$<0.005$ vs ESM-IF1). Mean CDR backbone RMSD after ABodyBuilder2 0.95 vs native 0.63, AbMPNN 0.98. Это retrospective IF, не SPR. AntiFold Table 1

[PAPER]tFold-Ab: MSA-free Ab structure; CDR-H3 backbone RMSD 3.01 Å mean on SAbDab-22H2-Ab n=169 (Table 2 narrative). Speed claim Fig. 3b — prediction, не design success. tFold antibody RMSD H3 3.01 Å; Fig. 3c

[PAPER]tFold campaign SPR after phage (workflow, не isolated IPA): best reported $K_D$ 45 pM PD-L1, 3.22 nM Flu A (epitope-matched second-best shown in Fig. 1e because top Flu A was off-epitope), 2.0 nM SC2RBD, 81.6 nM PD-1; ten Fc-fusions. SC2RBD-H330 neutralization IC50 0.42 nM. Не переносить на ESM-IF1/AntiFold. tFold Fig. 1c–h; Flu A off-epitope exception; Fig. 2d IC50 0.42 nM

[PAPER]Явно: recovery / DockQ / ipLDDT не гарантия стабильности, экспрессии, developability или affinity. Hsu: recovery does not guarantee structural similarity of designed sequences (prior). tFold success rate binders ~1.5–4.4%; authors couple to display. tFold Discussion 1.5 to 4.4%; Hsu recovery caveat prior

[INTERPRETATION]Invariance IF logits к позе PDB — практическое преимущество (не нужно канонизировать ориентацию). Это не термодинамика. follows p(Y|TX)=p(Y|X)

14. Ограничения

NRМатематика: schematic IPA ≠ full SI; GVP reflection-equivariance может игнорировать chirality; Hsu Table A.1 NR — нельзя утверждать optimizer defaults; tFold FAPE weights NR.

[PAPER]Представление: ESM-IF1/AntiFold backbone-only, нет glycans/PTM/solvent; 10 gap tokens — искусственный разрыв цепи; tFold campaign фиксированный human FR — не произвольный scaffold. tFold IGHV3-23/IGKV1-5; AntiFold backbone

[INTERPRETATION]Физика/химия: pair/IPA/IF CE ≠ energy function; нет explicit H-bond/electrostatics head. Predicted side chains tFold ≠ crystal.

[PAPER]Данные/bias: Hsu AF2-predicted train structures (pLDDT filter); CATH PDB-biased; AntiFold OAS predicted Fv + SAbDab complexes; tFold SAbDab-only vs AF3 broader molecular data — authors: weaker nanobody–Ag. Design fine-tune to 2024 SAbDab — leakage vs therapeutics NR полностью. tFold nanobody–Ag data scarcity; AntiFold OAS ABodyBuilder2

[PAPER]Обобщение: general IF ≠ antibody CDR without FT (AntiFold ablation 31.5% vs 58.4%). tFold FR-constrained; epitopes absent from SAbDab (MPER PD-1 agonist attempt) → low confidence. Monomeric antigens only; peptide–MHC NR. tFold Discussion MPER; peptide-MHC cannot

[MATRIX]Deployment: ESM-IF1 MIT (catalog); AntiFold BSD-3-Clause + web; tFold custom Tencent license, commercial partnership. CODE tFold unaudited. Meta ESM repo maintenance / weight hosting — operational risk, не math. tools/*.yaml licenses

[PAPER]tFold filter poorly separates binders sharing identical FRs; confidence weakly sensitive to mutations (authors). AF3 false-positive complexes remain (SC2RBD 3/5 high-confidence non-blockers). tFold Discussion discriminative power; Fig. 2e three non-competitive

15. Failure modes

[INTERPRETATION]Считать ProteinMPNN geometric transformer (это GNN IF). Считать весь tFold PLM или весь tFold inverse folding Hsu.

[INTERPRETATION]Считать AF2/tFold-Ab генератором de novo backbone: это predictors. Считать IF $\Delta\log p$, ipLDDT, DockQ, AAR измеренным $K_D$.

[PAPER]Приписать tFold SPR одному IPA блоку, игнорируя phage, 10k library, AF-Multimer filter и что highest-affinity Flu A binder был off-epitope (Fig. 1e exception). tFold Fig. 1e Flu A highest-affinity off-epitope

[PAPER]Greedy $T\to 0$ recovery как «лучшая библиотека»: низкая diversity (Hsu recovery protocol). AntiFold T=0.20 — другой режим, не Hsu $10^{-6}$. AntiFold SI T=0.20 vs Hsu T=1e-6

[PAPER]Неверный numbering (IMGT vs Chothia vs input PDB) → region masks мимо CDR. Predicted Fv как вход AntiFold без проверки. AntiFold IMGT recommended; tFold Table 1 Chothia

[INTERPRETATION]Truncated crop / OOM → потеря epitope. Broken equivariance если обойти local-frame projection и кормить raw xyz в Transformer.

[PAPER]Library misspecification tFold: unnatural motifs (EEEEE, YYYYY) если не фильтровать; single-step YYY bias. Distribution shift: nanobody design lower success (authors). tFold motif filter; YYY; nanobody limitation

[PAPER]Reflection-flip / wrong chirality если сеть не штрафует (GVP Eq. 1). Using Warszawski Spearman 0.42 as affinity maturation proof — authors contradict (de-selection of dead variants). AntiFold Discussion de-selection; Jing reflections

• Смешать preprint Hsu bioRxiv pagination с PMLR Table A.1, которого нет в HTML.
• Сравнивать AntiFold AAR, tFold SPR и RFantibody yeast как один benchmark (разные generated objects и oracles).

16. Реализации в инструментах

[MATRIX]Reverse index architecture_id: geometric-transformers — три карточки. Foundational methods вне каталога — отдельные строки. Неравные oracles не ставить в колонку «успех».

17. Где применимо и где не применимо

[MATRIX]Применимо: sequence на фиксированном backbone — ESM-IF1, AntiFold, workflow antibody inverse folding; general fixed-backbone как alternative в fixed-backbone IF (primary там ProteinMPNN). MSA-free Ab/complex prediction и epitope-conditioned design filters — tFold / epitope-mab-tfold. workflow architecture_ids include geometric-transformers

[MATRIX]Задачи: inverse-folding, antibody-structure-aware-sequence-design, antigen-conditioned-antibody-design только если geometric stack реально в пайплайне (tFold-Ag), не ELISA AL.

[INTERPRETATION]Не применимо как few-shot ELISA active learning (EVOLVEpro / Makowski — другие ids). Не как de novo backbone sampler: для этого frame diffusion / RFdiffusion. Не как sequence-only CDR LM: IgLM, PALM-H3.

[INTERPRETATION]Не сравнивать AntiFold AAR с tFold SPR и с RFantibody yeast: разные $f$, generated objects и oracles. Не решать codon optimization / expression этим классом.

[PAPER]Если нужна новая CDR topology при свободном backbone — не AntiFold (backbone clamped). Если нет структуры Fv — не IF; использовать sequence generator, затем predictor. AntiFold backbone-constrained design; tFold needs FR template

[MATRIX]tFold custom license: deployment gate, не научный запрет постановки. tools/tfold.yaml commercial review

18. Методологические источники

[PAPER]Foundational слоя: Jing et al. ICLR 2021 (GVP) — HTML прочитан this pass. Foundational IF+Transformer: Hsu et al. ICML 2022 — PMLR abstract this pass; methods из prior bioRxiv HTML + AntiFold SI. Catalog: AntiFold arXiv HTML+SI this pass; tFold Nat. Commun. HTML this pass.

NRPointer-only: Ingraham NeurIPS 2019; Jumper Nature 2021 полный IPA SI; tFold SI PDF; Hsu PMLR Table A.1; TencentAI4S/tfold code; esm inverse_folding line-audit.

[INTERPRETATION]Не библиография «всего по geometric deep learning»: TFN, SE(3)-Transformer Fuchs, EGNN — страница SE(3), не этот id. ProteinMPNN Science — GNN/IF pages.

[INTERPRETATION]Preprint vs journal: Hsu bioRxiv vs PMLR — не сливать Table A.1. AntiFold arXiv vs OUP — OUP HTML inaccessible, numbers from arXiv. tFold journal HTML канон; bioRxiv 2024 не постранично сличен.

Инструменты, использующие подход

Где применимо

Где не стоит использовать

Papers каталога

Подтипы класса

• GVP-Transformer
• Pair-biased transformer