Joint sequence–structure generation
Совместная генерация sequence и structure. Established English term: Joint sequence–structure generation.
Что это за класс
Определение класса — общее для всех papers и tools с этим architecture_id. Это не карточка одной нейросети. После каждого нумерованного заголовка сначала идёт блок «Общее для класса», затем разбор конкретных статей, как раньше.
Совместная генерация sequence и structure — надкласс: один sampling process возвращает связанную пару (иногда ещё function-токены), а не конвейер «backbone generator → inverse folding». Подтипы разные: multimodal masked LM (ESM3), sequence-space diffusion (ProteinGenerator), joint DDPM (DiffAb), flow matching (FlowDesign), iterative GNN (dyMEAN).
Зачем объединять. Если sequence и fold семплируют независимо, легко получить «красивый» остов с несовместимой последовательностью или наоборот. Совместный prior штрафует такую рассинхронизацию на уровне модели — но не заменяет эксперимент.
Что на выходе. Пара $(s,x)$ (у ESM3 ещё текстовые/функциональные треки). Generated structure ≠ validated PDB.
Чего класс не делает. Не developability assay. Не few-shot цикл с ELISA. Staged Chroma (diffusion coords, затем design GNN) помечен в каталоге, но не канон simultaneous joint sampler.
Читайте подтип, прежде чем копировать уравнение: MLM unmask ≠ DDPM ≠ ODE flow. Эта страница — карта семейства; детали диффузии/FM — на дочерних классах.
Разделы сначала фиксируют общее $p_\theta(s,x\mid c)$, затем ветки каталога.
1. Область определения
Общее для класса
Этот пункт фиксирует роль класса в пайплайне и границу с соседями. Класс оперирует геометрией (координаты, frames, углы) или парой sequence+structure. Краткая seed-формула: «Надкласс: один sampling process выдаёт связанную пару sequence+structure (иногда function tokens), а не два независимых этапа backbone→IF. Подтипы — multimodal LM, joint diffusion, sequence-space RF diffusion, flow matching, iterative GNN». Что метод выдаёт или оценивает: «Coupled pair $(s,x)$; ESM3 may also emit function tokens. Not a validated experimental structure». Вход: «Tokens (AA, structure VQ, function), frames/Cα, one-hot sequence, optional antigen/framework clamps, DSSP/SS/SASA prompts». Задачи каталога, которые класс закрывает: joint-sequence-structure-generation; joint-cdr-sequence-structure-design; functional-site-design; general-protein-sequence-generation. Явно не для: developability-assessment; few-shot-active-learning. Дальше по разделу — какие tools имеют этот architecture_id и какие постановки нельзя смешивать.
Joint sequence–structure generation — надкласс генераторов, у которых один sampling process выдаёт связанную пару \((s,x)\) (и иногда function tokens), а не два независимых этапа «сначала backbone, потом inverse folding». Это generative class, не predictor и не affinity model.
Не путать с задачей joint sequence–structure generation (что сгенерировать) и с одним subtype joint diffusion (DiffAb). Не inverse folding \(p(s\mid x)\) при фиксированном \(x\). Не staged frame diffusion + ProteinMPNN (RFantibody). Не ELISA AL.
Каталог: multimodal LM ESM3; sequence-space RF diffusion ProteinGenerator; joint diffusion DiffAb / AbDiffuser / BoltzGen; joint FM FlowDesign; iterative GNN dyMEAN. Chroma помечен этим id, но канон — coords then design GNN. AlphaProteo — closed binder generator, methods NR.
Задачи: coupled pair, CDR co-design, function/motif prompts. Не developability score и не few-shot ELISA.
2. Интуитивный принцип
Общее для класса
Общий механизм Joint sequence–structure generation: что меняется за один шаг inference и за счёт какого inductive bias метод может работать. «Надкласс: один sampling process выдаёт связанную пару sequence+structure (иногда function tokens), а не два независимых этапа backbone→IF. Подтипы — multimodal LM, joint diffusion, sequence-space RF diffusion, flow matching, iterative GNN». Главный эмпирический рычаг класса — шум train, число шагов sampler, какие frames/coords зажаты; это не «магия одной статьи». Для Joint sequence–structure generation внутренние числа модели (likelihood, score, acquisition, pLDDT, DockQ, predicted $\Delta\Delta G$) не являются экспериментальным affinity / $K_d$ / ELISA / BLI, пока это явно не измерено вне сети. Абзацы ниже — как принцип формулируют конкретные papers, не определение всего класса.
Если sequence и геометрию семплируют раздельно, IF может «не узнать» петлю, которую только что нарисовал diffusion, а PLM — предложить последовательность, которая не складывается в нужный fold. Joint process держит оба объекта в одном состоянии: тип аминокислоты обновляется вместе с позой, или structure tokens живут в том же Transformer, что и AA.
[PAPER]ESM3 делает это через один masked Transformer на трёх discrete tracks: можно задать chromophore residues + кусок центральной спирали GFP и итеративно дописать остальное (Hayes Fig. 4 «chain of thought»). ProteinGenerator шумит sequence one-hot и на каждом шаге RoseTTAFold предсказывает и \(s_0\), и структуру — guidance (состав, DSSP, activity classifier) входит в update \(x_{t-1}\), чего RFdiffusion на coords делает неудобно. [PAPER]
Цена: нужен paired supervision (структуры, не только UniRef), дороже sampling, и внутренняя уверенность модели всё равно не Kd. Staged RFdiffusion+MPNN часто достаточна, если topology уже зафиксирована.
[INTERPRETATION]pTM / scTM / pLDDT / AAR / Rosetta \(\Delta G\) / model likelihood ≠ experimental \(K_D\) или fluorescence physics. esmGFP — одна функциональная кампания GFP, не antibody evidence. FlowDesign Ibalizumab BLI — на FM page, не axiom класса.
3. Формальная математическая постановка
Общее для класса
Сначала родовая математика класса (что оптимизируют / что семплируют), общая для реализаций с этим id. Seed-запись: «Цель класса $p_\theta(s,x\mid c)$ (ESM3 ещё $f$). ESM3: generative MLM по всем mask rates + iterative unmask. ProteinGenerator: VP на $L\times 20$ scaled one-hot + CE+FAPE. DiffAb: факторизованный $q(s_t)q(x_t)q(R_t)$. Не staged $p(s\mid x)p(x)$». Подтипы имеют отдельные уравнения: нельзя переносить diffusion score, UCB, AR NLL, FAPE или MLM $\Delta\ell$ на эту страницу, если это не её train target. Формулы с пометкой tool-specific относятся к одному инструменту. Ниже — разбор papers по подтипам.
Общая цель класса — совместный закон. Факторизация tool-specific. Не записывать один DiffAb DDPM как уравнение ESM3.
Joint law
Multimodal masked LM (ESM3)
[PAPER]Structure track: local atomic neighborhood каждого residue → один discrete token (VQ-VAE); decoder восстанавливает all-atom. Autoencoder loss — pairwise distances и relative orientations bond vectors/normals (SI A.1.7.3.1, listing не копируем). Reconstruction \(<0.5\) Å RMSD на CAMEO (fig. S3). Geometric attention только в первом блоке: local frames от bond geometry, interaction через transform в global frame (SI A.1.6 schematic, не AF2 IPA SI). [PAPER]
[PAPER]Масштабы: 1.4B (open weights, non-commercial), 7B и 98B (API). Depth>width в ablations; 98B = 216 transformer blocks (SI A.1.5). Train: 3.15B sequences, 236M structures, 539M function annotations, 771B unique tokens; 98B compute \(1.07\times 10^{24}\) FLOPs. Predicted structures получают IF labels (SI A.2.1.3). [PAPER]
[PAPER]Alignment (Fig. 3): preference pairs из prompted generations — positive = high pTM / low cRMSD vs negative; loss поднимает likelihood positives. Оценка: tertiary-contact coordinate prompts, Pass@128. После alignment 98B улучшает cRMSD и pTM; число различных решений (TM>0.8 clusters) растёт. Это не ELISA fine-tune. [PAPER]
Sequence-space diffusion + structure head (ProteinGenerator)
[PAPER]Train: timestep в sequence template RF; losses на \(\hat x_0\): CE sequence + FAPE + bond angle/length + distogram + lDDT; extra KL на вычисленном \(x_{t-1}\) (Austin). Self-conditioning: no-grad predict \(x_0\) from \(x_{t+1}\), подать как template; RF 1–3 extra recycles uniformly. Algorithm S1 / Fig. S2 NR page-by-page. [PAPER]
[PAPER]Inference: predict \(x_0\) и структуру \(y\) simultaneously; back-calculate \(x_{t-1}\) по Eq. 1; self-cond на предыдущем \(\hat x_0\). \(T\) inference можно менять независимо от train (SI Table 2); авторы: решения за 10 шагов (Fig. 1c). Clamp logits \([-3,3]\) лучше согласует AF2 (Fig. S3b). Sample \(x_{t-1}\) из \(\mathcal{N}(0,I)\) или GMM2/GMM3 на \(\{\pm 1\}\) / \(\{-1,0,1\}\). Не RFdiffusion: там шумится structure. [PAPER]
[PAPER]Multistate (Algorithm S4): один \(x_t\), три RF forwards (parent + child A/B) с разными DSSP strings, linear combination logits → noise to \(x_{t-1}\). Classifier guidance GB1: 2-layer MLP на fitness\(>2\), 96 designs/round \(\times\) 3 vs batched UCB — не EVOLVEpro. [PAPER]
Joint diffusion / flow / iterative GNN (подтипы с собственными страницами)
[PAPER]FlowDesign: Euclidean CFM на one-hot + C\(\alpha\) + SLERP ориентаций, IPA drift; dyMEAN prior \(\approx 15\%\) H3 AAR vs random; Ibalizumab BLI на flow-matching (не копировать кампанию как axiom класса). dyMEAN: \(T=3\) AME, один structure/forward — GNN, не diffusion ensemble. [PAPER]
Смежные постановки, которые нельзя смешивать
[INTERPRETATION]FAPE в ProteinGenerator — structure head RF, не default ESM3. UCB GB1 baseline у PG — сравнение авторов, не EVOLVEpro protocol.
| Постановка | Что совместно | Sampler | Каталог |
|---|---|---|---|
| Joint generation (эта страница) | \(p(s,x\mid c)\) надкласс | LM / DDPM / FM / iterative | ESM3, PG, DiffAb, FlowDesign, dyMEAN |
| <a href="../architectures/joint-sequence-structure-diffusion.html">Joint diffusion</a> | AA+geometry noised together | shared reverse | DiffAb, AbDiffuser, BoltzGen family |
| <a href="../architectures/flow-matching.html">Flow matching</a> | joint CDR CFM | ODE | FlowDesign |
| <a href="../architectures/protein-language-models.html">PLM</a> | sequence only (unless multimodal) | AR/MLM | ProGen, IgLM; ESM3 is more than PLM |
| <a href="../architectures/inverse-folding.html">Inverse folding</a> | \(p(s\mid x)\), \(x\) fixed | AR/MPNN | ProteinMPNN, ESM-IF1 |
| Staged backbone→IF | два процесса | diffusion then MPNN | RFantibody; Chroma design net |
4. Представление данных
Общее для класса
Класс читает «Tokens (AA, structure VQ, function), frames/Cα, one-hot sequence, optional antigen/framework clamps, DSSP/SS/SASA prompts». Нужно отличать тензор сети (координаты / frames / torsions, time, masks, иногда discrete type-канал) от внешнего файла (PDB, contig, hotspot, antigen chain). Размерности и аугментации без paper/code остаются NR. Дальше — как это кодируют конкретные реализации.
- ESM3: три fused discrete tracks — sequence (AA+special), structure (VQ tokens from local atomic neighborhoods), function (InterPro-like keywords). Additional prompt channels: SS8, SASA, atomic coordinate prompts. Geometric attention (block 1 only) строит local frames из bond geometry и общается в global frame. Codebook cardinality structure VQ — SI NR this pass. [PAPER] Fig. 1, SI A.1.6–A.1.7.
- ESM3 train mix: 3.15B sequences, 236M structures, 539M function annotations, 771B unique tokens. Predicted structures получают inverse-fold labels (SI A.2.1.3). Temporal hold-out натуральных белков для prompt-fidelity (Fig. 2A). Leakage vs therapeutic mAbs — NR. [PAPER]
- ProteinGenerator: \(L\times 20\) scaled one-hot \(\{-1,+1\}\); timestep embedding в RF sequence template; optional DSSP strings; motif/composition clamps. PDB natives для fine-tune RF. Self-cond template = предыдущий \(\hat x_0\). Не learned sequence embedding как объект диффузии. [PAPER]
- DiffAb (стоит на этой странице, не только ссылкой): residue encoder \(\to\) res_feat \((N,L,d)\); pair encoder \(\to\) pair_feat \((N,L,L,d)\); frames \(R\in\mathrm{SO}(3)^{N\times L}\), C\(\alpha\) \(p\in\mathbb{R}^{N\times L\times 3}\), AA \(s\in\{1,\ldots,20\}^{N\times L}\). generate_flag на CDR; framework+antigen clamped. [CODE] FullDPM@c3e2966.
- FlowDesign: residue MLP (AA, all-atom, \(\chi\)); pair distances/dihedrals; IPA; CDR slice vs context \(C\); SAbDab 13 279 complexes, H3 50% cluster, 20-complex test. [PAPER] — числа на <a href="../architectures/flow-matching.html">FM</a>, здесь чтобы страница не была пустой картой.
- dyMEAN: full-atom multi-channel \(X_i\in\mathbb{R}^{3\times c_i}\); epitope + shadow paratope; \(T=3\) AME, \(k=9\); RAbD in silico. [PAPER] <a href="../architectures/graph-neural-networks.html">GNN</a>.
- Chroma: backbone coords in polymer-correlated SDE, then separate design GNN/CRF — не multimodal tokens и не simultaneous \((s,x)\) update. [PAPER]
5. Физическое представление
Общее для класса
Математический объект класса соответствует такому физическому state: «Coupled pair $(s,x)$; ESM3 may also emit function tokens. Not a validated experimental structure». Перестановка residues, склейка цепей и глобальный поворот ломают разные инварианты — это свойство представления. Промежуточный noisy state ≠ MD-траектория и ≠ энергия. Side chains либо в state, либо pack post-hoc, либо отсутствуют. Ниже papers фиксируют, какой вариант они выбрали.
Generated state — первичная структура плюс геометрия (backbone и/или all-atom decoder). ESM3 structure tokens кодируют local atomic neighborhoods, не MD trajectory. ProteinGenerator/DiffAb/FlowDesign выдают coords/frames в лабораторной системе; глобальный SE(3) обрабатывается geometric attention / equivariant layers / local frames, не «инвариантностью класса».
Side chains: ESM3 decoder all-atom reconstruction; FlowDesign — Rosetta pack after; DiffAb — backbone+types, packer внешний. Glycans, solvent, protonation обычно отсутствуют. Chain permutation: sequence order is biological, не S_n-invariant.
Function track ESM3 — InterPro-like keywords, не assay \(K_D\). Fluorescence esmGFP проверялась спектрами, не antibody SPR.
6. Физико-химический смысл
Общее для класса
Какие физико-химические оси класс вообще может «видеть». Этот класс — backbone / frames / атомы в том разрешении, которое есть в state; не автоматически $\Delta G$. H-bonds, электростатика, растворитель, энтропия и experimental affinity отсутствуют, пока нет явной energy / assay головы: модель тогда не считает $\Delta G$. Таблица ниже — как конкретные методы кодируют эти оси; строка про один tool не обобщается на класс.
| Feature / operation | Physical/chemical interpretation | Encoded how | Limitation |
|---|---|---|---|
| AA identity | ковалентная первичная структура | tokens / one-hot / categorical | без rotamers until pack/decoder |
| Structure tokens / frames / Cα | fold geometry | VQ / SO(3)+R³ / coords | snapshot, not ensemble |
| Function keywords (ESM3) | GO/InterPro-like annotation stats | discrete track | не experimental function |
| DSSP / SS8 / SASA prompts | secondary structure / exposure | conditioner | predicted or desired, not NMR |
| Composition / hydropathy bias (PG) | sequence chemistry | logit bias each step | not expression assay |
| Multistate logit average (PG) | one sequence, two folds | two RF calls | CD/HSQC ≠ antibody binder |
| Antigen coords (DiffAb/FlowDesign) | steric context of CDR | clamped structure | wrong dock → wrong CDR |
| pTM / scTM / pLDDT / AAR | self-consistency / recovery | in silico | not \(K_D\) / fluorescence physics |
7. Что обучается
Общее для класса
Общий train target класса: «Masked CE (ESM3); CE+FAPE (ProteinGenerator); discrete+geometric diffusion/FM losses (DiffAb/FlowDesign). Not FAPE as ESM3 default». Нужно назвать, какие модули обучаются, какие frozen (PLM, MSA, RoseTTAFold trunk), и есть ли в loss negative / non-binder / affinity labels. Если в постановке класса labels нет — ответ «нет», даже если кто-то доучивает голову в приложении. Fine-tune vs pretrain различается объектом (PDB identities, SAbDab, assay $y$), не маркетингом. Детали сплитов — в подразделах papers.
[PAPER]ESM3: masked token CE по всем tracks и всем mask rates (не BERT-15%). Structure autoencoder: pairwise distances + relative orientations bond vectors/normals (SI A.1.7.3.1, listing не копируем). Alignment: preference pairs (high pTM / low cRMSD vs worse), поднимает likelihood positives; eval Pass@128 на tertiary-contact prompts (Fig. 3). Это не ELISA fine-tune и не catalog default 1.4B checkpoint. [PAPER]
[PAPER]ProteinGenerator: CE native sequence + FAPE + bond geometry + distogram + lDDT + KL(\(x_{t-1}\)); square-root schedule; self-conditioning; RF 1–3 extra recycles. Negative — другие 19 AA и wrong geometry via FAPE. Classifier (GB1 MLP) — optional guidance at inference, не часть RF loss. [PAPER]
[PAPER]DiffAb: MSE на predicted coordinate noise, cosine на \(R\), KL на sequence posterior — shared reverse, факторизованный forward. FlowDesign: CFM MSE on interpolant (one-hot Euclidean ≠ discrete CTMC). dyMEAN: CE paratope + coord losses, \(T=3\). Chroma design net: sequence CE after frozen/backbone sample — не joint ELBO. [PAPER]
8. Прямой проход и information flow
Общее для класса
Прямой проход класса: шум или частичная структура → denoiser / decoder → coords/frames → часто отдельный inverse folding, pack, AF. Чужие блоки (pack, AlphaFold, docking, ELISA) нельзя прятать внутрь «одной сети». Схема ниже, если есть, — оригинал по прочитанным источникам, не копипаст figure. Затем — где у tools generator, а где evaluator.
[PAPER]ESM3: prompt any subset of tracks → geometric attention (block 1) + remaining Transformer blocks → logits on masked positions → sample/unmask → iterate. Structure tokens decode all-atom отдельно. Alignment не меняет этот graph, только веса preference. [PAPER]
[PAPER]ProteinGenerator: \(x_t\) (noisy \(L\times 20\)) + timestep + optional DSSP/motif → RoseTTAFold (recycles) → \(\hat x_0\) sequence + structure \(y\) → compute \(x_{t-1}\) (Eq. 1) → self-cond next step. Multistate: three RF calls, mix logits. Classifier guidance: extra gradient/bias on sequence logits, не отдельный ELISA loop. [PAPER]
DiffAb: pair/res encoder on complex → EpsilonNet(\(\varepsilon_p,\varepsilon_R,p_{\mathrm{AA}}\)) → reverse DDPM on CDR only. FlowDesign: IPA drift along CFM interpolant. dyMEAN: three AME then Kabsch. Chroma: sample \(x\) then CRF \(s\mid x\) — staged, не этот forward.
9. Training procedure
Общее для класса
У класса нет единого корпуса. Типичные данные: структуры PDB / SAbDab / complexes; фильтры resolution и redundancy — у реализации, не у класса. Split и leakage — свойства датасета реализации. Не выводить split из README. Не смешивать in silico designability с prospective wet-lab. Ниже каждый paper описывает свой корпус; нет цифры = NR.
[PAPER]ESM3 pretrain: 3.15B sequences / 236M structures / 539M function annotations / 771B unique tokens. Depth помогала больше width; 98B = 216 blocks, \(1.07\times 10^{24}\) FLOPs. Inverse-fold labels на predicted structures (SI A.2.1.3). Prompt fidelity: temporally held-out naturals (Fig. 2A); после ESM-IF1 + ESMFold median pTM \(0.80\pm 0.08\), scTM \(0.96\pm 0.04\). Alignment — отдельный этап preference pairs, не pretrain CE. Leakage vs therapeutic antibodies: NR. Open 1.4B non-commercial; 7B/98B API. [PAPER]
[PAPER]ProteinGenerator: PDB natives, \(t\sim U[0,T]\), square-root schedule, CE+FAPE+geom+KL, self-cond, RF 1–3 recycles. Antibody-specific split нет. Inference \(T\) и train \(T\) можно развести (SI Table 2). [PAPER]
[PAPER]DiffAb: SAbDab complexes, CDR generate_flag, framework+antigen clamped; primary wet-lab нет (in silico AAR/RMSD). FlowDesign: 13 279 complexes, H3 50% identity cluster, 20-complex test, dyMEAN prior; Ibalizumab BLI — на FM page, не class axiom. dyMEAN: RAbD in silico, \(T=3\), \(k=9\). [PAPER]
AlphaProteo/BoltzGen train sets: methods NR this pass. Chroma polymer SDE + design GNN — coordinate-diffusion page.
10. Inference and generation
Общее для класса
Общий inference класса: «Iterative unmask, reverse DDPM, ODE, or a few GNN decode iterations — subclass-specific». Старт — шум / partial structure / contig. Pack / relax / AF / likelihood rerank помечаются как evaluator, не generator. Чего в классе нет (beam, recycle, assay-in-the-loop), пока tool явно не добавляет, — тоже общее свойство. Число шагов $T$, temperature, $k$ — tool-specific, если не оговорено.
[DOC]ESM3: start fully or partially masked; unmask any order until \(m=\emptyset\). README example (не paper law): 8 steps, sequence-track temperature \(T=0.7\) [DOC]. Decode structure tokens → all-atom. Alignment checkpoint vs base 1.4B — разные fidelity/diversity (Fig. 3 Pass@128). Не ancestral AR ProGen: нет фиксированного left-to-right порядка.
[PAPER]ProteinGenerator reverse: composition bias \(25\) steps, \(70\)–\(80\) aa; charge/hydropathy \(25\) steps, \(50\) aa; repeats \(50\) steps, \(125\)–\(150\) aa, five units; barcodes \(50\) steps, \(100\) aa, C-term fixed. Unconditional in silico: \(6\%\) AF2 pLDDT\(>90\) и RMSD\(<2\) Å. Clamp \([-3,3]\). Multistate: average logits parent/child each step; MS1 CD parent \(26\%\) \(\beta\) vs children \(4\%\). GB1: 96 designs/round \(\times\) 3 vs batched UCB. [PAPER]
[PAPER]ProteinGenerator wet-lab (не Ab): unconditional \(n=42\) expressed, \(32\) soluble monomeric SEC, designed SS, stable to \(95^\circ\mathrm{C}\). Composition \(20\%\) W/C/V/H/M, \(n=200\) in silico/AA, filter AF2 pLDDT\(>90\), RMSD\(<2\), SAP\(<30\), order top \(10\)–\(22\)/AA; expressed \(68\) soluble; Cys \(4/5\), Trp \(8/19\), Val \(19/22\), His \(10/12\), Met \(10/10\) monomeric SEC; Cys \(3\)–\(4\) disulfides by MS \(\pm\)TCEP without structural conditioning. Repeat protein crystal \(3.70\) Å vs AF2. Melittin cage: N-term \(26\) AA GIGAVLKVLTTGLPALISWIKRKRQQ, \(155\) aa, \(25\) steps, furin GRRKR; hemolysis \(15\,\mu\mathrm{M}\) vs free melittin / Triton. [PAPER]
[PAPER]DiffAb: \(T\) reverse from random SO(3)/Gaussian/random AA on CDR; нет primary wet-lab. FlowDesign: \(T\) scaled-drift steps, one-step inferior; Ibalizumab BLI — FM page. dyMEAN: one structure per forward. [PAPER]
Не путать iterative unmask ESM3 с DDPM \(T\)-steps DiffAb/PG: разная математика, похожий «цикл до готовности».
ESM3 GFP chain-of-thought (Hayes Fig. 4) — wet-lab, не antibody
[PAPER]Prompt: sequence + structure tokens хромофор-формирующих residues и части центральной спирали natural GFP (семейство \(\approx 238\) AA). Эксп. 1: экспрессия сгенерированных designs в E. coli; well B8 \(\approx 57\%\) identity к известным FP. Эксп. 2: продолжить генерацию от B8; well C10 = esmGFP, \(58\%\) ID к известным FP. Ближайший BLAST/MMseqs hit — tagRFP (\(96\) мутаций); ближайший WT — eqFP578 (\(53\%\) ID, \(107\) позиций). \(22\) мутации внутри barrel vs tagRFP. Флуоресценция сопоставима с ordinary GFP; ширина возбуждения FWHM \(39\) nm vs EGFP \(56\) nm (в HTML «mm» — опечатка, физика спектров в nm). Оценка авторов \(\sim 500\) Myr — не молекулярные часы. Число wells кроме B8/C10 — NR. Не antibody evidence. [PAPER]
11. Conditioning
Общее для класса
Что класс умеет зажимать по постановке: «Partial observations of either modality, motifs, function keywords, antigen/framework. Not ELISA labels as class default». contig / motif / hotspot / antigen frames; ELISA labels не являются conditioner, пока нет такой головы. Contig, mask, motif, hotspot и library — разные объекты. Ниже papers перечисляют свой conditioner без переноса с соседа.
Partial sequence, partial coords/motifs, function keywords, SS/SASA, tertiary-contact coordinate prompts (ESM3 GFP: chromophore residues + helix fragment). Sequence composition 20% W/C/V/H/M, hydropathy, repeat symmetry, peptide N-term cage, DSSP multistate (ProteinGenerator). Antigen+framework clamps, CDR mask (DiffAb/FlowDesign). Epitope graph + shadow paratope (dyMEAN). Language captions — Chroma classifier guidance, не ESM3 function track.
Нет ELISA labels в ESM3 pretrain. Alignment preference pairs — pTM/cRMSD, не wet-lab Kd. PG GB1 MLP — experimental sequence–activity на GB1, не EVOLVEpro few-shot ELISA protocol. Нет UCB as class default (PG сравнивает с batched UCB как baseline авторов).
12. Вычислительная сложность
Общее для класса
Драйверы стоимости класса: «Размер multimodal state / L; Unmask or diffusion/ODE steps; Pair/IPA cost on complexes; Model scale (ESM3 1.4B vs 98B)». Сравнение «дешевле diffusion» допустимо только если paper дал NFE/steps; иначе это INTERPRETATION или молчание. GPU hours / wall-clock без источника — NR. Цифры одной кампании не становятся сложностью всего класса.
ESM3: Transformer depth \(\times\) length \(\times\) unmask steps; 98B / 216 blocks \(\neq\) runtime 1.4B. Geometric attention только в первом блоке (не каждый слой IPA). OOM на больших комплексах — failure mode. GFP campaign: generation cheap vs spectra/expression oracle.
ProteinGenerator: \(T_{\mathrm{diff}}\) \(\times\) RoseTTAFold forward (multistate \(\times 3\) RF). Typical published \(T\in\{10,25,50\}\), не обязательно train \(T\). DiffAb/FlowDesign: \(T\times(L_{\mathrm{Ab+Ag}})^2\) pair/IPA. dyMEAN: 3 layers \(\times\) 3 iters, cheaper ensemble. Staged RFdiffusion+MPNN может быть дешевле, если topology уже зафиксирована и joint state не нужен.
Wall-clock oracle (spectra, BLI, CD, crystallography) доминирует claims of function.
13. Преимущества
Общее для класса
Преимущества должны следовать из механизма класса (цикл с малым бюджетом, локальный граф, joint prior…), не из маркетинга. Seed-список: «Меньше inconsistency между sequence и fold; Programmable multimodal prompts (ESM3); Sequence-level guidance and multistate (ProteinGenerator)». Любое количественное число ниже обязано иметь PAPER/SI locator и не обобщается с одного белка на класс. Это не гарантия стабильности, аффинности или экспрессии.
Ни одно из in silico чисел не есть affinity. esmGFP fluorescence ≠ antibody campaign. PG GB1 guidance ≠ EVOLVEpro. Не складывать GFP spectra, PG CD/crystal и DiffAb AAR в одну метрику «joint quality».
- Один процесс согласует identity и fold: меньше «IF не узнаёт петлю, которую diffusion только что нарисовал».
- ESM3: any-order multimodal prompts; CAMEO recon \(<0.5\) Å; prompted generations median pTM \(0.80\pm 0.08\), scTM \(0.96\pm 0.04\) after ESM-IF1+ESMFold; alignment поднимает Pass@128. esmGFP (well C10): \(58\%\) ID к известным FP, \(96\) мутаций vs tagRFP, \(22\) в barrel, \(53\%\) vs eqFP578; FWHM возбуждения \(39\) nm vs EGFP \(56\) nm — fluorescence campaign, не Ab. [PAPER]
- ProteinGenerator: sequence-level guidance (composition, repeats, hydropathy, activity classifiers) на \(L\times 20\) tensor; solutions за \(\approx 10\) steps; unconditional \(32/42\) soluble to \(95^\circ\mathrm{C}\); Cys disulfides without structural conditioning; \(3.70\) Å crystal; melittin hemolysis \(15\,\mu\mathrm{M}\); GB1 96\(\times\)3 vs UCB. General-protein wet-lab, не Ab. [PAPER]
- DiffAb: CDR type+geometry together, tensors на этой странице, wet-lab нет. FlowDesign: dyMEAN prior \(\approx 15\%\) H3 AAR; Ibalizumab BLI — FM page. dyMEAN: full-atom epitope-conditioned CDR in silico.
14. Ограничения
Общее для класса
Ограничения класса по осям: математика представления, физика/химия, bias данных, обобщение, deployment. Seed-список: «Нужны paired structures; Internal confidence часто не независим; Дороже staged IF, когда topology уже фиксирована». Не дублировать преимущества с обратным знаком без новой информации. Ниже papers добавляют конкретные дыры (SI, split, gated weights).
- Математика: надкласс без единой loss; ESM3 discrete tokens ≠ DiffAb continuous frames; PG one-hot Gaussian ≠ categorical CTMC.
- Представление: paired structures required (кроме чисто sequence PLM); ESM3 7B/98B API; Chroma weights gated.
- Физика: joint sample ≠ bound complex; function keywords ≠ assay.
- Данные: PDB/AFDB bias; ESM3 leakage vs mAbs NR; FlowDesign 20-complex test; PG no Ab split.
- Обобщение: GFP/GB1/melittin/multistate CD не переносятся на CDR–epitope.
- Deployment: ESM3 small non-commercial; AlphaProteo trusted-tester; AbDiffuser no turnkey repo; BoltzGen methods unread; PG/DiffAb commits: DiffAb@c3e2966 on tool page, PG NR this pass.
15. Failure modes
Общее для класса
Типичные ошибки пользователя и модели для этого класса: неверный contig/hotspot, pLDDT как binder, забытый inverse folding. Seed-список: «Считать generated structure validated structure; Смешивать ESM3 MLM с DiffAb DDPM; Считать Chroma/RFantibody simultaneous joint sampler». Это не общие «может не сработать». Дальше — как эти режимы проявлялись в конкретных работах каталога.
- Считать staged RFantibody или Chroma CRF этим классом как канон (pipeline даёт seq+struct, процессы разные).
- Считать ESM3 «просто PLM» без structure/function tracks.
- Считать DiffAb уравнением ESM3 или ProteinGenerator.
- Считать pTM / scTM / pLDDT / AAR / Rosetta \(\Delta G\) измеренным \(K_D\).
- Приписать esmGFP или Ibalizumab ΔKd всему надклассу.
- Antibody claim от ESM3/PG/Chroma без Ab evidence.
- Wrong antigen dock в DiffAb/FlowDesign → sequence под чужой геометрией.
- Framework leakage: модель копирует native CDR (dyMEAN unigram warning на GNN page).
16. Реализации в инструментах
Общее для класса
Реализации класса в каталоге определяются reverse index architecture_id, а не похожестью названия. Колонки таблицы: generic architecture vs tool-specific. Непрочитанный tool — строка с NR, без выдуманных уравнений. Foundational methods вне карточек tools можно указать явно. Неравные кампании не ставят в одну колонку «успех». Список ссылок на tools повторяется служебным блоком после нумерованных разделов.
| Tool / method | Generic architecture | Tool-specific implementation | Important difference |
|---|---|---|---|
| <a href="../tools/esm3.html">ESM3</a> | multimodal masked LM | seq/struct/function tracks; VQ local-neighborhood tokens; geom attn block 1; 1.4/7/98B (216 blocks); all mask rates | Science 2025; esmGFP C10 58% ID; not Ab; 1.4B non-commercial; commit NR |
| <a href="../tools/protein-generator.html">ProteinGenerator</a> | sequence-space RF diffusion | \(L\times 20\) \(\pm 1\); CE+FAPE+geom+KL; clamp [-3,3]; DSSP/multistate; T=10–50 | Nat. Biotechnol. 2025; 32/42 soluble; 3.70 Å; no Ab; commit NR |
| <a href="../tools/diffab.html">DiffAb</a> | joint seq–struct diffusion | CDR AA+Cα+SO(3); res_feat/pair_feat/R/p/s; EpsilonNet | NeurIPS 2022; in silico; @c3e2966 |
| <a href="../tools/flowdesign.html">FlowDesign</a> | joint CDR flow matching | IPA; dyMEAN prior; Rosetta pack | канон: flow-matching page |
| <a href="../tools/dymean.html">dyMEAN</a> | iterative full-atom E(3) GNN | T=3 AME; shadow paratope | канон: GNN; not a diffusion ensemble |
| <a href="../tools/abdiffuser.html">AbDiffuser</a> | full-atom Ab joint diffusion | HER2 campaign claimed | repo NR; subclass diffusion |
| <a href="../tools/boltzgen.html">BoltzGen</a> | all-atom joint family | nanobody/peptide binders | methods NR this pass |
| <a href="../tools/chroma.html">Chroma</a> | staged coords then design GNN | polymer SDE + CRF | tagged joint; канон coordinate-diffusion |
| <a href="../tools/alphaproteo.html">AlphaProteo</a> | closed binder generator | target-conditioned | no local weights; methods NR |
| <a href="../tools/rfantibody.html">RFantibody</a> | не этот класс как канон | frame diffusion + MPNN | staged |
17. Где применимо и где не применимо
Общее для класса
Класс уместен для задач: joint-sequence-structure-generation; joint-cdr-sequence-structure-design; functional-site-design; general-protein-sequence-generation. Не уместен: developability-assessment; few-shot-active-learning. Ссылки на workflows имеют смысл, только если стадия реально вызывает этот класс как generator/scorer, а не как соседний модуль. Чем пользоваться вместо запрещённой задачи — соседний architecture / workflow, не «тот же GNN». Ниже — разбор papers и явные запреты, затем служебные списки каталога.
Применимо: когда нельзя честно разделить backbone и sequence — multimodal prompts (ESM3, joint multimodal workflow); sequence-conditioned / multistate design (ProteinGenerator); antibody CDR co-design при известном комплексе (DiffAb, FlowDesign, CDR codesign).
Не применимо как замена staged de novo Fv (RFantibody), few-shot ELISA AL, или developability scoring. Не сравнивать esmGFP spectra, PG CD/HSQC, FlowDesign Ibalizumab BLI и DiffAb in silico AAR как одну метрику «joint quality».
18. Методологические источники
Общее для класса
Этот раздел — какие работы определяют класс и какие карточки papers каталога к нему привязаны, что прочитано vs pointer-only. Идентификаторы каталога: paper-esm3; paper-protein-generator; paper-diffab; paper-flowdesign; paper-chroma. Это не библиография «всего по теме». Таблица происхождения источников, paywall и статус сверки вынесены в конец страницы, чтобы не заслонять определение класса.
Инструменты, использующие подход
AbDiffuser, AlphaProteo, BoltzGen, Chroma, dyMEAN, ESM3, FlowDesign, ProteinGeneratorГде применимо
Joint sequence–structure generation, Joint CDR sequence–structure design, Дизайн функционального сайта, Генерация белковых sequencesГде не стоит использовать
Developability assessment, Few-shot active learningPapers каталога
Simulating 500 million years of evolution with a language model, Generalized biomolecular modeling and design with sequence-space diffusion, Antigen-Specific Antibody Design and Optimization with Diffusion-Based Generative Models for Protein Structures, Flow matching for antibody CDR sequence–structure co-design, Illuminating protein space with a programmable generative modelПодтипы класса
- Multimodal masked LM (ESM3)
- Sequence-space RF diffusion (ProteinGenerator)
- Joint diffusion (DiffAb / AbDiffuser / BoltzGen family)
- Joint flow matching (FlowDesign)
- Iterative full-atom GNN (dyMEAN)
- Staged coords→design net (Chroma; tagged, not canonical)
Статус сверки источников
Недоступные или неполные источники
| Источник | Почему недоступен | Что использовано вместо |
|---|---|---|
| ESM3 Science SI sections A.1.5–A.2.1 (точный codebook size structure VQ-VAE, geometric attention listing, IF-label recipe) не копируются; масштабы 1.4B/7B/98B, 216 blocks, 771B tokens, GFP wells B8/C10, FWHM 39 nm vs EGFP 56 nm — Science HTML/PDF 10.1126/science.ads0018. Число синтезированных GFP wells кроме B8/C10 — NR this pass. | ||
| Biohub/esm (ESM3) commit в этом проходе не аудировался; open 1.4B vs API 7B/98B; README 8-step / T=0.7 example — [DOC], не paper hyperparameter law. | ||
| ProteinGenerator Nat. Biotechnol. SI Algorithms S1–S4 / square-root schedule / SI Table 2 не постранично; CE+FAPE+bond+distogram+lDDT+KL, L×20 ±1, clamp [-3,3], wet-lab n=42/32, crystal 3.70 Å, hemolysis 15 µM, GB1 96×3 — Nature HTML 10.1038/s41587-024-02395-w. RosettaCommons/protein_generator commit NR. | ||
| AlphaProteo technical report / BoltzGen methods в этом проходе не перечитывались: catalog tags only. | ||
| Chroma design-net как CRF после backbone — coordinate-diffusion page; не выдавать Chroma за simultaneous joint sampler. |