Autoregressive structure generation

Авторегрессионная генерация структуры. Established English term: Autoregressive structure generation.

Что это за класс

Определение класса — общее для всех papers и tools с этим architecture_id. Это не карточка одной нейросети. После каждого нумерованного заголовка сначала идёт блок «Общее для класса», затем разбор конкретных статей, как раньше.

Авторегрессионная генерация структуры наращивает 3D последовательно: каждый новый residue frame или fragment conditioned на уже поставленные. Likelihood структуры явна, $p(x)=\prod p(x_i\mid x_{

Что на выходе. Упорядоченные frames/координаты. Sequence может быть условием или отсутствовать.

Чего класс не делает. Не humanization. На длинных цепях ошибка дрейфует. Это не параллельный DDPM всех residues сразу.

В каталоге мало канонических tools с этим id; не подставлять RFdiffusion (он не AR по residues). Сравнивать с frame diffusion, где все кадры шумят совместно.

Ниже — общая sequential 3D-постановка и честные NR там, где papers не прочитаны.

1. Область определения

Общее для класса

Этот пункт фиксирует роль класса в пайплайне и границу с соседями. Класс оперирует геометрией (координаты, frames, углы) или парой sequence+structure. Краткая seed-формула: «Residues или fragments структуры добавляются последовательно: каждый новый frame conditioned на предыдущие». Что метод выдаёт или оценивает: «Ordered frames/coordinates». Вход: «Partial backbone plus conditioner». Задачи каталога, которые класс закрывает: de-novo-backbone-generation. Явно не для: humanization. Дальше по разделу — какие tools имеют этот architecture_id и какие постановки нельзя смешивать.

Autoregressive structure generation — это факторизация распределения геометрического состояния белка (torsions, residue frames, C\(\alpha\), или дискретные structure tokens) как произведения условных шагов. Генератор семплирует геометрию последовательно. Это не sequence LM, не inverse folding и не predictor вроде AlphaFold2/IgFold.

По роли: generator backbone (иногда all-atom после decoder VQ). Sequence обычно отсутствует или ставится отдельно (ProteinMPNN, RosettaDesign). Internal scores: model NLL, reconstruction RMSD tokenizer'а, self-consistency TM/RMSD после IF+fold. Ни один из них не есть experimental fold или affinity.

В текущем каталоге нет инструмента с architecture id autoregressive-structure-generation. De novo backbone в каталоге идёт через frame diffusion / coordinate diffusion (RFdiffusion, FrameDiff, Chroma). Эта страница описывает класс методов, который в литературе существует, но не является default antibody pipeline каталога.

Задача, к которой класс относится: de novo backbone generation. Не humanization и не CDR sequence infilling. Не путать с AR sequence (токен = аминокислота) и с torsion diffusion (FoldingDiff — joint denoising углов, не next-angle product как генератор).

2. Интуитивный принцип

Общее для класса

Общий механизм Autoregressive structure generation: что меняется за один шаг inference и за счёт какого inductive bias метод может работать. «Residues или fragments структуры добавляются последовательно: каждый новый frame conditioned на предыдущие». Главный эмпирический рычаг класса — шум train, число шагов sampler, какие frames/coords зажаты; это не «магия одной статьи». Для Autoregressive structure generation внутренние числа модели (likelihood, score, acquisition, pLDDT, DockQ, predicted $\Delta\Delta G$) не являются экспериментальным affinity / $K_d$ / ELISA / BLI, пока это явно не измерено вне сети. Абзацы ниже — как принцип формулируют конкретные papers, не определение всего класса.

Белок задаётся упорядоченным геометрическим состоянием. Модель читает уже размещённый префикс (или более грубый scale) и ставит распределение на следующий кусок: residue angles, frame, Cα-облако данного масштаба, или VQ-token. Кандидат — sequential sample + кинематическая реконструкция (torsions → Cartesian) или learned decoder (VQ codebook → coords).

[PAPER]Порядок — часть модели. N→C по residues конфликтует с дальними контактами: residual i и j могут быть соседями в 3D при большом |i−j|. FoldingDiff явно показывает failure mode residual-wise AR на углах — коллапс в одиночные α-спирали. [PAPER] Wu et al. Nat. Commun. 2024. PAR обходит это next-scale prediction: сначала грубая topology, потом детали. [PAPER preprint] Qu et al. 2026.

[INTERPRETATION]scTM / scRMSD / FPSD / pLDDT — in silico self-consistency или distributional metrics. Они не заменяют crystal/NMR и не равны Kd. FastRelax после RamaNet — внешний energy minimizer, не часть AR likelihood.

3. Формальная математическая постановка

Общее для класса

Сначала родовая математика класса (что оптимизируют / что семплируют), общая для реализаций с этим id. Seed-запись: «$p(x)=\prod_i p(x_i\mid x_{отдельные уравнения: нельзя переносить diffusion score, UCB, AR NLL, FAPE или MLM $\Delta\ell$ на эту страницу, если это не её train target. Формулы с пометкой tool-specific относятся к одному инструменту. Ниже — разбор papers по подтипам.

Ниже — три subtype факторизации. Не смешивать их уравнения.

Residue-wise geometric AR (класс; RamaNet / FoldingDiff AR baseline)

Символы: \(L\) — число residues; \(\phi,\psi\) — backbone dihedrals; FoldingDiff additionally \(\omega\) and three bond angles. Реконструкция: применить углы к цепочке N–Cα–C (RamaNet: 150 valines). Глобальный SE(3) не параметризуется: углы инвариантны к трансляции/ротации всего белка.

$$\begin{aligned} T_i &= (\phi_i,\psi_i)\ \text{или}\ (\phi_i,\psi_i,\omega_i,\theta_i^{(1)},\theta_i^{(2)},\theta_i^{(3)}),\\ p_\theta(T)&=\prod_{i=1}^{L} p_\theta(T_i\mid T_{
[PAPER] Sabban & Markovsky RamaNet; Wu et al. FoldingDiff Methods AR baseline generic. \(T_i\) — внутренние углы residue \(i\); \(c\) — optional length / prompt prefix. RamaNet: \(\phi,\psi\) + MDN. FoldingDiff AR baseline: шесть углов, wrapped smooth L1, causal transformer 14.41M. Порядок обычно N→C.

Discrete structure-token AR (Gaujac 2024)

Gaujac generation GPT: 20 слоёв, 16 голов, d=1024, 344M, next-token на codes с r=1, codebook 4096. [PAPER preprint]

$$z=\mathrm{VQ}(x),\qquad p_\theta(z)=\prod_{k=1}^{K} p_\theta(z_k\mid z_{
[PAPER preprint] Gaujac et al. arXiv 2405.15840 generic. \(x\) — backbone coords; encoder+quantizer даёт discrete codes \(z\) (codebook \(K\in[4096,64000]\), downsampling \(r\)); GPT учит next-token; decoder \(D_\phi\) возвращает Cartesian. Reconstruction RMSD tokenizer'а ~1–5 Å — это не designability generated samples.

Next-scale continuous AR (PAR)

Inference: \(z^1=\mathcal{T}_\theta(\texttt{bos})\) → sample \(x^1\) ODE/SDE → upsample → \(z^2\) → … до полного \(x\). SDE PAR Eq. 6: \(\mathrm{d}x_t=v_\theta\mathrm{d}t+g(t)s_\theta\mathrm{d}t+\sqrt{2g(t)\gamma}\,\mathrm{d}\mathcal{W}_t\). [PAPER preprint]

$$\begin{aligned} q_{\mathrm{decompose}}&: x\mapsto X=\{x^1,\ldots,x^n\},\quad x^n=x\in\mathbb{R}^{L\times 3},\\ p_\theta(x)&=\prod_{i=1}^{n} p_\theta\bigl(x^i\mid z^i=\mathcal{T}_\theta(X^{
[PAPER preprint] Qu et al. arXiv 2602.04883 Eq. 1–5 generic. \(x^i=\mathrm{Down}(x,\mathrm{size}(i))\) — C\(\alpha\) centroids масштаба \(i\). \(\mathcal{T}_\theta\) — non-equivariant AR transformer, выдаёт \(z^i\). \(v_\theta\) — shared flow decoder; \(x_t^i=t^i x^i+(1-t^i)\epsilon^i\). Default scales by length, e.g. \(\{64,128,256\}\). Один scale ⇒ обычный flow (Proteina-like).

Смежные постановки, которые нельзя смешивать

[INTERPRETATION]FAPE — типичный loss AF2 structure prediction, не default loss этого класса. RamaNet: RMSE/MDN на углах. FoldingDiff AR: wrapped smooth L1. PAR: flow-matching MSE. Gaujac GPT: discrete CE. Не подставляйте UCB или sequence NLL ProGen сюда.

ПостановкаЧто генерируетсяПорядок / процессКаталог
AR structure (эта страница)геометрияnext residue / next token / next scaleнет tool id
<a href="../architectures/autoregressive-generation.html">AR sequence</a>AA tokenscausal LMProGen, IgLM, IF decoder
<a href="../architectures/frame-diffusion.html">Frame diffusion</a>все frames сразуreverse SE(3) SDE/DDPMRFdiffusion, FrameDiff, RFantibody
<a href="../architectures/torsion-diffusion.html">Torsion diffusion</a>все углы сразуwrapped DDPM T=1000FoldingDiff (не в каталоге tools)
<a href="../architectures/inverse-folding.html">Inverse folding</a>sequence при фиксированном backboneAR decode residuesProteinMPNN, ESM-IF1, AntiFold
AF2 / IgFold / ESMFoldcoords given sequencerecycling predictor, не sampler p(x)evaluators
ProstT5 AA→3DiFoldseek 3Di string given sequenceT5 decoder AR, но это folding-as-translationнет в каталоге; не de novo backbone

4. Представление данных

Общее для класса

Класс читает «Partial backbone plus conditioner». Нужно отличать тензор сети (координаты / frames / torsions, time, masks, иногда discrete type-канал) от внешнего файла (PDB, contig, hotspot, antigen chain). Размерности и аугментации без paper/code остаются NR. Дальше — как это кодируют конкретные реализации.

[PAPER]Hidden widths: RamaNet LSTM 64 / MLP 32+12 — [PAPER]. FoldingDiff AR 14.41M — [PAPER]. Gaujac GPT d=1024 — [PAPER preprint]. PAR decoder 60/200/400M; scaling AR transformer «minimal impact» — [PAPER preprint]. Не выдумывать остальные dim.

5. Физическое представление

Общее для класса

Математический объект класса соответствует такому физическому state: «Ordered frames/coordinates». Перестановка residues, склейка цепей и глобальный поворот ломают разные инварианты — это свойство представления. Промежуточный noisy state ≠ MD-траектория и ≠ энергия. Side chains либо в state, либо pack post-hoc, либо отсутствуют. Ниже papers фиксируют, какой вариант они выбрали.

Generated state — остов: N, C\(\alpha\), C (часто O восстановлен coplanar trans). Side chains нет, пока внешний packer/IF не назначен. RamaNet физически применяет dihedrals к valine chain: secondary structure появляется из углов, tertiary compactification — FastRelax REF2015, не LSTM.

Трансляция/ротация всего белка: angle-based модели инвариантны по представлению. PAR работает в абсолютных Cα; transformer non-equivariant — глобальный pose не гарантирован inductive bias'ом SE(3). Перестановка residues ломает chain connectivity. Цепи: разобранные методы — в основном monomers/domains (CATH crops, helical single chains), не paired Fv.

6. Физико-химический смысл

Общее для класса

Какие физико-химические оси класс вообще может «видеть». Этот класс — backbone / frames / атомы в том разрешении, которое есть в state; не автоматически $\Delta G$. H-bonds, электростатика, растворитель, энтропия и experimental affinity отсутствуют, пока нет явной energy / assay головы: модель тогда не считает $\Delta G$. Таблица ниже — как конкретные методы кодируют эти оси; строка про один tool не обобщается на класс.

[INTERPRETATION] класс; tool rows — cited papers
Feature / operationPhysical/chemical interpretationEncoded howLimitation
\(\phi/\psi\) tokensлокальная backbone kinematics, Ramachandranexplicit anglesнет дальних H-bonds как термов
6 internal angles (FoldingDiff set)полная локальная геометрия N–Cα–Cexplicitclosure/loop errors накапливаются вдоль цепи
Cα centroids per scaleгрубая fold topology → atomic detailinterpolation along chainне secondary-structure labels
VQ structure tokenlearned patch of backbone geometryquantized latentcodebook collapse / recon RMSD 1–5 Å
SE(3) equivarianceтот же fold в любой ориентацииabsent in PAR transformer; implicit in anglesне гарантия стабильности
FastRelax / REF2015стерическая упаковка и H-bonds по energy functionexternal after ARменяет геометрию относительно сырого sample
ProteinMPNN + ESMFold/OmegaFold scTMсовместимость backbone с IF+predictorexternal evaluator≠ crystal, ≠ binding
H-bonds, electrostatics, solvent, glycans, epitope—absent in generatorantibody CDR/interface не представлены

7. Что обучается

Общее для класса

Общий train target класса: «Next-frame NLL / FAPE». Нужно назвать, какие модули обучаются, какие frozen (PLM, MSA, RoseTTAFold trunk), и есть ли в loss negative / non-binder / affinity labels. Если в постановке класса labels нет — ответ «нет», даже если кто-то доучивает голову в приложении. Fine-tune vs pretrain различается объектом (PDB identities, SAbDab, assay $y$), не маркетингом. Детали сплитов — в подразделах papers.

[PAPER]Trainable зависит от subtype. RamaNet: LSTM+MDN weights; loss RMSE между predicted и target angle sequence (teacher forcing). [PAPER] FoldingDiff AR: causal transformer + regression head; wrapped smooth L1; AdamW wd=0.01, batch 256, best val epoch 1446 / 10000. [PAPER]

Gaujac: (i) quantized autoencoder recon; (ii) GPT CE next-token на frozen codes. Negative examples — неправильный code в softmax, не docking decoys. [PAPER preprint]

PAR: совместно \(\mathcal{T}_\theta\) и \(v_\theta\) под FM loss Eq. 5; self-conditioning; noisy context + scheduled sampling против exposure bias (teacher forcing sc-RMSD 2.20 → NCL+SS 1.48 на 60M/100k). Auxiliary FAPE/sequence CE нет. [PAPER preprint]

8. Прямой проход и information flow

Общее для класса

Прямой проход класса: шум или частичная структура → denoiser / decoder → coords/frames → часто отдельный inverse folding, pack, AF. Чужие блоки (pack, AlphaFold, docking, ELISA) нельзя прятать внутрь «одной сети». Схема ниже, если есть, — оригинал по прочитанным источникам, не копипаст figure. Затем — где у tools generator, а где evaluator.

PAR: KV cache по scales; SDE на coarse scale обязателен (ODE-only designability 28% в Table 2), ODE на fine scales даёт 2.5× speedup vs 400-step single-scale. [PAPER preprint] RamaNet: latent noise → MDN chain of 150 (φ,ψ) → valine kinematics → FastRelax → hand-crafted filter.

9. Training procedure

Общее для класса

У класса нет единого корпуса. Типичные данные: структуры PDB / SAbDab / complexes; фильтры resolution и redundancy — у реализации, не у класса. Split и leakage — свойства датасета реализации. Не выводить split из README. Не смешивать in silico designability с prospective wet-lab. Ниже каждый paper описывает свой корпус; нет цифры = NR.

[PAPER]RamaNet: PDB snapshot 28 Jun 2018; single chains 80–150 aa, continuous, helix+sheet > loops, Rg filter, manual fold diversity → 607 natives × 500 FastRelax = 303 500 helical-augmented examples. Train 18 000 epochs, batch 4, lr 3e−4; further training collapsed to identical outputs. [PAPER]

[PAPER]FoldingDiff AR: same CATH domains 40–128 residues, 30 395 unique, 80/10/10 split; crops >128. [PAPER] Gaujac: PDB tokenized; exact split — appendix A.4.1, не разбирался постранично (NR).

[INTERPRETATION]PAR: two-stage following Proteina/Geffner: 200k steps on AFDB representatives, then 5k FT on PDB subset of 21k designable samples. Pair/triangle modules отключены для alignment с Proteina. [PAPER preprint] Leakage: AFDB/PDB redundancy; designability set для FT уже отобран по той же in silico метрике, что и test — риск круговой оценки. [INTERPRETATION]

10. Inference and generation

Общее для класса

Общий inference класса: «Sequential placement; error accumulation possible». Старт — шум / partial structure / contig. Pack / relax / AF / likelihood rerank помечаются как evaluator, не generator. Чего в классе нет (beam, recycle, assay-in-the-loop), пока tool явно не добавляет, — тоже общее свойство. Число шагов $T$, temperature, $k$ — tool-specific, если не оговорено.

[PAPER]RamaNet: random seed [0,1) → MDN ancestral sample length 150 → trim C-terminal loop → FastRelax → filter (<80 aa, loop>helix, core<20%, max Cα1 distance >88 Å). Повтор, пока filter не пройден. [PAPER]

[PAPER]FoldingDiff AR: seed 4 native angle-sets; fixed L; greedy next-6-angles (Methods не описывают temperature). [PAPER] Gaujac: temperature sampling GPT codes → pretrained decoder; appendix A.4.3: temperature 0.2–0.8 step 0.2 на 2000 samples; top-k / nucleus «little improvement». [PAPER preprint]

PAR: n AR steps (default 3 scales); per scale ODE or SDE (γ=0.3 vs 0.45 меняет designability 96.0% vs 88.0% для 400M). Motif scaffolding: teacher-force motif coords at each scale + superimpose to avoid clashes — zero-shot, без mask fine-tune. [PAPER preprint] Stopping: фиксированный L / последний scale. Ranking: sc-RMSD, FPSD, TM vs prompt — всё in silico.

11. Conditioning

Общее для класса

Что класс умеет зажимать по постановке: «Motif prefix, target surface». contig / motif / hotspot / antigen frames; ELISA labels не являются conditioner, пока нет такой головы. Contig, mask, motif, hotspot и library — разные объекты. Ниже papers перечисляют свой conditioner без переноса с соседа.

Length (FoldingDiff AR Fourier feature). Prefix angles (4 residues). PAR: coarse point prompt (16/32 centroids) без FT; motif atomic coords per scale; bos learned. Нет epitope/hotspot tensor как у RFantibody. Нет species/chain tokens. Нет experimental labels.

Математически PAR prompt: заменить \(x^1\) (или несколько coarse scales) на user points, дальше ancestral upsample. Это не cross-attention на antigen graph.

12. Вычислительная сложность

Общее для класса

Драйверы стоимости класса: «N sequential steps». Сравнение «дешевле diffusion» допустимо только если paper дал NFE/steps; иначе это INTERPRETATION или молчание. GPU hours / wall-clock без источника — NR. Цифры одной кампании не становятся сложностью всего класса.

Residue-wise AR: \(L\) sequential steps, Transformer \(O(L^2)\) на шаг если пересчитывать без cache; с KV cache decode линейно по шагам × cost layer. Gaujac: 344M GPT + VQ decode. PAR: n≪L AR steps, но каждый scale — flow с сотнями ODE/SDE steps на \(\mathrm{size}(i)\) points; fine scale \(O(L^2)\). Table 2: Proteina 400 SDE steps length 200 → 170 s; PAR S/O/O 400/2/2 → 68 s, designability 94%. [PAPER preprint] RamaNet: CPU generation + Rosetta relax. Параметр count ≠ качество: 14M AR baseline хуже 17M FrameDiff по diversity, несмотря на сопоставимый размер.

13. Преимущества

Общее для класса

Преимущества должны следовать из механизма класса (цикл с малым бюджетом, локальный граф, joint prior…), не из маркетинга. Seed-список: «Явная likelihood структуры». Любое количественное число ниже обязано иметь PAPER/SI locator и не обобщается с одного белка на класс. Это не гарантия стабильности, аффинности или экспрессии.

Это не гарантия foldable-in-wet-lab белка и не преимущество перед RFdiffusion на antibody CDR. Equivariance angles ≠ physically correct tertiary pack.

14. Ограничения

Общее для класса

Ограничения класса по осям: математика представления, физика/химия, bias данных, обобщение, deployment. Seed-список: «Порядок генерации искусственен для 3D». Не дублировать преимущества с обратным знаком без новой информации. Ниже papers добавляют конкретные дыры (SI, split, gated weights).

15. Failure modes

Общее для класса

Типичные ошибки пользователя и модели для этого класса: неверный contig/hotspot, pLDDT как binder, забытый inverse folding. Seed-список: «Drift на длинных chains». Это не общие «может не сработать». Дальше — как эти режимы проявлялись в конкретных работах каталога.

16. Реализации в инструментах

Общее для класса

Реализации класса в каталоге определяются reverse index architecture_id, а не похожестью названия. Колонки таблицы: generic architecture vs tool-specific. Непрочитанный tool — строка с NR, без выдуманных уравнений. Foundational methods вне карточек tools можно указать явно. Неравные кампании не ставят в одну колонку «успех». Список ссылок на tools повторяется служебным блоком после нумерованных разделов.

Tool / methodGeneric architectureTool-specific implementationImportant difference
RamaNet (не в каталоге)residue-wise angle ARLSTM 64 + MDN; 150 (φ,ψ); FastRelax filterтолько helices; proof of concept; нет wet-lab
FoldingDiff AR baseline (не в каталоге)causal transformer on 6 angles14.41M, absolute PE, seed 4 native residuesавторы показывают, что residual AR не даёт diverse SS; сам FoldingDiff — torsion diffusion
Gaujac GPT (не в каталоге)VQ tokens + decoder-only LM20L×16H d=1024 344M; K=4096 r=1preprint; scTM 76.6% vs RFdiffusion 97.1%
PAR (не в каталоге)next-scale AR + flow Cα decoder60–400M decoder; scales {64,128,256}; NCL+SSpreprint 2026; in silico designability 96.6% after PDB FT; не antibody
<a href="../tools/rfdiffusion.html">RFdiffusion</a>не этот классSE(3) frame diffusionjoint denoising всех residues
<a href="../tools/framediff.html">FrameDiff</a>не этот классframe diffusion 17MPAR Table 1 comparator
<a href="../tools/proteinmpnn.html">ProteinMPNN</a>AR sequence given backboneIF decoderгеометрия фиксирована — inverse folding
<a href="../tools/esm3.html">ESM3</a>masked multimodal tokensMLM sequence+structure+functionне causal structure AR; PAR Table 1 designability 22%

17. Где применимо и где не применимо

Общее для класса

Класс уместен для задач: de-novo-backbone-generation. Не уместен: humanization. Ссылки на workflows имеют смысл, только если стадия реально вызывает этот класс как generator/scorer, а не как соседний модуль. Чем пользоваться вместо запрещённой задачи — соседний architecture / workflow, не «тот же GNN». Ниже — разбор papers и явные запреты, затем служебные списки каталога.

Применимо концептуально к de novo backbone, когда нужна явная sequential likelihood или coarse prompt. Практический workflow каталога: backbone diffusion → MPNN.

Не применимо как замена epitope-conditioned antibody design (RFantibody), sequence-only libraries (IgLM), или few-shot ELISA loops (EVOLVEpro). Не сравнивать RamaNet FastRelax «compact helix» с RFantibody wet-lab binders.

18. Методологические источники

Общее для класса

Этот раздел — какие работы определяют класс и какие карточки papers каталога к нему привязаны, что прочитано vs pointer-only. Идентификаторы каталога: NR. Это не библиография «всего по теме». Таблица происхождения источников, paywall и статус сверки вынесены в конец страницы, чтобы не заслонять определение класса.

Инструменты, использующие подход

NR

Где применимо

De novo генерация backbone

Где не стоит использовать

Humanization

Papers каталога

NR

Статус сверки источников

partially verified Последняя сверка источников: 2026-08-20. Текст перенесён из content/research (block YAML). Provenance-метки в абзацах сохранены, если они были в исходнике.

Недоступные или неполные источники

ИсточникПочему недоступенЧто использовано вместо
PAR (Qu et al., arXiv 2602.04883, 3 Feb 2026) — preprint; official repo/commit в этом проходе не инспектировались; уравнения и Table 1–3 сверены с arXiv HTML.
Gaujac et al. arXiv 2405.15840 — preprint; github.com/instadeepai/protein-structure-tokenizer не разбирался по commit; GPT 20L/344M и Table 2 — из arXiv HTML; appendix A.4.1 split NR, A.4.3 temperature sampling сверен.
RamaNet SI/F1000 versions: methods сверены с F1000Research HTML (LSTM+MDN). Заголовок одной версии пишет LSTM-GAN — не переносим GAN в архитектуру без сверки той версии.
FoldingDiff SI PDF (16.4 MB) не разбирался постранично; AR baseline — Methods Nature Communications 2024 PMC10844308.
В каталоге нет tool с architecture_ids содержащим autoregressive-structure-generation.