Главная / Architecture Guide / Autoregressive generation

Autoregressive generation

Авторегрессионная генерация. Established English term: Autoregressive generation.

Что это за класс

Определение класса — общее для всех papers и tools с этим architecture_id. Это не карточка одной нейросети. После каждого нумерованного заголовка сначала идёт блок «Общее для класса», затем разбор конкретных статей, как раньше.

Авторегрессионная генерация пишет объект по порядку: каждый токен (аминокислота, иногда с conditioner) зависит только от уже сгенерированного префикса, $p(x_i\mid x_{случайная перестановка узлов, не N→C.

Обучение — next-token cross-entropy (teacher forcing). Inference — последовательный softmax, temperature, top-k, иногда beam. Ошибка в начале каскадирует; низкая температура сужает разнообразие.

Что на выходе. Дискретная последовательность. Геометрия, если нужна, приходит снаружи (backbone как $c$) или не приходит вовсе.

Чего класс не делает. Не рисует fold. Не AL. Не diffusion. Не путать causal LM и masked LM.

Каталог пересекается с ProGen, IgLM, ProteinMPNN, ESM-IF1 (AR decoder). Смотрите, какой порядок и какой conditioner.

Разделы: общая факторизация, затем отличия order и контекста в tools.

1. Область определения

Общее для класса

Этот пункт фиксирует роль класса в пайплайне и границу с соседями. Класс работает с дискретной sequence (токены аминокислот). 3D, если нужна, приходит снаружи. Краткая seed-формула: «Модель пишет sequence слева направо (или в заданном порядке residues): каждый токен conditioned на уже сгенерированные». Что метод выдаёт или оценивает: «Discrete sequence tokens one-by-one». Вход: «Tokens plus optional conditioner embeddings». Задачи каталога, которые класс закрывает: general-protein-sequence-generation; inverse-folding; cdr-sequence-generation. Явно не для: de-novo-backbone-generation. Дальше по разделу — какие tools имеют этот architecture_id и какие постановки нельзя смешивать.

Autoregressive generation (AR) — это факторизация совместного распределения дискретной последовательности, а не отдельная «белковая физика» и не predictor аффинности. Модель задаёт порядок токенов и учит условные \(p(x_i\mid x_{

По роли в пайплайне AR — механизм generation и density estimation. Это не active learning, не diffusion по frames, не docking и не MD. Protein language model — семейство моделей и корпусов; AR — один из механизмов внутри части PLM (decoder-only). Masked LM (ESM-1v, AntiBERTy) использует двусторонний контекст без обязательного causal порядка.

Объекты: amino-acid tokens и special tokens (control tags, species/chain, MASK/SEP/ANS/EOS). Чистый sequence AR не оперирует координатами, frames или $\Delta G$. Structure-conditioned AR (ProteinMPNN, ESM-IF1, AntiFold) — тот же класс факторизации, но conditioner — backbone; геометрия разобрана на inverse folding.

Задачи каталога: sequence generation, CDR sequence, infilling. Инструменты: ProGen/ProGen2, IgLM, AR-decode ProteinMPNN / ESM-IF1 / AntiFold. PALM-H3 заявлен как antigen encoder + AR antibody decoder (methods NR в этом запуске). HuDiff в каталоге имеет architecture id AR — не заполнять GPT-уравнением без paper/code.

2. Интуитивный принцип

Общее для класса

Общий механизм Autoregressive generation: что меняется за один шаг inference и за счёт какого inductive bias метод может работать. «Модель пишет sequence слева направо (или в заданном порядке residues): каждый токен conditioned на уже сгенерированные». Главный эмпирический рычаг класса — температура / mask rate / число шагов unmask или denoising; это не «магия одной статьи». Для Autoregressive generation внутренние числа модели (likelihood, score, acquisition, pLDDT, DockQ, predicted $\Delta\Delta G$) не являются экспериментальным affinity / $K_d$ / ELISA / BLI, пока это явно не измерено вне сети. Абзацы ниже — как принцип формулируют конкретные papers, не определение всего класса.

Модель читает уже выбранные символы (и conditioner) и ставит categorical на следующий. Кандидат — последовательный выбор: greedy, temperature, nucleus, top-k или beam. Ранняя ошибка не исправляется самой факторизацией, если нет отдельного infill/rescoring pass.

[PAPER]IgLM остаётся decoder-only GPT-2, но переставляет masked span в конец токен-ленты (infilling by language modeling). При left-to-right чтении модель видит и N-, и C-контекст петли до генерации span. Это не BERT: внимание каузальное по переставленной ленте. [PAPER] Shuai et al.; Donahue et al. ILM.

[PAPER]ProteinMPNN учит тот же next-residue product, но порядок decode — случайная перестановка residues, чтобы фиксированный контекст (binder target, tied positions) мог быть «уже известен» в любой позиции цепи. [PAPER] Dauparas et al.

[INTERPRETATION]Temperature, nucleus и beam управляют энтропией tokenizer-level distribution. Они не моделируют термодинамический ансамбль и не равны affinity. pLDDT / TMscore предсказанных структур сгенерированных sequences — внешний evaluator (AlphaFold2, IgFold, AF-Multimer в фигурах ProGen2/IgLM).

3. Формальная математическая постановка

Общее для класса

Сначала родовая математика класса (что оптимизируют / что семплируют), общая для реализаций с этим id. Seed-запись: «$x_i \sim p_\theta(x_i\mid x_{отдельные уравнения: нельзя переносить diffusion score, UCB, AR NLL, FAPE или MLM $\Delta\ell$ на эту страницу, если это не её train target. Формулы с пометкой tool-specific относятся к одному инструменту. Ниже — разбор papers по подтипам.

Ниже — generic causal language model. Это не уравнение одного инструмента. Tool-specific отклонения — в подразделах и на страницах инструментов.

Символы: $n$ — длина токен-строки; $\mathcal{D}$ — корпус; $p_\theta(x_i\mid\cdot)=\mathrm{softmax}(W h_i)$; $h_i$ — hidden state causal Transformer (или MPNN decoder). Teacher forcing: при обучении $x_{<i}$ — ground truth. Inference: $x_{<i}$ — уже сэмплированные токены (exposure bias).

$$\begin{aligned} p_\theta(x\mid c)&=\prod_{i=1}^{n} p_\theta(x_i\mid x_{

[PAPER] Madani et al. Nat. Biotechnol. Eq. 1; Nijkamp et al. next-token objective; generic Bengio/Vaswani LM generic. $x=(x_1,\ldots,x_n)$ — токены (AA и special); $c$ — conditioner, который либо препендится в $x$ (ProGen control tags, IgLM chain/species), либо подаётся encoder'ом (IF). Порядок $i$ — часть модели, не обязательно N→C. ProGen пишет среднее по токенам внутри примера (Eq. 1).

Temperature и nucleus (inference, не loss)

[PAPER]Nucleus / top-$p$ (Holtzman et al.): оставить наименьшее множество токенов, чья кумулятивная вероятность $\ge P$, обнулить хвост, перенормировать. IgLM therapeutic libraries: $T\in\{0.8,1.0,1.2\}$, $P\in\{0.5,0.75,1.0\}$. ProGen lysozyme: $p\in\{0.25,0.50,0.75\}$ при генерации 1M sequences. [PAPER]

$$p_T(x_i)=\frac{\exp(z_i/T)}{\sum_j\exp(z_j/T)}$$

[PAPER] Shuai et al. STAR Methods Eq. 6 generic. IgLM STAR Eq. 6. $z$ — logits последнего слоя; $T$ — temperature. $T\to 0$ приближает greedy; большое $T$ сглаживает categorical. Это не $kT$ растворителя.

Perplexity как метрика той же факторизации

$$\mathrm{ppl}(x)=\exp\Bigl(-\frac{1}{n}\sum_{i=1}^{n}\log p_\theta(x_i\mid x_{

[PAPER] Nijkamp et al.; Shuai et al. STAR Eq. 3–4 generic. ProGen2: held-out natural sequences, Table 2 (test-max90 / test-max50). IgLM infilling perplexity — только токены после SEP (span+[ANS]), STAR Eq. 4, не вся VH/VL.

ProGen control tags

[PAPER]ProGen также включает reverse каждой sequence в train set — это всё ещё AR product по перевёрнутой ленте, не masked LM. Всегда есть пример без тегов, чтобы модель умела продолжать sequence-only prefix. [PAPER]

$$x=(c_1,\ldots,c_{n_c},a_1,\ldots,a_{n_a}),\qquad a_{n_a}=\mathrm{EOS}$$

[PAPER] Madani et al. 2023 Methods generic. Контрольные теги $c$ (Pfam family, GO/keywords, taxonomy) препендятся к аминокислотам $a$. Generation: задать $c$, семплировать $a$ слева направо. Средняя длина тегов при pretrain ≈ 8 токенов. Truncation 512. [PAPER]

IgLM infilling by language modeling

[PAPER]Full-length generation: старт $(c_c,c_s)$ (+ optional 3-residue prompt против OAS N-terminal truncation), семплировать до ANS, вставить span на место MASK, выбросить special tokens. VH и VL независимы. [PAPER]

$$X=(c_c,c_s,a_1,\ldots,a_{j-1},[\mathrm{MASK}],a_{j+m},\ldots,a_n,[\mathrm{SEP}],a_j,\ldots,a_{j+m-1},[\mathrm{ANS}])$$

[PAPER] Shuai, Ruffolo, Gray, Cell Systems 2023 generic. Span $S=(a_j,\ldots,a_{j+m-1})$ длины $m\sim\mathrm{Unif}\{10,\ldots,20\}$ заменяется одним MASK; сам span дописывается после SEP. Обучение — AR product по $X$ (STAR Eq. 1–2). Infilling perplexity — только после SEP.

Structure-conditioned AR (не путать с sequence-only и не дублировать IF-страницу)

$$p_\theta(s\mid x_{\mathrm{bb}})=\prod_{i=1}^{L} p_\theta\bigl(s_{\pi(i)}\mid s_{\pi(

[PAPER] Dauparas et al. 2022; Hsu et al. 2022 generic. ProteinMPNN: $\pi$ при обучении — случайная перестановка (order-agnostic AR); фиксированные позиции можно «декодировать первыми». ESM-IF1/AntiFold: обычно N→C / concatenated H+L. Геометрия encoder'а — inverse folding.

Смежные постановки, которые нельзя смешивать

[PAPER]Не переносите UCB, DDPM reverse SDE или flow-matching ODE на эту страницу. Не пишите, что AR likelihood есть $p^\infty$ эволюционного стационарного распределения: ProGen2 явно разделяет $p_0$ (данные) и $p^\infty$ (fitness). [PAPER] Nijkamp et al., citing Weinstein et al. 2022.

Постановка	Факторизация	Контекст токена	Generated object	Типичный инструмент
Causal AR LM	$\prod p(x_i\mid x_{<i},c)$	только слева (или после ILM-shuffle)	sequence	<a href="../tools/progen.html">ProGen2</a>, <a href="../tools/iglm.html">IgLM</a>
Masked LM	$p(s_i\mid s_{\setminus i})$	оба фланга, нет обязательного порядка	logits / optional iterative fill	ESM-1v, AntiBERTy (IgLM baseline, не этот класс)
ILM rearrangement	всё ещё causal AR	двусторонний контекст петли на ленте	variable-length span	IgLM
Inverse folding AR	AR decode given backbone	structure encoder + partial sequence	sequence, backbone fixed	ProteinMPNN, ESM-IF1, AntiFold
Frame / seq-structure diffusion	нет next-token product как генератор	шум по координатам/типам	backbone или joint state	RFdiffusion, DiffAb
AR structure generation	next frame/fragment	частичный backbone	координаты/frames	<a href="../architectures/autoregressive-structure-generation.html">отдельная страница</a>

4. Представление данных

Общее для класса

Класс читает «Tokens plus optional conditioner embeddings». Нужно отличать тензор сети (токены AA, mask / time index, опционально conditioner (framework, motif)) от внешнего файла (fasta, IMGT numbering, CDR mask). Размерности и аугментации без paper/code остаются NR. Дальше — как это кодируют конкретные реализации.

Тензорные hidden widths, не названные paper/code, остаются NR. Не переносить ESM-2 15B $d=5120$ на эту страницу: это embedder EVOLVEpro, не AR generator.

Amino-acid alphabet. ProGen Methods: «standard 25 amino acids designations in IUPAC» — не выдумываем 20-only, если paper пишет 25. IgLM: BertTokenizerFast на vocab.txt; AA token ids $<25$, conditioning tokens $\ge 25$ [CODE utils.py].
Special tokens: EOS (ProGen); IgLM MASK, SEP, ANS (в коде ANS = HuggingFace CLS / eos_token); chain $c_c$ и species $c_s$ (human/mouse/rat/rabbit/rhesus/camel × heavy/light).
Causal attention mask (lower triangular) по токен-ленте. «Двусторонний контекст петли» у IgLM — только после перестановки span, не как BERT.
Positional encoding: ProGen2 — RoPE [PAPER]. IgLM — GPT-2 learned positions в HuggingFace GPT2LMHeadModel [CODE]. ProGen-1: Transformer decoder, d=1028, f=512 [PAPER Methods]; не путать с ProGen2 head dim 64–256.
Context window: ProGen truncate 512; ProGen2 1024 (base: 2048) [PAPER Table 1]; IgLM generate max_length=150 [CODE].
IF subtype: residue graph / GVP features как conditioner, не как generated state.

5. Физическое представление

Общее для класса

Математический объект класса соответствует такому физическому state: «Discrete sequence tokens one-by-one». State — identity токенов. Перестановка residues ломает биологическую sequence; лабораторная поза кристалла на токены не действует. Masked / noisy token ≠ фолдинг. Ниже papers фиксируют, какой вариант они выбрали.

Generated state — первичная структура: идентичности residues в порядке полипептида или в ILM-перестановке. Нет атомов, rotamers, интерфейса как динамического объекта, жёсткого тела. Глобальные 3D-движения не действуют: эквивариантности нет, пока conditioner сам не построен invariant/equivariant (IF encoder).

[PAPER]Перестановка residues в биологической последовательности ломает смысл, кроме явно заданного ILM shuffle или MPNN random order. Цепи VH и VL в IgLM генерируются независимо: парный Fv не является одним AR-фактором. [PAPER] ProGen reverse-sequence train — отдельный AR проход по реверсу, не физический C→N folding pathway.

6. Физико-химический смысл

Общее для класса

Какие физико-химические оси класс вообще может «видеть». Этот класс — в первую очередь identity и sequence statistics; геометрию — только если conditioner её подаёт. H-bonds, электростатика, растворитель, энтропия и experimental affinity отсутствуют, пока нет явной energy / assay головы: модель тогда не считает $\Delta G$. Таблица ниже — как конкретные методы кодируют эти оси; строка про один tool не обобщается на класс.

[INTERPRETATION] для класса; tool rows — cited papers

Feature / operation	Physical/chemical interpretation	Encoded how	Limitation
AA tokens	ковалентная первичная структура	explicit	без геометрии side chain
Causal self-attention	статистические дальние зависимости в корпусе	learned co-occurrence	не Potts energy и не H-bond term
Control tags / species+chain	грубый prior семейства или иммунного репертуара	explicit discrete conditioner	не epitope, не MHC, не affinity
ILM span move	петля видит framework с обеих сторон на токен-ленте	data rearrangement	всё ещё 1D; нет canonical cluster geometry
Random decode order (MPNN)	любой residue может использовать уже выбранные соседей по цепи	permutation of AR mask	порядок ≠ folding pathway
Temperature / nucleus	энтропия categorical sampler	inference hyperparameter	не kT растворителя
In silico developability (SAP, CamSol, OASis)	суррогаты агрегации/растворимости/humanness	external scores after generation	не wet-lab manufacturability; IgLM primary paper — in silico
pLDDT / IgFold / AF-Multimer / trRosetta on generated seq	confidence structure predictor	external evaluator	≠ binding, ≠ correct epitope
Discriminator (ProGen lysozyme)	классификатор natural vs generated	fine-tuned TAPE-BERT, geometric mean of 3 seeds	фильтр перед wet-lab, не kcat
Protonation, glycans, metals, Fc, solvent	—	absent	relevant for antibodies and enzymes

7. Что обучается

Общее для класса

Общий train target класса: «Next-token cross-entropy». Нужно назвать, какие модули обучаются, какие frozen (PLM, MSA, RoseTTAFold trunk), и есть ли в loss negative / non-binder / affinity labels. Если в постановке класса labels нет — ответ «нет», даже если кто-то доучивает голову в приложении. Fine-tune vs pretrain различается объектом (PDB identities, SAbDab, assay $y$), не маркетингом. Детали сплитов — в подразделах papers.

[PAPER]Trainable: decoder-only Transformer (ProGen, ProGen2, IgLM) или decoder поверх geometric encoder (IF). Target: next token. Loss: token cross-entropy / NLL (ProGen Eq. 1 — среднее по токенам примера). Negative examples — все неправильные токены softmax, не docking decoys. Regularization: ProGen2 weight decay 0.1, grad clip 0.8–1.0; ProGen lysozyme FT dropout 0.1, clip 0.25. [PAPER]

ProGen: 36 слоёв, 8 голов, d=1028, f=512, 1.2B параметров; init from CTRL English LM; Adagrad, warmup 40k до 1e−2, batch 2048, 1e6 итераций, 256 TPU v3 cores, ~2 недели. [PAPER Methods]

[PAPER]ProGen2: 151M–6.4B (Table 1: small 12L/16H, medium+base 27L 764M, large 32L 2.7B, xlarge 32L 6.4B); causal decoder, RoPE; parallel attn+MLP $x\leftarrow x+\mathrm{attn}(\mathrm{ln}(x))+\mathrm{mlp}(\mathrm{ln}(x))$; Adam, cosine LR. Fine-tune: ≤2 эпохи, LR/5, Adam moments reset. [PAPER]

IgLM: 4 слоя / d=512 / 8 голов / FFN 2048 / 12 889 600 параметров; IgLM-S: 3 слоя / 192 / 6 голов / FFN 768 / 1 439 616. Batch 512 × 2 accum, ~3 дня на 4×A100, DeepSpeed. [PAPER Table 1 + STAR]

IgLM code log_likelihood: mean CE на shift_logits после eval_start (индекс SEP для infill, иначе с позиции 1), return $-nll$. [CODE iglm/model/IgLM.py]

8. Прямой проход и information flow

Общее для класса

Прямой проход класса: токены (± mask/шум) → сеть → новые токены / logits. Геометрия, pack, AF, docking — чужие блоки. Чужие блоки (pack, AlphaFold, docking, ELISA) нельзя прятать внутрь «одной сети». Схема ниже, если есть, — оригинал по прочитанным источникам, не копипаст figure. Затем — где у tools generator, а где evaluator.

[CODE]IgLM infill [CODE]: mask_span → prefix [chain, species]+masked seq+[SEP] → generate until CLS → iglm_to_infilled (вставить tokens между SEP и CLS на место MASK). Full-length: generate from tags, validate MASK < SEP < CLS, затем reorder.

9. Training procedure

Общее для класса

У класса нет единого корпуса. Типичные данные: sequence corpora (UniRef, OAS, antibody subsets) — не «все PDB» автоматически. Split и leakage — свойства датасета реализации. Не выводить split из README. Не смешивать in silico designability с prospective wet-lab. Ниже каждый paper описывает свой корпус; нет цифры = NR.

[PAPER]ProGen: 280M train (из >281M annotated); >19k Pfam families; UniParc/UniProtKB/Pfam/NCBI taxonomy; keyword tags ~1100, taxonomic ~100k; SwissProt tags семплируются чаще; OOD-test 100k / ID-test 1M. Fine-tune lysozyme: 55 948 unaligned sequences, 5 семейств без дисульфидов (PF00959, PF16754, PF01832, PF05838, PF06737); cluster 80% ID, 10% clusters held-out; 4 epochs Adam 1e−4, batch 2. [PAPER]

ProGen2: Uniref90 + BFD30 (и BFD90 variant); ProGen2-OAS: OAS unpaired, Linclust 85% ID, cov-mode 1 → 554M. Sequences as-is and flipped. Perplexity held-out падает с масштабом (xlarge test-max90 ppl 9.9 vs small 12.9); zero-shot fitness на narrow DMS — нет (пик ProGen2-base 764M, avg ρ 0.505). [PAPER Tables 1–3]

[PAPER]IgLM: OAS unpaired VH/VL, 6 видов. После фильтра ошибок 809M unique → LinClust 95% → 588M non-redundant; 5% test (~30M в Figure 1D); 558M train + 1M val. Mask length m~Uniform{10..20}, start j uniform. Human heavy ~70%. N-terminal OAS truncations: >50% missing first ≥15 residues (ProGen2 OAS discussion; IgLM использует 3-residue prompts, Table S2 NR as file). [PAPER]

[PAPER]Leakage: antibody cluster split не гарантирует отсутствие близких germlines в train vs test; IgLM авторы это признают (conserved germline regions must stay in train). [PAPER]

10. Inference and generation

Общее для класса

Общий inference класса: «Sequential decoding; runtime линейно зависит от длины». Старт — маска, полностью случайная sequence или prefix. Pack / relax / AF / likelihood rerank помечаются как evaluator, не generator. Чего в классе нет (beam, recycle, assay-in-the-loop), пока tool явно не добавляет, — тоже общее свойство. Число шагов $T$, temperature, $k$ — tool-specific, если не оговорено.

[CODE]Старт: tags/prefix/EOS-prompt (ProGen2-OAS: EVQ для human VH; IgLM — chain+species ± 3-mer). Шаги: $O(n)$ sequential. Stopping: EOS / ANS(CLS) / max_length. IgLM code: HuggingFace generate, max_length=150, do_sample=True, eos/forced_eos=cls_token, top_p default 1, temperature default 1, duplicates через set, validate MASK/SEP/CLS order. [CODE]

[PAPER]Ranking отделён от sampling. ProGen lysozyme: 1M samples → adversarial discriminator (3× TAPE-BERT, geometric mean) + per-token log-likelihood Eq. 2 → 100 sequences spanning maxID 40–90%, pairwise ID cap 80%. Это post-hoc filter, не часть AR loss. [PAPER]

Отделить: (i) AR decode; (ii) discriminator / NLL rank; (iii) внешний IgFold/AF/trRosetta; (iv) CamSol/SAP/OASis; (v) ELISA / enzymatic assay. Likelihood ≠ Kd и ≠ kcat.

Различия между статьёй и реализацией (IgLM)

[CODE] vs [PAPER] STAR

Item	Paper	Code @de819b5	Consequence
End-of-span token	[ANS] in Eq. 1	tokenizer.cls_token as eos_token_id / forced_eos	та же роль, другое имя в HF API
max length	Fv-scale; exact cap NR in STAR	hardcoded max_length=150	не IgG; длинные CDR3 могут упираться в cap
Default T, P	library grid T/P reported in results	generate() defaults top_p=1, temperature=1	CLI defaults ≠ therapeutic-library grid
Tokenizer	GPT-2-style decoder	BertTokenizerFast + GPT2LMHeadModel	смешанный HF stack; vocab split AA vs tags
log_likelihood range	infill PPL after SEP	eval_start = SEP index or 1	full-chain NLL не считает chain token (index 0)

11. Conditioning

Общее для класса

Что класс умеет зажимать по постановке: «Prefix, encoder–decoder, or feature concatenation». mask / framework / motif tokens — не hotspot Cα, пока 3D не подают. Contig, mask, motif, hotspot и library — разные объекты. Ниже papers перечисляют свой conditioner без переноса с соседа.

Prefix tokens: ProGen control tags (family, GO, taxonomy) или sequence-only; IgLM chain+species; optional AA prompt. ILM: MASK позиция задаёт где infill; длина span при inference не обязана равняться train Unif{10..20} — модель семплирует до ANS. IF: backbone encoder, optional antigen coords (AntiFold), tied residues (MPNN).

[PAPER]Нет нативного epitope tensor у ProGen/IgLM. PALM-H3 заявляет antigen-conditioned AR decoder — проверить на странице инструмента, не обобщать на класс. ProGen2 zero-shot antibody Kd: «corresponding antigen is not provided to the model for likelihood calculation». [PAPER]

12. Вычислительная сложность

Общее для класса

Драйверы стоимости класса: «Длина L; Beam/sample count». Сравнение «дешевле diffusion» допустимо только если paper дал NFE/steps; иначе это INTERPRETATION или молчание. GPU hours / wall-clock без источника — NR. Цифры одной кампании не становятся сложностью всего класса.

Обучение: Transformer $O(n^2)$ на токен-окно (ProGen 512; ProGen2 1024 / 2048 для base). Decode: $n$ последовательных шагов; полный parallel decode невозможен без speculative decoding. IgLM max_length=150 ограничивает Fv. Library wall-clock доминирует samples × $n$ (IgLM: 9000 infills × 49 mAbs; часть T/P не набрала 1000 unique за 10k attempts). Параметр count ≠ latency: IgLM 13M vs ProGen2 6.4B. ProteinMPNN decode линейно по residues на CPU (авторы: ~0.6 s / 100 residues — LigandMPNN paper comparison; не переносить как benchmark этой страницы без повторного замера).

13. Преимущества

Общее для класса

Преимущества должны следовать из механизма класса (цикл с малым бюджетом, локальный граф, joint prior…), не из маркетинга. Seed-список: «Простая likelihood; Хорошо изученный sampling». Любое количественное число ниже обязано иметь PAPER/SI locator и не обобщается с одного белка на класс. Это не гарантия стабильности, аффинности или экспрессии.

Это не гарантия foldability, expression или binding. Equivariance здесь не при чём для sequence-only AR.

Нормализованный likelihood и ancestral sampling из одной факторизации — можно и генерировать, и rank'ать naturalness.
Control tags / species tokens сужают семейство без 3D: ProGen задаёт Pfam, IgLM — chain и species без HMM-prompting на всю FW1.
ILM даёт переменную длину CDR при фиксированном framework-контексте, чего нет у чистого N→C ProGen2-OAS (IgLM vs ProGen2-OAS CDR-H3 benchmark). [PAPER]
Order-agnostic AR (ProteinMPNN) позволяет фиксировать произвольный subset residues — binder design, symmetry tying. [PAPER]
Scale ProGen2 снижает perplexity held-out natural sequences. [PAPER Table 2]

14. Ограничения

Общее для класса

Ограничения класса по осям: математика представления, физика/химия, bias данных, обобщение, deployment. Seed-список: «Exposure bias; Ошибки ранних токенов каскадируют». Не дублировать преимущества с обратным знаком без новой информации. Ниже papers добавляют конкретные дыры (SI, split, gated weights).

Математика: exposure bias (train teacher forcing vs sampled prefix); нет principled correction внутри softmax.
Представление: 1D tokens; нет clashes, канонических CDR кластеров, VH–VL pairing (IgLM).
Физика/химия: нет растворителя, протонирования, гликанов, Fc, явной $\Delta G$.
Данные: OAS truncation и species skew; metagenomic vs UniRef меняет alignment $p_0$ vs fitness (ProGen2).
Обобщение: ProGen авторы не ждут нового fold / unnatural reaction от sequence-only LM. [PAPER discussion]
Deployment: IgLM JHU Academic license, commercial license required; sequential GPU decode; ProGen2 checkpoints BSD-3 на salesforce/progen.

15. Failure modes

Общее для класса

Типичные ошибки пользователя и модели для этого класса: слишком большой mask, temperature $\to 0$, NLL/AAR как affinity. Seed-список: «Mode collapse при низкой температуре; Несогласованность дальних contacts». Это не общие «может не сработать». Дальше — как эти режимы проявлялись в конкретных работах каталога.

Низкая T → germline copy (IgLM T=0.6 для human/mouse/rhesus). [PAPER]
Высокая T → несворачиваемые seq; падение pLDDT внешних предикторов — авторы трактуют как diversity, не affinity. [PAPER]
N-terminal deletions, зеркалящие OAS; без prompt модель копирует truncated distribution. [PAPER ProGen2 + IgLM]
Ранний неверный CDR residue каскадом портит петлю (стандартный AR; [INTERPRETATION]).
Mode collapse к частым V-генам при restrictive nucleus.
Zero-shot NLL как «лучший binder»: ProGen2-OAS binding avg $\rho=0.37$ хуже universal small $0.44$; antigen не в likelihood. [PAPER Table 5]
Большая модель лучше perplexity, но хуже average narrow-landscape fitness (пик 764M base). [PAPER]; это про $p_0\neq p^\infty$, не про «overfitting в обычном смысле».
ProGen twilight-zone D4 (31.4% ID): kcat/KM 20.2 M⁻¹s⁻¹, ~200× ниже HEWL — function ≠ native-like catalysis. [PAPER]

16. Реализации в инструментах

Общее для класса

Реализации класса в каталоге определяются reverse index architecture_id, а не похожестью названия. Колонки таблицы: generic architecture vs tool-specific. Непрочитанный tool — строка с NR, без выдуманных уравнений. Foundational methods вне карточек tools можно указать явно. Неравные кампании не ставят в одну колонку «успех». Список ссылок на tools повторяется служебным блоком после нумерованных разделов.

Tool	Generic architecture	Tool-specific implementation	Important difference
<a href="../tools/progen.html">ProGen</a>	causal decoder LM + control tags	1.2B, 36L×8H, d=1028, f=512, CTRL init, reverse-seq train, lysozyme FT 4 epochs	prospective enzyme assays + crystal L056 PDB 7RGR; не antibody
ProGen2 (тот же catalog id)	causal decoder + RoPE + parallel attn/MLP	151M–6.4B; OAS 764M variant; Uniref90+BFD30	zero-shot fitness ≠ generation quality; largest ≠ best narrow DMS
<a href="../tools/iglm.html">IgLM</a>	causal decoder + ILM shuffle	GPT2LMHeadModel 12 889 600 params, OAS 558M train	нет wet-lab; VH/VL unpaired; developability in silico
<a href="../tools/proteinmpnn.html">ProteinMPNN</a>	AR decode given backbone	random decode order at train; tied positions	геометрия фиксирована; sequence stage inside RFantibody
<a href="../tools/esm-if1.html">ESM-IF1</a> / <a href="../tools/antifold.html">AntiFold</a>	AR Transformer decoder + GVP	N-to-C / H+L concat + gaps	см. inverse folding; не sequence-only PLM
<a href="../tools/palm-h3.html">PALM-H3</a>	claimed antigen encoder + AR decoder	CDR-H3; A2binder ranker	methods NR this run; ranker ≠ generator
<a href="../tools/hudiff.html">HuDiff</a>	catalog lists AR among architecture ids	NR this run	не заполнять GPT уравнением без paper/code

17. Где применимо и где не применимо

Общее для класса

Класс уместен для задач: general-protein-sequence-generation; inverse-folding; cdr-sequence-generation. Не уместен: de-novo-backbone-generation. Ссылки на workflows имеют смысл, только если стадия реально вызывает этот класс как generator/scorer, а не как соседний модуль. Чем пользоваться вместо запрещённой задачи — соседний architecture / workflow, не «тот же GNN». Ниже — разбор papers и явные запреты, затем служебные списки каталога.

Применимо: ideation sequences, family-conditioned libraries, CDR span redesign без структуры, scoring naturalness. Workflow: sequence-first de novo, antibody infilling.

Не применимо как замена epitope-conditioned structure design (RFantibody), few-shot AL с вашим ELISA (EVOLVEpro), docking или backbone invention. Не сравнивать lysozyme kcat/KM ProGen с IgLM CamSol или с AntiFold AAR: разные generated objects и evidence classes.

18. Методологические источники

Общее для класса

Этот раздел — какие работы определяют класс и какие карточки papers каталога к нему привязаны, что прочитано vs pointer-only. Идентификаторы каталога: paper-progen; paper-proteinmpnn; paper-iglm. Это не библиография «всего по теме». Таблица происхождения источников, paywall и статус сверки вынесены в конец страницы, чтобы не заслонять определение класса.

Инструменты, использующие подход

HuDiff, IgLM, PALM-H3, ProGen / ProGen2

Где применимо

Генерация белковых sequences, Fixed-backbone inverse folding, Генерация CDR sequence

Где не стоит использовать

De novo генерация backbone

Papers каталога

Large language models generate functional protein sequences across diverse families, Robust deep learning-based protein sequence design using ProteinMPNN, IgLM: Infilling language modeling for antibody sequence design

Статус сверки источников

verified Последняя сверка источников: 2026-08-20. Текст перенесён из content/research (block YAML). Provenance-метки в абзацах сохранены, если они были в исходнике.

Недоступные или неполные источники

Источник	Почему недоступен	Что использовано вместо
ProGen Nature Biotechnology SI PDF не разбирался постранично; methods, Eq. 1–2, d=1028/f=512, lysozyme campaign и crystal L056 сверены с PMC HTML 10.1038/s41587-022-01618-2 (PMC10400306).
IgLM Table S1 (counts по species/chain) и Table S2 (prompt motifs) не извлечены как отдельные файлы; гиперпараметры — Table 1 main text; 70% human heavy — STAR Methods.
ProteinMPNN official repo в этом проходе не аудировался по commit; random/order-agnostic decode — [PAPER] Dauparas et al. Science 2022.
PALM-H3 и HuDiff: AR-декодер заявлен карточками каталога; primary methods в этом запуске не перечитаны — NR на уровне тензоров.

Постановка	Факторизация	Контекст токена	Generated object	Типичный инструмент
Causal AR LM	\(\prod p(x_i\mid x_{<i},c)\)	только слева (или после ILM-shuffle)	sequence	<a href="../tools/progen.html">ProGen2</a>, <a href="../tools/iglm.html">IgLM</a>
Masked LM	\(p(s_i\mid s_{\setminus i})\)	оба фланга, нет обязательного порядка	logits / optional iterative fill	ESM-1v, AntiBERTy (IgLM baseline, не этот класс)
ILM rearrangement	всё ещё causal AR	двусторонний контекст петли на ленте	variable-length span	IgLM
Inverse folding AR	AR decode given backbone	structure encoder + partial sequence	sequence, backbone fixed	ProteinMPNN, ESM-IF1, AntiFold
Frame / seq-structure diffusion	нет next-token product как генератор	шум по координатам/типам	backbone или joint state	RFdiffusion, DiffAb
AR structure generation	next frame/fragment	частичный backbone	координаты/frames	<a href="../architectures/autoregressive-structure-generation.html">отдельная страница</a>