Masked-token infilling

Заполнение masked-токенов. Established English term: Masked-token infilling.

1. Область определения

[INTERPRETATION]Роль в пайплайне — generator дискретных amino-acid tokens на множестве маскированных позиций $M$. При scoring-only использовании тех же logits (likelihood span) модель становится evaluator, не generator. Это не sequential assay loop и не geometric inductive bias.

[PAPER]Generated state — заполненные идентичности $s_i$, $i\in M$. Observed state — $s_{\setminus M}$ плюс optional tags/tracks. Координаты и frames не обязательны: IgLM и EvoDiff-Seq — sequence-only; ESM3 может infill и structure tokens — пересечение с joint sequence–structure generation, не определение класса. IgLM unpaired sequence; Alamdari inpainting sequence; Hayes tracks

[MATRIX]Задачи каталога: CDR sequence generation (IgLM), general protein sequence generation и motif scaffolding через sequence clamp (EvoDiff), joint sequence–structure для ESM3 unmask. Workflows: antibody sequence infilling, sequence-first de novo, joint multimodal.

[INTERPRETATION]Это не autoregressive generation как left-to-right без маски: ProGen пишет цепь с префикса. IgLM infill использует AR, но только после ILM-перестановки span — это подтип infill, не «просто GPT».

[INTERPRETATION]Это не protein language models целиком: PLM — семейство ролей (AR, MLM, frozen $E$, $\Delta\ell$). Infilling — *режим* генерации masked span. Это не zero-shot mutation scoring: Meier $\Delta\ell$ ранжирует 19 замен без семплирования библиотеки de novo.

[PAPER]Это не sequence diffusion в смысле EvoDiff-D3PM (mutation transition matrix, $T=500$, uniform/BLOSUM): там нет absorbing [MASK] как канон infill. Канон infill у EvoDiff — OADM. D3PM оставлять на странице sequence-diffusion. Alamdari Methods: D3PM only for discrete corruption; OADM for masking

[INTERPRETATION]Это не inverse folding: $p(s\mid x)$ при зажатом backbone. AntiFold masked regions = IF logits, не UniRef MLM и нет этого architecture_id.

[MATRIX]Catalog tools с architecture_id: masked-token-infilling: IgLM, ESM3, EvoDiff. Часто путают с ProGen (AR без ILM), ESM-1v efficient evolution (scoring), ProteinMPNN/AntiFold (IF), HuDiff (sequence diffusion, другой id).

2. Интуитивный принцип

[INTERPRETATION]Часть последовательности скрыта. Модель видит фланги (и, у ESM3, другие tracks) и восстанавливает пропуски. При inference меняются только токены в $M$ (или итеративно shrinking mask); контекст зажат. Если $|M|\to L$, infill вырождается в почти unconditional generation — это тот же класс, другой режим.

[PAPER]Три несовместимых механизма. (i) IgLM: span вырезается, клеится в конец после [SEP], GPT-2 пишет span слева направо — двусторонний контекст флангов, но causal decoder. (ii) ESM3: bidirectional transformer, variable-rate mask, iterative unmask any order. (iii) EvoDiff-OADM: по одному [MASK] за forward-шаг до $T=L$, reverse — order-agnostic unmask. Не сводить к одному BERT-softmax. IgLM STAR ILM; Hayes generative MLM; Alamdari Fig. 1B OADM

[PAPER]Главный рычаг IgLM: species/chain tags + длина/позиция span (train $m\sim\mathrm{Unif}\{10,\ldots,20\}$). PAPER. Temperature $T$ и nucleus $P$ — entropy sampler, не $kT$ термодинамики (CODE defaults $T=1$, $P=1$). IgLM STAR mask length; CODE generate temperature/top_p

[PAPER]Рычаг ESM3: mask schedule по всем rates (не 15% BERT) и prompt tracks (sequence/structure/function). PAPER Appendix A.2.2 mix. Не ELISA labels. Hayes all masking rates; A.2.2 β(3,9)+uniform

[PAPER]Рычаг EvoDiff infill: clamp observed subsequence, decode remainder (OADM any order). Тот же checkpoint для unconditional и conditional — PAPER, без finetune на scaffolding (в отличие от RFdiffusion scaffolding finetune, сравнение авторов). Alamdari: same models unconditional and conditional; vs RFdiffusion finetuned

[PAPER]Предостережение по метрикам этого класса. Infilling PPL, OASis, CamSol, AF/OmegaFold pLDDT, scPerplexity, motifRMSD, FPD, DR-BERT disorder не experimental affinity / $K_d$ / ELISA / BLI. IgLM: in silico developability на 49 therapeutics, authors «could then be experimentally screened». ESM3 pTM/cRMSD preference — structure metrics. EvoDiff scPerplexity = ESM-IF PPL к generated sequence — evaluator IF, не generator. IgLM Discussion screening; Alamdari Fig. 2A scPerplexity = ESM-IF

[PAPER]$\Delta\mathrm{LL}$ / masked logits на одной позиции — канон zero-shot scoring, не infill library. $\Delta\mathrm{LL}\neq\Delta\Delta G$. Не ранжировать CDR-H3 IgLM по Meier Eq. 1 как «аффинность». Meier Eq. 1; extra_constraints

[PAPER]EvoDiff BLI $K_D$ к MDM2 (ниже) — experiment одной scaffolding-кампании preprint, не выход $\phi$ и не свойство IgLM/ESM3. Alamdari MDM2 BLI paragraph

3. Формальная математическая постановка

[INTERPRETATION]Сначала родовое условие infill $p(s_M\mid s_{\setminus M},c)$. Затем подтипы: ILM-AR (IgLM); generative MLM (ESM3); OADM (EvoDiff-Seq/MSA). Не одна формула BERT-softmax на все три. Не подставлять seed one-liner как уравнение инструмента.

[INTERPRETATION]Формулы, которые не являются уравнениями default-инструмента этого класса: Ho VP-DDPM xyz; Lipman CFM; UCB; FAPE; Meier $\Delta\ell$ как train target; ProteinMPNN $p(s\mid x)$; EvoDiff-D3PM $Q$-matrix (канон — sequence-diffusion); ProGen next-token без ILM permute.

[INTERPRETATION]Не сравнивать IgLM infill PPL на OAS, ESM3 esmGFP identity и EvoDiff MDM2 $K_D$ как один benchmark: generated object, oracle и split разные.

[PAPER]Alamdari: MLM train task = один шаг OADM; LRAR = фиксированный decode order. Это PAPER-интерпретация связи классов, не лицензия копировать BERT 15% как EvoDiff loss. Alamdari Discussion OADM generalizes LRAR and MLM

Подтип A — ILM span + causal decode (IgLM; не BERT)

[PAPER]Donahue-style: span $S$ заменяется [MASK]; исходная лента + [SEP] + $S$ + [ANS]. Train: $m\sim\mathrm{Unif}\{10,\ldots,20\}$, старт $j$ uniform. Tags $c_c,c_s$ prepend. Tool-specific IgLM. IgLM STAR Methods ILM; Table 1 params

Подтип B — generative MLM, iterative unmask (ESM3; не 15% BERT)

[PAPER]Supervision across all masking rates; any-order factorization; tracks fused (sequence, structure tokens, function). Geometric attention в первом блоке. Канон совместных tracks — joint-страница; здесь — infill как unmask $m$. Hayes after Fig. 1; geometric attn block 1

Подтип C — OADM absorbing mask (EvoDiff-Seq/MSA infill; не D3PM $Q$)

[PAPER]Forward: на каждом шаге один remaining AA → special mask token; после $T=L$ вся последовательность замаскирована. Reverse: сеть undoes corruption; timestep OADM implicit в числе масок (нет sinusoidal t, в отличие от D3PM). Infill: не маскировать зажатый motif/фланги, декодировать remainder. Architecture: ByteNet CNN 38M / 640M (Seq); MSA Transformer ~100M. CODE NR. Alamdari Fig. 1B; Methods OADM; T=L; implicit timestep

4. Представление данных

[PAPER]Узлы: позиции токенов. Рёбра: self-attention (IgLM GPT-2, ESM3 transformer) или dilated conv ByteNet (EvoDiff-Seq). Pair geometry не обязательна. ESM3 geometric attention block 1 — structure track, не DiffAb pair IPA. IgLM GPT-2; Alamdari ByteNet/CARP; Hayes geometric attn

[CODE]IgLM tokens: BertTokenizerFast / vocab.txt (AA + specials). Chain [HEAVY]/[LIGHT], species token. CODE max_length=150 в generate() — tool-specific, может обрезать длинный CDR3. Mask span — полуинтервал [start,end) в infill. IgLM.py infill/generate; max_length=150

[PAPER]IgLM train mask: $m\sim\mathrm{Unif}\{10,\ldots,20\}$ residues, не BERT 15%. Нет time embedding. Conditioner = tags, не contig file RFdiffusion. STAR ILM length

[PAPER]ESM3: multimodal tokens (AA, VQ structure, function keywords); BOS/EOS; crop/length NR сверх PLM-страницы (не выдумывать hidden width). Mask rate variable. Structure tokens — local atomic neighborhoods, не PDB numbering как вход сети (PDB — препроцессинг токенизатора, CODE NR). Hayes Fig. 1 tracks

[PAPER]EvoDiff-Seq: UniRef50 sequences, max length 2048 at sample (Methods). OADM: timestep = count of masks. D3PM: 1D sinusoidal $t$ — не infill-канон. MSA models: depth 64, length 512, pad; Rand vs MaxHamming subsample. GAP tokens в MSA. Methods modeling; MSA 64×512; sample length ≤2048

[PAPER]Внешние файлы vs сеть: OAS/UniRef dumps, Chothia CDR bounds для IgLM paper libraries — препроцессинг. Motif scaffolding EvoDiff: motif AA identities as clamp, не 3D coords в conditioner (только sequence motif). Library CSV DMS — нет как вход generator. Alamdari motif: sequence conditioning only

[PAPER]Аугментации токенов: IgLM ILM permutation (не splicing). EvoDiff MSA Rand/Max subsample. ESM3 mask-rate sampling. 3D rotation неприменима к IgLM/EvoDiff-Seq. IgLM ILM; Alamdari MSA Rand/Max

[PAPER]Размерности hidden: IgLM $d=512$, 4 layers, 8 heads, FFN 2048, 12 889 600 params; IgLM-S $d=192$, 3 layers — PAPER Table 1. EvoDiff Seq 38M ($d=1020$, 16 layers) и 640M ($d=1280$, 56 layers, encoder hidden $d$) — Methods. ESM3 1.4/7/98B — PAPER; layer widths Science SI — NR. IgLM Table 1; Alamdari Methods 38M/640M; Hayes 1.4/7/98B

[INTERPRETATION]AntiFold region masks — IF graph features, не этот data-repr. Не копировать.

5. Физическое представление

[INTERPRETATION]Математический $s_i$ ↔ однобуквенный код аминокислоты (IgLM unpaired VH/VL; EvoDiff любое UniRef; ESM3 + structure/function tokens). Assay $y$ (BLI $K_D$, CD, microscopy) не координата state.

[INTERPRETATION]SE(3): не применимо к IgLM и EvoDiff-Seq (нет coords в generator). ESM3 structure track — discrete tokens / geometric attention; не FrameDiff IGSO(3). Global rotation не определена для sequence-only.

[PAPER]Перестановка residues в биологическом порядке ломает смысл, кроме явного ILM (IgLM) и OADM random unmask order (EvoDiff) — это train-time/decode order, не эволюция. Concat VH||VL: IgLM генерирует цепи независимо; paired Fv не один infill. IgLM unpaired OAS

[INTERPRETATION]Side chains: отсутствуют в state IgLM/EvoDiff-Seq. ESM3 может эмитить structure tokens; pack/AF — predictor, не infiller.

[PAPER]Промежуточный masked token / ILM tape / OADM $x_t$ ≠ траектория фолдинга и ≠ энергия. OmegaFold/AF pLDDT на generated sequence — внешний predictor. Alamdari Fig. 2A OmegaFold; IgLM AF-Multimer paper-only

[PAPER]Antigen coords / epitope tensor: нет у IgLM и EvoDiff infill. ESM3 function keywords ≠ ELISA epitope. EvoDiff motif clamp — residue identities мотива, не hotspot 3D RFantibody. IgLM no antigen; Alamdari no binder coords at inference

[PAPER]MSA у EvoDiff-MSA — evolutionary context (OpenFold alignments), не experimental $y$. Subsample 64 может не покрыть мелкие семьи (авторы: 1YCR/3IXT MSA <64 — out of train support). Alamdari 1YCR, 3IXT fewer than 64 sequences

[PAPER]Ghost/GAP: EvoDiff MSA pad <GAP>; IgLM нет AHo ghosts (переменная длина span). Alamdari MSA pad

6. Физико-химический смысл

[INTERPRETATION]Нет energy head. Запрещено писать, что infiller «считает $\Delta G$». Likelihood / PPL — статистика корпуса, не термодинамика.

7. Что обучается

[CODE]Параметры $\theta$ infiller. Frozen affinity surrogate нет. IgLM: весь GPT-2 GPT2LMHeadModel обучается; released checkpoints frozen at inference. CODE log_likelihood — тот же $\theta$, роль evaluator. IgLM.py; log_likelihood returns -NLL

[PAPER]IgLM loss: стандартный AR NLL на ILM-перестроенной последовательности (включая span). Negative / non-binder / contrastive / affinity labels нет. STAR training objective CE

[PAPER]ESM3: generative MLM CE на masked multimodal tokens; alignment preference pairs по pTM/cRMSD (не ELISA). Fine-tune vs pretrain details Science SI — NR this pass beyond bioRxiv scale numbers. Hayes generative MLM; preference pTM/cRMSD

[PAPER]EvoDiff-OADM: CE undo-mask; timestep implicit. D3PM hybrid $\mathcal{L}_{vb}+\lambda\mathcal{L}_{ce}$ с $\lambda=0$, $T=500$ — не infill default. Negative binders в loss нет. Methods D3PM λ=0 T=500; OADM section

[PAPER]Pretrain корпуса: IgLM OAS unpaired (не SAbDab structures). EvoDiff UniRef50 42M (Seq) / OpenFold MSAs 372 296 train (MSA). ESM3 3.15B sequences / 236M structures / 539M function / 771B tokens (bioRxiv). Не один split. IgLM STAR dataset; Alamdari 42M UniRef50; 372296 train MSAs; Hayes token counts

[PAPER]Fine-tune IgLM на antigen нет. EvoDiff scaffolding без finetune (same weights). Не путать с RFdiffusion motif finetune. Alamdari same model unconditional/conditional

[INTERPRETATION]Teacher forcing: IgLM AR на ILM tape — да. ESM3/OADM — mask reconstruction, не left-to-right TF в биологическом порядке. Self-conditioning — NR в прочитанных methods.

[PAPER]ESM-1v ensemble 5 seeds — scoring class, не infill $\theta$. Meier 5-seed; not this architecture_id

[PAPER]microsoft/evodiff optimizer line-by-line — NR (Adam 1e-4, warmup 16k Seq / 15k MSA — PAPER Methods, не CODE locator). Methods Adam 1e-4

8. Прямой проход и information flow

[CODE]IgLM infill: tags + parent → replace span [MASK] → append span after [SEP] at train; at sample write tokens until [ANS] → пересборка full-length (ILM markers снимаются). Geometry не появляется. AF-Multimer / OASis — paper post-hoc evaluator. IgLM.infill; STAR full-length reassembly

[PAPER]ESM3: prompt tracks → geometric attn block 1 → transformer → iterative unmask → optional structure decoder. Sequence vs structure vs score: tokens сначала; pTM — internal confidence evaluator, не Kd. GFP spectra — experiment (Hayes), не logit. Hayes Fig. 1A iterative sampling; Fig. 4 GFP

[PAPER]EvoDiff infill: observed tokens clamped; remainder [MASK]; ByteNet/MSA transformer predicts; unmask one (OADM) until $M=\emptyset$. Не прятать OmegaFold, ESM-IF scPerplexity, DR-BERT, MitoFates, BLI внутрь CNN. Alamdari inpainting; Fig. 2A evaluators

[PAPER]Не прятать ProteinMPNN внутрь EvoDiff: scPerplexity вызывает ESM-IF как внешний IF. MotifRMSD — после OmegaFold, predictor. Fig. 2A ESM-IF; motif success pLDDT and motifRMSD

[PAPER]IgLM generate full-chain: всё ещё ILM-trained GPT-2, не BERT fill. Prompt 3 N-terminal residues из-за >40% OAS truncations (Table S2 exact motifs NR). Full-length generation; N-terminal truncation

[PAPER]EvoDiff-D3PM reverse from uniform AA — не infill forward pass этой страницы. Methods sampling x_T uniform amino acids

[CODE]Likelihood rerank (log_likelihood) — evaluator. Clash filter / pack — нет в классе как канон. IgLM.log_likelihood

NRBiohub/esm unmask implementation — CODE NR; не утверждать число steps.

flowchart TD
  CTX["Observed tokens s without M plus tags/tracks/MSA"] --> MASK["Build mask M: ILM span or [MASK] remainder"]
  MASK --> INF["Infiller θ"]
  INF --> ILM["IgLM: permute span, GPT-2 AR until ANS — generator"]
  INF --> MLM["ESM3: bidirectional unmask iterate — generator"]
  INF --> OAD["EvoDiff-OADM: unmask one site per step — generator"]
  ILM --> SEQ["Filled sequence"]
  MLM --> SEQ
  OAD --> SEQ
  SEQ --> LL["Model PPL / log_likelihood — evaluator"]
  SEQ --> STR["AF / OmegaFold / ESM-IF — predictor"]
  STR --> DEV["OASis / DR-BERT / pLDDT — evaluator"]
  SEQ --> ASSAY["Optional CD / microscopy / BLI — experiment"]
  subgraph gen ["Generator"]
    INF
    ILM
    MLM
    OAD
  end
  subgraph ev ["Evaluator / predictor"]
    LL
    STR
    DEV
  end
  subgraph ex ["Experiment"]
    ASSAY
  end

9. Training procedure

[INTERPRETATION]Единого split класса нет. Не выводить EvoDiff split из README. Не смешивать OAS cluster split с UniRef50.

[PAPER]IgLM: OAS unpaired; после фильтра ошибок 809M unique → LinClust 95% → 588M. Random 5% test; 558M train, 1M val. Skew: human heavy ~70%. Split не germline-holdout: conserved regions остаются в train (авторы явно). N-terminal truncation >40% OAS. STAR Antibody sequence dataset

[PAPER]IgLM compute: batch 512, 2 grad accum, DeepSpeed, ~3 days × 4×A100 — PAPER. Не wall-clock ESM3. STAR training hardware

[PAPER]EvoDiff-Seq: 42M UniRef50, CARP ByteNet. 38M: 8×V100 32GB, ~2 weeks, ~700k steps; 640M: 32×V100, 23 days without convergence (OADM/D3PM-Uniform). MSA: 382 296 alignments → 372 296 train / 10 000 val; 16×V100 10 days, 55k steps. Test-set ppl protocol: sample t, corrupt, one forward — Methods; численные Table S1 NR. Methods training details; 42M; MSA split

[PAPER]Симуляция: IgLM infill PPL, ANARCI control, in silico aggregation. EvoDiff pLDDT/scPerplexity/FPD — in silico. Prospective: IgLM нет wet-lab в primary. EvoDiff: expression/CD; yeast Cox15 microscopy; Ca2+ spectroscopy; MDM2 BLI — preprint, не journal. IgLM no SPR; Alamdari wet-lab sections

NRESM3 train split / leakage vs GFP — bioRxiv details beyond token counts частично на PLM-странице; Science SI NR. Не выводить из HuggingFace README.

[PAPER]Leakage IgLM: CDR-H3 test mAbs vs OAS — не аудирован как structural homologs; authors keep conserved CDRs in train. STAR split rationale

[PAPER]Time-sampling: EvoDiff D3PM $t\sim U\{1,\ldots,T-1\}$; OADM implicit via mask count. IgLM no diffusion t. Methods D3PM t~U; OADM implicit

[INTERPRETATION]ESM-2 15% BERT — related MLM literature, не catalog tool этого id и не train IgLM.

10. Inference and generation

[PAPER]Старт IgLM infill: parent sequence + chain/species + [start,end). Старт ESM3: partial or fully masked tracks. Старт EvoDiff infill: context tokens + [MASK] on $M$; unconditional OADM: all-mask $x_T$, length from train length distribution (≤2048). IgLM infill API; Alamdari x_T all-mask; length distribution

[PAPER]IgLM sampler: temperature categorical + optional nucleus $P$. CODE defaults temperature=1, top_p=1, max_length=150, bad_words_ids, stop at [ANS] (eos=cls). Paper libraries: 49 Thera-SAbDab, CDR-H3 Chothia удалён, 1000 seq × $\{T\in 0.8,1.0,1.2\}\times\{P\in 0.5,0.75,1.0\}=9000$/parent. IgLM 49 mAbs 9000 variants; CODE generate defaults

[PAPER]ESM3: iterative unmask any order. Unconditional 98B example $T=0.7$ (Fig. S14 bioRxiv). Число unmask steps как закон Methods — NR (DOC README не цитировать). Hayes S14 T=0.7; steps NR as Methods

[PAPER]EvoDiff-OADM: unmask one remaining mask per step, $L$ steps if fully masked; infill — только $|M|$ steps. Нет beam как канон. D3PM sampling from uniform AA — другой режим. Fig. 1B reverse; inpainting decode remainder

[PAPER]Post-hoc evaluator/predictor, не generator: IgLM AF-Multimer pLDDT, OASis; EvoDiff OmegaFold pLDDT, ESM-IF scPerplexity, DR-BERT, MitoFates; ESM3 structure confidence. Pack/relax — нет в каноне. IgLM paper AF; Alamdari Fig. 2A / IDR pipeline

[PAPER]Чего нет: assay-in-the-loop; AF recycle в сети; classifier-free ELISA guidance. EvoDiff future-work guidance — D3PM, не реализованный infill default. Alamdari Discussion guidance fits D3PM

[PAPER]Argmax vs sample: IgLM paper uses temperature sampling for libraries, не greedy-only. EvoDiff scaffolding 100 samples/problem (in silico 17 motifs). Alamdari 100 samples scaffolding; IgLM T/P grid

NRmicrosoft/evodiff CLI flags — CODE NR.

11. Conditioning

[PAPER]Зажимается: unmasked tokens $s_{\setminus M}$. IgLM: species, chain type, span bounds. ESM3: any subset of tracks (sequence/structure/function keywords). EvoDiff: motif AA sequence; MSA minus query; IDR flanks. Не ELISA / measured_var / CATH как default tensor. IgLM tags; Hayes prompts; Alamdari Fig. 1D

[INTERPRETATION]Чего нет: antigen 3D / hotspot residue IDs RFantibody; epitope tensor PALM; library $\mathcal{X}$ EVOLVEpro. Не приписывать.

[PAPER]Classifier-free guidance: не в IgLM STAR. ESM3 CFG — NR без Methods locator this pass. EvoDiff infill = hard clamp, не CFG; guidance discussed as D3PM future. Alamdari Discussion guidance D3PM

[INTERPRETATION]Contig RFdiffusion нет. Masking = token [MASK] / ILM span, не geometric contig.

[PAPER]EvoDiff motif: только residue identities мотива; «without providing any explicit information about the binding target» (1PRW/p53 campaigns). Alamdari Ca2+ and MDM2 paragraph

[PAPER]IgLM не кондиционируется на paired partner chain. Independent VH/VL — failure of pairing, не баг sampler. unpaired OAS

[PAPER]MSA Max vs Rand — conditioner construction, не acquisition UCB. Methods MSA subsampling

[PAPER]Function keywords ESM3 ≠ SPR label. Taxonomy 98B (last 30k steps, PLM-страница) — организм, не affinity. Hayes function/taxonomy tracks (prior PLM read)

12. Вычислительная сложность

[INTERPRETATION]Драйверы: длина $L$; $|M|$ (infill steps); $O(L^2)$ attention (IgLM, ESM3) vs ByteNet conv (EvoDiff-Seq); MSA $64\times 512$; число samples; unmask iterations; assay latency не часть neural reverse.

[PAPER]IgLM 12.9M — маленький decoder; 9000 seq/parent paper grid. Wall-clock sampling — NR кроме train 3 days 4×A100. Table 1 12.9M; 9000 variants; 3 days train

[PAPER]EvoDiff 640M × $L$ OADM steps (unconditional) vs infill $|M|\ll L$. Не писать «дешевле diffusion structure» без NFE comparison в paper. Alamdari сравнивает success rates с RFdiffusion на 17 problems, не wall-clock GPU sampling. 17 motif problems; no NFE table in prose

[INTERPRETATION]ESM3 98B vs 1.4B — параметрный scale ≠ affinity. Unmask steps × $L^2$ — INTERPRETATION, steps NR.

[PAPER]Train GPU: EvoDiff 38M 8×V100; 640M 32×V100 23 days — PAPER. Не переносить на IgLM A100. Methods 8 vs 32 V100

NREvoDiff CODE throughput — NR.

13. Преимущества

[INTERPRETATION]Из постановки: локальный redesign не переписывает зажатый контекст; двусторонние фланги (ILM/MLM/OADM) доступны до завершения span — в отличие от left-to-right, который не видит C-terminus при генерации CDR-H3 середины.

[PAPER]IgLM Fig. 1D: bidirectional infill PPL лучше preceding-only и ProGen2-OAS на held-out OAS (качественно PAPER; точные числа фигур не таблица S). PPL ≠ function. Не обобщать на терапевтический mAb. Fig. 1D infill PPL

[PAPER]EvoDiff: один OADM умеет unconditional и inpaint без finetune. IDR inpaint — structure-based generators typically fail IDRs (авторский claim). 8/8 Cox15 designed N-terminal IDRs colocalize with native Cox15 in yeast (microscopy), vs ∆2-45 and N1 negatives. Fig. 5F–G all 8 EvoDiff-IDRCox15

[PAPER]EvoDiff in silico scaffolding: Seq 8/17 problems, MSA 13/17 с критерием pLDDT>70 и motifRMSD≤1 Å (prose). Это OmegaFold oracle, не wet-lab. Не сравнивать с IgLM 49 mAbs как один score. Alamdari 8 and 13 of 17 problems

[PAPER]EvoDiff MDM2: 24 designs screened BLI; 4 with $K_D<50$ nM on ≥2 replicates; strongest 25.9 nM and 40.2 nM (MSA-p53-Design-2/3); 8 designs some binding across 3 replicates. Одна p53/MDM2 кампания preprint. Не класс, не IgLM. BLI paragraph KD < 50 nM; 25.9 and 40.2 nM

[PAPER]ESM3 variable-rate MLM позволяет infill и nearly-unconditional из одного $\theta$. esmGFP 58% ID — bioRxiv campaign, не antibody. Hayes esmGFP 58% (prior PLM read)

[PAPER]Явно: infill naturalness не гарантия стабильности / аффинности / экспрессии. IgLM authors откладывают experimental screening. EvoDiff 25 nominated unconditional → 4 CD-positive; pLDDT poorly predicts expression (two successes pLDDT<85). IgLM Discussion; Alamdari 25 candidates 4 expressed; pLDDT caveat

[PAPER]1PRW: 13 nominated, 12 expressed, one Ca2+ spectroscopic shift — не 12 binders. 12 expressed; one spectroscopic shift

14. Ограничения

[PAPER]Математика: ILM ≠ BERT; независимый per-position softmax (наивный MLM decode) mismatch с generative task (Alamdari: unconditional MLM worse structural plausibility). OADM фиксирует AA после unmask — плохо для guidance (авторы → D3PM future). Table S3 MLM mismatch prose; Discussion OADM vs guidance

[CODE]Представление: нет 3D в IgLM/EvoDiff-Seq conditioner; ESM3 structure tokens ≠ crystal. Длинный mask ≈ unconditional. IgLM max_length=150. generate max_length=150

[INTERPRETATION]Физика/химия: нет electrostatics head. Idealized IF/pack отсутствует.

[PAPER]Данные/bias: OAS human-heavy, unpaired, truncations, rat tag failure. UniRef50. OpenFold MSA depth filter. Conserved CDRs в IgLM train. IgLM skew/rat; Alamdari MSA ≥64

[PAPER]Обобщение: IgLM не antigen-specific. EvoDiff motif success orthogonal to RFdiffusion (мало overlap high-success problems). Antibody CDR не калиброван в EvoDiff primary. almost no correlation EvoDiff vs RFdiffusion success

[MATRIX]Deployment: IgLM JHU non-commercial; ESM3 small non-commercial; EvoDiff MIT + Zenodo weights, preprint. Не therapeutic generator proven.

15. Failure modes

• Слишком большой $M$: infill → unconditional, теряется смысл «CDR redesign».
• IgLM без species/chain tags или неверный tag (rat failure PAPER Fig. 2C).
• Независимый VH и VL без pairing — workflow failure.
• Подмена метрики: PPL / OASis / pLDDT / ΔLL как Kd.
• AntiFold/MPNN region mask принят за UniRef MLM infill.
• EvoDiff-D3PM API для infill без OADM (mutation noise ≠ span mask).
• MSA <64 sequences на EvoDiff-MSA (1YCR/3IXT out of support).
• Temperature collapse IgLM низкий $T$ / nucleus — mode collapse библиотек.
• CDR3 длиннее max_length=150 — truncation CODE.
• Считать 12/13 1PRW expressed = 12 Ca2+ binders (только 1 shift).
• Перенос MDM2 nM на IgLM Thera-SAbDab libraries.
• ESM3 function prompt как ELISA supervision.

16. Реализации в инструментах

[MATRIX]Полный reverse index. Неравные oracles не в одной колонке «успех».

17. Где применимо и где не применимо

[MATRIX]Применимо для локального sequence redesign при известном контексте: antibody-sequence-infilling (IgLM); sequence-first exploration и motif sequence-clamp (EvoDiff, sequence-first-de-novo); multimodal completion (ESM3, joint-multimodal-generation). Задача cdr-sequence-generation.

[INTERPRETATION]Этим нельзя заменять: de novo backbone (frame diffusion); antigen-conditioned CDR co-design 3D (joint sequence–structure diffusion, DiffAb); few-shot ELISA (active learning); zero-shot 19-mutant ranking (ESM-1v); IF при готовом backbone (ProteinMPNN).

[MATRIX]Не использовать IgLM likelihood как specificity к антигену. Нужен antigen structure — не этот класс. antibody-sequence-infilling decision_criteria

[MATRIX]EvoDiff IDR/MDM2 evidence не делает инструмент antibody therapeutic generator. ESM3 не имеет primary antibody wet-lab в catalog card.

18. Методологические источники

[PAPER]Foundational: Donahue ILM (цитируется IgLM); Devlin BERT MLM (контраст, не IgLM); Hoogeboom OADM / Austin D3PM (цитируются Alamdari (24)(25)). Catalog: paper-iglm, paper-esm3, paper-evodiff.

[INTERPRETATION]Прочитано: IgLM Cell Systems + CODE de819b56; EvoDiff bioRxiv v2 HTML Methods+wet-lab prose; ESM3 bioRxiv (PLM-проход, Science не sync). Pointer-only: Science ESM3 SI; EvoDiff S-tables numbers; evodiff/esm commits; Hoogeboom PDF Eqs.

[INTERPRETATION]Не библиография всего masked LM: CARP, ESM-MSA как baselines EvoDiff — указаны в paper, не карточки этого id. Не блоги.

Инструменты, использующие подход

Где применимо

Где не стоит использовать

Papers каталога