Protein language models

Белковые языковые модели (PLM). Established English term: Protein language models.

1. Область определения

[INTERPRETATION]Роль в пайплайне зависит от головы, не от слова «PLM». (i) generator дискретных AA tokens (AR decode / iterative unmask). (ii) density model / infiller masked spans. (iii) feature extractor: frozen $E(s)$ для few-shot / active learning. (iv) scorer zero-shot $\Delta\ell$ — канон zero-shot mutation scoring. EVOLVEpro = (iii), не (i).

[PAPER]Generated/scored state — токены аминокислот $s\in\mathcal{A}^{L}$ и/или contextual embeddings $h_i$. Координаты, frames, torsions не входят в sequence-only PLM. ESM3 добавляет discrete structure/function tracks — это уже пересечение с joint sequence–structure generation, не «чистый» sequence LM. Hayes ESM3 Fig. 1 tracks; Lin ESM-2 sequence-only MLM

[MATRIX]Задачи каталога, которые класс реально закрывает: general protein sequence generation (ProGen, ESM3), CDR sequence generation (IgLM, PALM-H3), single-mutation proposal (ESM-1v efficient evolution), few-shot AL embeddings (EVOLVEpro). De novo antibody у tFold — workflow с PLM-компонентом, не тождество «tFold = PLM».

[INTERPRETATION]Это не autoregressive generation как отдельный decode-класс: AR — *способ факторизации*, который PLM может использовать, но masked ESM-2 не пишет left-to-right. Это не masked-token infilling как единственная задача: infill — *режим inference*, MLM — *train target*.

[INTERPRETATION]Это не zero-shot mutation scoring: $\Delta\ell$ — одно применение pretrained PLM, не определение семейства. Это не few-shot mutation optimization: там обучается $f_\phi$ на labels, PLM обычно frozen. Это не joint sequence–structure generation целиком: DiffAb/FlowDesign не обязаны быть PLM.

[MATRIX]Это не inverse folding: $p(s\mid X_{\mathrm{3D}})$. ESM-IF1 — geometric Transformer, нет этого architecture_id. Не путать ESM-2 embedder EVOLVEpro с ESM-IF1 и не путать ESM3 с ESM-2.

[MATRIX]Catalog tools с architecture_id: protein-language-models: ProGen, IgLM, ESM3, EVOLVEpro, ESM-1v efficient evolution, PALM-H3, tFold. Часто путают с ProteinMPNN (IF GNN), EvoDiff (sequence diffusion, другой id), AntiFold (IF).

[PAPER]Литература вне карточек, без которой роли (ii)–(iv) непонятны: ESM-2 (Lin; не catalog tool), ESM-1v (Meier; tool каталога — *pipeline* Hie поверх модели), ESMFold folding head (predictor, frozen LM). ProtGPT2 — pointer, не tool. Lin ESM-2; Meier ESM-1v; Nijkamp cites Ferruz ProtGPT2

2. Интуитивный принцип

[INTERPRETATION]Self-supervised цель на миллионах sequences заставляет сеть сжимать эволюционную статистику токенов: какие аминокислоты совместны в контексте. При inference меняется разное: AR дописывает следующий токен; MLM заполняет маску; frozen encoder выдаёт вектор $E(s)$ без смены весов PLM; zero-shot считает разность лог-вероятностей wt vs mut.

[PAPER]Главный рычаг генераторов: temperature / nucleus $P$ (ProGen2 Cartesian $T\times P$; IgLM $T$, top-$p$). Это tokenizer-level entropy, не $kT$ термодинамики. Nijkamp §3.4 sampling; IgLM generate defaults (prior CODE)

[PAPER]Рычаг ESM-2 / ESM-1v как scorer: masked marginal в мутированных позициях (Meier). Рычаг EVOLVEpro: качество и pooling embeddings (preprint: ESM-2 15B, residue average) при замороженном PLM; меняется top-layer на labels. Meier Eq. 1; Jiang frozen embeddings + average pool

[PAPER]Рычаг ESM3: variable mask-rate generative MLM (не фиксированные 15% BERT) + prompts по tracks; alignment preference pairs по pTM/cRMSD, не ELISA. Hayes: supervision across all masking rates; Appendix A.2.2 mix β(3,9)+uniform

[PAPER]Предостережение. Likelihood / perplexity / pMMS / A2binder score / ESMFold pLDDT / AAR не experimental affinity / $K_d$ / ELISA / BLI. ProGen2 явно: оценка $p_0$ (train distribution) $\neq$ стационарное $p^\infty\propto f$ (fitness); филогенетический bias. Nijkamp §4.1 citing Weinstein et al. 2022, p0 ≠ p∞

[PAPER]ESM-2 contact precision и ESMFold TM — structure predictor / probe, не функция белка. tFold SPR nanomolar — после phage display и filter, не выход ESM-PPI. PALM A2binder ранжирует до SPR; predicted ΔG/probability ≠ измеренный $K_D$. tFold Fig. 1 phage+SPR; PALM Fig. 7e A2binder then SPR

[PAPER]IgLM OASis / SAP / CamSol и ProGen2 IgFold pLDDT на generated Ab — in silico developability/structure, primary IgLM paper без wet-lab binding. IgLM Cell Systems: no prospective wet-lab in catalog paper YAML; Nijkamp Fig. 3 SAP/CamSol

[PAPER]Не смешивать causal и masked в «одной интуиции softmax»: двусторонний контекст MLM ≠ left-to-right AR; IgLM infill — AR после перестановки span (Donahue ILM), не BERT. IgLM STAR ILM; Lin bidirectional MLM

3. Формальная математическая постановка

[INTERPRETATION]У семейства нет одного train target. Ниже родовой объект (токены), затем отдельные уравнения ролей (i)–(iv) и multimodal MLM. Не писать одну формулу на ProGen, ESM-2 и EVOLVEpro. Не подставлять UCB, FAPE, diffusion score, Lipman CFM как уравнение PLM.

[INTERPRETATION]Формулы, которые не default ни одного catalog tool как «уравнение PLM-класса»: ProteinMPNN random-order CE; FrameDiff IGSO(3); EVOLVEpro UCB (released code — top-$N$ $\hat y$, не UCB); A2binder regression как generative loss; tFold FAPE structure module.

[INTERPRETATION]Не сравнивать ProGen lysozyme $k_{\mathrm{cat}}$, PALM SPR, tFold phage+$K_D$ и EVOLVEpro activity fold-change как один benchmark: generated object, oracle и split разные.

Смежные постановки, которые нельзя смешивать

Роль (i) — autoregressive p(s) (ProGen/ProGen2; IgLM after ILM permute; PALM decoder)

Роль (ii) — masked LM (ESM-2; ESM-1v train; BERT-style 15%)

Подтип multimodal generative MLM (ESM3; не 15% BERT)

[PAPER]Hayes: supervision across all possible masking rates, any-order factorization. Tracks fused: sequence, structure tokens, function. Geometric attention в первом блоке. Канон совместной генерации — joint seq–struct; здесь только факт, что это всё ещё masked LM. Hayes ESM3 paragraphs after Fig. 1; 80% β(3,9) mean 25% + 20% uniform, overall ~30% (A.2.2)

Роль (iii) — frozen E(s) + surrogate (EVOLVEpro; не generative PLM)

Роль (iv) — zero-shot masked-marginal Δℓ (ESM-1v; Hie pipeline)

4. Представление данных

[INTERPRETATION]Узлы: позиции последовательности (токены). Рёбра: self-attention, не kNN геометрии (кроме ESM3 geometric attention block 1 и tFold Evoformer после ESM-PPI). Pair tensors ESMFold/tFold — другой модуль, не обязательный PLM state.

[PAPER]ESM-2: UniRef; even weighting across ~43M UniRef50 clusters from ~138M UniRef90; ~65M unique sequences over training. Crop 1024 tokens; BOS/EOS. 15% mask BERT noise. Hidden width Table S1 не транскрибирована (NR). Lin training paragraph; Appendix crop 1024, 15% mask

[PAPER]ESM-1v: UniRef90 2020-03, 98M sequences, ESM-1b architecture, 650M params, five seeds. Context length details сверх architecture ESM-1b — NR this pass. Meier ESM-1v paragraph

[PAPER]ProGen2: Uniref90 + BFD30 (BFD30 ~1/3 Uniref90, 30% id, metagenomic); OAS cluster 85% → 554M for ProGen2-OAS. 1–2 character tokens на N- и C-terminus; sequence as-is and flipped. Context 1024 (base 2048). Table 1: 151M/764M/2.7B/6.4B. Nijkamp §3.2 Data; Table 1

[PAPER]IgLM: BertTokenizerFast; chain [HEAVY]/[LIGHT] + species; ILM mask length Unif{10..20}. OAS unpaired 809M → 588M cluster → 558M train (prior analysis). CODE max_length=150 generate. IgLM STAR + prior CODE IgLM.py

[PAPER]PALM-H3: antigen sequence → ESM-2 encoder (UniRef50 pretrain, antigen FT); CDR-H3 decoder RoFormer 12 layers; K/V last antigen layer → every decoder cross-attention. OAS first-round: 1 291 060 593 heavy, 210 950 159 light (Methods). COVID second-round: 81 750 886 H, 17 754 502 L. PALM Fig. 1 caption; Methods OAS counts

[PAPER]tFold: ESM-PPI further-pretrains ESM-2 on monomers+multimers; затем Evoformer-Single + IPA. Sequence recovery head на masked antibody residues. FR template, epitope, antigen — внешние входы workflow, не UniRef crop. tFold tFold-Ab four modules; Fig. 6 sequence recovery

[CODE]EVOLVEpro: вход сети top-layer — готовая матрица embeddings + CSV labels; FASTA parent. Library $\mathcal{X}$ — внешний файл пользователя, не токены LM. DMS vs experimental paths разные (CODE). EvolvePro load_experimental_embeddings; commit 1c77697

[PAPER]Аугментации токенов: ProGen2 reverse sequences; ESM-2 random crop; IgLM span shuffle (не биологический splicing). 3D rotation не применима к sequence-only. ESM3 structure tokens — local atomic neighborhoods, не MD. Nijkamp flipped sequences; Hayes Fig. 1C structure tokenization

5. Физическое представление

[INTERPRETATION]Математический $s_i$ ↔ residue identity в полипептидной цепи (или special token). Это не атом, не rotamer, не assay label. Embedding $h_i$ ≠ энергия и ≠ траектория фолдинга.

[PAPER]SE(3): не применимо к sequence-only PLM (координат нет). ESM3 geometric attention оперирует local frames из bond geometry — это уже геометрический слой multimodal модели, не инвариантность ESM-2. Hayes invariant geometric attention, first block

[PAPER]Перестановка residues в биологическом порядке ломает смысл, кроме явного ILM (IgLM) или random decode IF (другой класс). Concatenation VH||VL: IgLM генерирует цепи независимо; paired Fv не один AR-фактор. IgLM unpaired chains

[PAPER]Side chains: в state только тип AA, не χ angles. Pack / relax / AF — post-hoc evaluator. ESM3 decoder восстанавливает all-atom из structure tokens (Hayes); это не ESM-2. Hayes structure token decoder <0.5 Å CAMEO reconstruction

[PAPER]Промежуточный masked token / $s_{Nijkamp §3.2 flipped

[PAPER]tFold generated CDRs на фиксированном human FR (IGHV3-23/IGKV1-5 в кампании) — физический объект IgG/Fc-fusion после phage, не «вывод ESM-PPI». tFold design parameters; ten Fc-fusions SPR

[PAPER]PALM-H3 выход — CDR-H3, прививаемый на context/framework; SPR измеряет комплекс Ab–spike, не logit decoder. PALM Fig. 7 SPR+pseudovirus

[PAPER]Function keywords ESM3 (InterPro/GO) — семантические теги, не ELISA. Taxonomy track 98B (last 30k steps) — организм, не affinity. Hayes InterPro keywords; Appendix taxonomy 30k steps

6. Физико-химический смысл

[INTERPRETATION]Нет energy head у sequence LM. «Модель считает ΔG» запрещено, кроме явного A2binder (отдельный regressor на labels, не generative PLM).

7. Что обучается

[INTERPRETATION]Роль (i)–(ii): параметры $\theta$ Transformer (decoder-only или encoder MLM). Negative examples — неправильные токены softmax, не non-binder docking decoys и не affinity labels.

[PAPER]ESM-2: Adam, 500K updates (15B: 270K), batch 2M tokens (15B: 3.2M), crop 1024. ESMFold: frozen LM + folding head, FAPE/distogram; MLM loss omitted. Folding head — predictor, не generative PLM. Lin Appendix training; ESMFold freeze LM, omit MLM

[PAPER]ESM-1v: 650M, 5 seeds, UniRef90; optional family spiked fine-tune (Meier) — это не catalog Hie protocol как обязательный шаг. Ensemble log-odds. Meier five models; further training paragraph

[PAPER]ProGen2: Adam, weight decay 0.1, grad clip 0.8–1.0, Table 1 steps/LR. Fine-tune ≤2 epochs, LR/5, Adam moments reset. ProGen-1 Methods dims — NR (paywall). Nijkamp Table 1 + §3.3; Madani Methods inaccessible

[PAPER]IgLM: CE next token на ILM-пересталенной ленте. 12 889 600 params (Table 1 prior). Нет antigen в loss. IgLM Table 1

[PAPER]PALM: RoFormer MAA (masked AA) pretrain на OAS; затем seq2seq FT paired antigen–CDRH3; A2binder отдельно на affinity/neutralization labels (CoV-AbDab binary, 14H/14L, BioMap ΔG). A2binder не generative loss PALM-H3. PALM three-step construction; A2binder datasets

[CODE]EVOLVEpro: $\theta_{\mathrm{PLM}}$ frozen; $\phi$ RF на $(E(s),y)$. Нет contrastive non-binder в default code. EvolvePro model.py / evolve.py

[PAPER]tFold ESM-PPI: further pretrain ESM-2 monomers+multimers; sequence recovery CE на masked Ab residues плюс structure losses в Ag module. ipLDDT — confidence, не Kd. tFold ESM-PPI paragraph; Fig. 6 recovery head

[PAPER]ESM3 alignment: preference pairs high pTM / low cRMSD vs worse; IRPO 1000 steps (preprint). Не ELISA fine-tune. Hayes preference tuning; IRPO 1000 steps

8. Прямой проход и information flow

[INTERPRETATION]Общий каркас: tokenize → (optional conditioner tags/encoder) → Transformer blocks → (a) token logits или (b) pooled $E(s)$. Sequence появляется на входе; geometry — только если multimodal/ESMFold/tFold stack. Score affinity — отдельная голова или внешний assay.

[PAPER]ProGen/ProGen2: tags+prefix → causal decode → FASTA. Evaluator: AF2 pLDDT/TM (Nijkamp generations), не часть LM. Nijkamp §3.4 AF2 on generations

[CODE]IgLM: infill permute → GPT-2 → span until ANS. Нет IF/docking в сети. IgLM.infill commit de819b56

[PAPER]ESM-1v Hie pipeline: parent → mask each substitution site → Δℓ rank → experiment (unread paper). Не AL loop. Meier inference; Hie HTML NR

[CODE]EVOLVEpro: precomputed $E(s)$ → RF → top-k table. Нет sampling LM. evolve_experimental

[PAPER]PALM-H3: antigen seq → ESM-2 encoder → RoFormer decoder CDR-H3 → A2binder rank (evaluator) → SPR/pseudovirus (experiment). PALM Fig. 1 and Fig. 7

[PAPER]tFold: FR+epitope+antigen → ESM-PPI + recovery/structure → ipLDDT filter (evaluator) → phage (experiment) → SPR. Не прятать phage внутрь «одной PLM». tFold Fig. 1 workflow

[PAPER]ESM3: prompt tracks → geometric attn block 1 → transformer → unmask iterate → structure decoder. GFP spectra — experiment, не logit. Hayes Fig. 1A iterative sampling; Fig. 4 GFP

flowchart TD
  TOK["AA tokens ± tags / antigen seq / mask"] --> ENC["Transformer PLM: AR decoder / MLM encoder / ESM3 fused tracks"]
  ENC --> LOG["Token logits p(s_i)"]
  ENC --> EMB["Embeddings E(s) / h_i"]
  LOG --> AR["Generator: ancestral AR / ILM / iterative unmask"]
  LOG --> ZS["Scorer: masked-marginal Δℓ"]
  EMB --> SUR["Surrogate f_φ — few-shot AL; PLM frozen"]
  AR --> RANK["Optional ranker: A2binder / likelihood / ipLDDT — evaluator"]
  ZS --> EXP["Wet-lab: SPR / neutralization / activity / phage"]
  SUR --> EXP
  RANK --> EXP
  AR --> STR["Optional AF2 / ESMFold / tFold-Ag — predictor/evaluator"]
  STR --> EXP
  subgraph gen ["Generator heads"]
    AR
  end
  subgraph scr ["Scorer / features"]
    ZS
    EMB
    SUR
  end
  subgraph ev ["Evaluator"]
    RANK
    STR
  end
  subgraph wet ["Experiment"]
    EXP
  end

9. Training procedure

[INTERPRETATION]Единого split класса нет. Не выводить split из README, если его нет в paper.

[PAPER]ESM-2: holdout ~500k UniRef50 clusters (0.5% random-split в Fig. S1 caption); comparisons at 270k steps. Leakage vs therapeutic mAbs — NR. Lin Fig. S1 ~500K holdout

[PAPER]ESM-1v: held-out UniRef90 ppl 7.29 (Table 10). DMS Spearman — retrospective labels, не train y (zero-shot). Meier ppl 7.29; 41 DMS datasets

[PAPER]ProGen2: Test-max90 / Test-max50 held-out Uniref90+BFD30 clusters. Fine-tune CATH 3.30 1M sequences ≤2 epochs — in silico generation study. Nijkamp §3.4 evaluation sets; Fig. 2 finetune

[PAPER]IgLM: random 5% test не germline-holdout (авторы оставляют conserved regions). Human heavy ~70% skew. IgLM STAR dataset (prior analysis)

[PAPER]PALM: OAS unpaired pretrain; CoV-AbDab 27 324 pairs for A2binder classification; paired antigen–CDRH3 for seq2seq. Prospective SPR — не train set claim without Methods split of those clones — library vs test NR beyond described datasets. PALM CoV-AbDab 27324; Methods OAS

[PAPER]tFold in silico AAR: SAbDab-22-Design-Ab n=50; wet-lab 10 000 Fab/target then phage. Не смешивать AAR с $K_D$. tFold Fig. 6 n=50; 10000 Fab pairs

[CODE]EVOLVEpro DMS simulation vs experimental rounds — разные протоколы CODE; Science journal unread. directed_evolution_simulation vs evolve_experimental

[PAPER]Teacher forcing: стандарт AR. Self-conditioning diffusion — нет у sequence LM. ESM3 mask-rate mixture — analogue of noise schedule, не DDPM $t$. Hayes A.2.2 noise schedule

10. Inference and generation

[PAPER]Старт AR: BOS / control tags / optional prefix (ProGen2-OAS EVQ prompt для full-length Ab). Старт MLM infill: context + [MASK]. Старт ESM3: fully or partially masked tracks. Старт EVOLVEpro: embedding table, не шум. Nijkamp EVQ prompt; Hayes start masked

[PAPER]ProGen2 universal: 5000 seq, $T\in\{0.2,0.4,0.6,0.8,1.0\}$, $P\in\{0.5,0.7,0.9,1.0\}$. Antibody OAS: 52k unprompted + 470k EVQ-prompted. AF2/IgFold — evaluator. Nijkamp §3.4

[CODE]IgLM CODE default: temperature=1, top_p=1, max_length=150. Nucleus в paper Eq. 6. IgLM.generate; prior analysis

[PAPER]ESM-1v: single forward (masked marginal) per scored variant; ensemble 5. Нет beam как обязательный. Hie experimental selection — unread. Meier inference efficiency; five-model ensemble

[PAPER]ESM3: iterative unmask; unconditional 98B example T=0.7 (Fig. S14). README 8 steps T=0.7 — DOC, не paper law, не цитировать как Methods. Hayes S14 T=0.7; DOC unmask steps NR as law

[PAPER]PALM: generate CDR-H3 given antigen; rank A2binder (evaluator); then SPR. 1000 CDRH3 vs IgLM/SeqDesign in silico PPL 4.96 (benchmark, не Kd). PALM vs IgLM 1000 sequences; PPL 4.96

[PAPER]tFold: random seed sampling generator; filter ipLDDT / AF-Multimer; phage panning; SPR. Recycle masked low-confidence — structure module, не PLM-only. tFold generator+filter; ipLDDT recycle

[INTERPRETATION]Чего в классе нет как стандарт: assay-in-the-loop (кроме EVOLVEpro после labels); beam как ProGen default (NR); AF2 recycle внутри ESM-2 LM.

11. Conditioning

[PAPER]ProGen: control tags family/function; prefix; untagged examples в train чтобы уметь sequence-only (ProGen2 text). 3D нет. Madani abstract tags; Nijkamp related ProGen

[PAPER]IgLM: chain + species tokens; infill span indices. Нет antigen coords. IgLM STAR

[PAPER]PALM-H3: antigen/epitope sequence via encoder. Нет ELISA tensor. Cross-attention ≠ 3D epitope graph dyMEAN. PALM Fig. 1b

[PAPER]ESM3: any subset of sequence/structure/function/SS8/SASA/atomic coords prompts. Classifier-free guidance как Ho–Salimans — не описан как default; alignment = preference FT. Hayes prompting; preference pairs

[CODE]EVOLVEpro: user library $\mathcal{X}$ и measured_var в CSV. Нет epitope. Нет CFG. experimental embeddings table

[PAPER]tFold: FR template, epitope residues, antigen sequence, CDR length combinations (36 in campaign Table 1). ESM-PPI не «ELISA conditioner». tFold 36 CDR3 length combinations

[PAPER]ESM-2/1v zero-shot: только parent sequence (MSA Transformer few-shot — другой модель, не catalog tool). Не hotspot one-hot. Meier zero-shot vs MSA Transformer few-shot

[PAPER]Не приписывать CATH label ProGen2 universal pretrain (CATH used в finetune 3.30 experiment). Не приписывать IgLM paired VH–VL token. Nijkamp CATH 3.30 finetune

12. Вычислительная сложность

[INTERPRETATION]Драйверы: длина $L$, $O(L^2)$ attention, число samples, unmask steps (ESM3), 19×positions (zero-shot), library $|U|$ (EVOLVEpro), assay latency. Parameter count 15B vs 150M ≠ affinity.

[PAPER]ESM-2 15B vs 8M: perplexity 6.37 vs 10.45 at 270k steps — language modeling, не wall-clock design. ESMFold 384 res 14.2 s V100 vs AF2 — predictor timing Lin A.3.4, не generative PLM class claim для всех tools. Lin ppl 6.37/10.45; A.3.4 14.2 s

[PAPER]«Дешевле diffusion» — не писать без NFE comparison в paper. PALM Fig. 7b CPU-hours vs Rosetta — tool-specific wall-clock той фигуры, не закон класса. PALM Fig. 7b time vs Rosetta/Absolute!

[PAPER]tFold-Ab vs AF-Multimer: авторы 50× vs AF3 server, 5000× vs AF-Multimer (Fig. 3b) — structure prediction speed, не generative sampling cost, не переносить на ProGen. tFold Fig. 3b speed

[PAPER]IgLM 4×A100 ~3 days train (prior STAR) — tool-specific. GPU train ProGen2 TPU-v3 — Nijkamp §3.3, не catalog SLA. Nijkamp JAX TPU-v3

[INTERPRETATION]Wet-lab (phage, SPR, lysozyme kinetics) доминирует claims of function. Complexity LM ≠ complexity ITC.

13. Преимущества

[INTERPRETATION]Сильный sequence prior без обязательной 3D: следует из self-supervised CE на UniRef/OAS. Удобно для ideation и zero-shot shortlist, пока не подменяют assay.

[PAPER]Двусторонний MLM даёт contextual $p(s_i\mid s_{\setminus i})$ для Δℓ без MSA (Meier). AR даёт нормированную likelihood и ancestral sample (ProGen2). Meier vs MSA methods; Nijkamp Table 2 ppl

[PAPER]Frozen $E(s)$ — фиксированный feature space для few-shot, когда labels дорогие (EVOLVEpro постановка). Не генерация de novo fold. Jiang frozen encoder

[PAPER]ProGen Nature (эта кампания, не класс): artificial lysozymes catalytic efficiency comparable to natural; identity as low as 31.4%; crystal 7RGR. Не antibody evidence. Madani abstract; PDB 7RGR Data availability

[PAPER]PALM-H3 SPR (эта кампания): Artificial 1 vs Alpha $K_D=0.29$ nM (natural 0.32 nM), IC50 0.006 μg/mL; Delta $K_D=0.89$ nM; XBB $K_D=0.13$ nM (HTML «nm»), IC50 0.00301 μg/mL. A2binder выбирал клоны — не отождествлять predicted score с $K_D$. Не IgG platform-wide. PALM Fig. 7e paragraph

[PAPER]tFold SPR after phage (workflow, не ESM-PPI alone): best $K_D$ 45 pM PD-L1, 3.22 nM Flu A, 2.0 nM SC2RBD, 81.6 nM PD-1. Не переносить на ProGen/IgLM. tFold Fig. 1c paragraph

[PAPER]ESM3 esmGFP: 58% identity to known FPs; fluorescence campaign, не antibody. Оценка «~500 Myr» — авторская калибровка филогении, не молекулярные часы каталога. Hayes GFP 58%; Fig. 4H estimator

[PAPER]Это не гарантия стабильности, аффинности, экспрессии для нового промпта. ProGen2: больший модель лучше ppl, не всегда лучше zero-shot fitness (peak 764M base on narrow landscapes). Nijkamp §4.3 peak at ProGen2-base

14. Ограничения

[PAPER]Математика: $p_0\neq p^\infty$; additive Δℓ игнорирует эпистаз (Meier additive multiple mutations); ESM3 any-order ≠ calibrated Boltzmann. Nijkamp Weinstein; Meier additive model

[INTERPRETATION]Представление: нет 3D у ESM-2/ProGen/IgLM; ESM3 7B/98B API; IgLM unpaired; tFold фиксированный FR в кампании.

[INTERPRETATION]Физика/химия: нет explicit solvent, glycans, Fc effector. A2binder ΔG head — supervised correlation, не MM/GBSA.

[PAPER]Данные/bias: UniRef/OAS species skew (IgLM human heavy); ProGen2-OAS хуже universal models на Ab $K_D$ landscapes (Nijkamp Table 5 qualitative); FAD-like memorization analog — germline CDRs. Nijkamp §4.3 OAS model poor vs universal on Ab landscapes

[INTERPRETATION]Обобщение: Hie antibody campaign unread здесь; PALM SARS-CoV-2 family; tFold four antigens + phage. Не platform claim.

[MATRIX]Deployment: ESM3 open 1.4B non-commercial; IgLM JHU academic license; tFold commercial review; EvolvePro зависит от embedding generation. Commits progen/esm NR.

15. Failure modes

[INTERPRETATION]Конкретные ошибки пользователя и модели, не «может не сработать».

• Считать EVOLVEpro генератором токенов / UCB-агентом: frozen E(s)+top-N.
• Смешать causal ProGen и masked ESM-2 в одно уравнение без подтипа.
• Принять perplexity, Δℓ, A2binder, pLDDT, AAR, ipLDDT за experimental Kd.
• Считать весь tFold PLM: ESM-PPI — компонент; Kd после phage+filter.
• Путать ESM3 (multimodal unmask) с ESM-2 embeddings EVOLVEpro.
• Путать ESM-2 с ESM-IF1 inverse folding.
• IgLM infill без species/chain tags или слишком длинный mask → почти unconditional junk VH.
• Zero-shot ESM-1v на комбинаторных эпистатических библиотеках (additive Eq. 1).
• ProGen2-OAS likelihood как affinity к неизвестному антигену (Nijkamp: antigen not provided).
• Ожидать paired Fv от IgLM single forward.
• Сравнивать lysozyme 31.4%, PALM 0.29 nM и tFold 45 pM как один leaderboard.
• Truncation OAS N-termini: unprompted Ab generation зеркалит truncated train (Nijkamp Fig. 3).

16. Реализации в инструментах

[MATRIX]Все catalog tools с architecture_id: protein-language-models. Непрочитанный Hie: NR в tool-specific цифрах кампании.

Catalog reverse index

Литература вне карточек tools

17. Где применимо и где не применимо

[MATRIX]Применимо: sequence-first de novo, antibody sequence infilling, zero-shot mutation, few-shot AL как features, CDR-H3 PALM, joint multimodal для ESM3. tFold workflow epitope-mab-tfold использует PLM внутри geometric stack.

[INTERPRETATION]Нельзя решать этим классом как единственным методом: de novo backbone — frame / coordinate diffusion. Inverse folding — ProteinMPNN/ESM-IF1. Codon/CHO/secretion. Epitope-conditioned 3D co-design без structure module — не IgLM.

[INTERPRETATION]Вместо zero-shot Δℓ для few-shot ELISA — active learning. Вместо AR для joint CDR+backbone — joint diffusion. Не заменять RFantibody epitope frames PALM sequence encoder без оговорки.

NRHie campaign unread: не утверждать protocol details efficient-evolution beyond Meier scoring.

18. Методологические источники

[PAPER]Прочитаны HTML methods/results: ProGen2 arXiv; ESM-2 bioRxiv v3; ESM-1v bioRxiv; ESM3 bioRxiv; PALM-H3 Nat. Commun.; tFold Nat. Commun.; ранее IgLM Cell Systems + IgLM.py; EVOLVEpro preprint + EvolvePro code. ProGen Nature — abstract/Data only.

NRPointer-only / unread: Hie 2023 Nat. Biotech full; ProGen-1 Methods; ESM-2/ESM3/EVOLVEpro Science pagination; ProtGPT2; Rives ESM-1b architecture paper beyond Meier citation; Biohub/esm, salesforce/progen, PALM, tfold, efficient-evolution commits.

[INTERPRETATION]Preprint vs journal: ESM-2/ESM3/EVOLVEpro цифры этого файла — preprint HTML, если не оговорено Nature/Nat Commun. Не раздувать BERT NLP bibliography.

Инструменты, использующие подход

Где применимо

Где не стоит использовать

Papers каталога

Подтипы класса

• Autoregressive PLM
• Masked PLM
• Multimodal PLM