IgLM

Peer-reviewed

Summary card

Поле	Значение
Год / version	2023 / NR
Last verified	2026-08-27
Что генерирует	Full heavy/light-chain sequence or infilled span/CDR
Форматы	Heavy or light variable-domain sequence; chains generated independently
De novo или optimization	De novo sequence or local CDR redesign
DOI	10.1016/j.cels.2023.10.001
Paper	https://doi.org/10.1016/j.cels.2023.10.001
GitHub / repo	https://github.com/Graylab/IgLM
Service / docs	NR
Лицензия	JHU Academic Software License; commercial license required
Доступность / commercial-use	Code + weights; non-commercial by default

Задача и generated object

Used in these tasks: Генерация CDR sequence, Structure-aware дизайн antibody sequence

Part of these workflows: Antibody sequence infilling and CDR diversification

Поле	Значение
Required input	Optional sequence context, span mask, species and chain type
Conditioning	Chain/species tokens; arbitrary infilling span
Fixed	NR
Editable	NR
Generated	Full heavy/light-chain sequence or infilled span/CDR
Single mutations	Yes
Combinatorial mutations	Yes
Multi-objective	No

Architecture and operating principle

Author-reported (Cell Systems)

Поле	Значение
Base architecture	Autoregressive infilling Transformer
Model type	Antibody sequence LM
Representation	Tokens
Generation unit	Amino-acid token
Conditioning	Species, chain type, span context
Output	Sequence
Sampling	Autoregressive
Internal scorer	Likelihood
Structure generation	Нет

Input representation

Sequence tokens only. No antigen, no coordinates, no paired VH/VL tokenisation in the base generator.

Поле	Значение
Node features	NR
Edge / pair features	NR

Encoder и decoder

Transformer LM (decoder-style infilling)

Поле	Значение
Encoder	Transformer LM (decoder-style infilling)
Decoder	Autoregressive token generation into the masked span

Latent or generative state

Discrete amino-acid tokens

Conditioning mechanism

Species token, chain type, bidirectional context around the span

Generation mechanism

Infilling uses both left and right context of a span, unlike left-to-right ProGen-style models.

Sampling: Temperature categorical sampling

Training objectives

Language-modelling / infilling CE on unpaired antibody sequences

Losses: Cross-entropy

Mathematical details: NR

Integrated evaluation

Likelihood/naturalness only. Pairing, structure, developability and binding are external.

Architectural limitations

Архитектурная особенность	Возможное ограничение
Sequence-only generation	Нет прямой геометрической согласованности.
Independent chain generation	Не обеспечивает joint VH/VL pairing.
No antigen conditioning	Не target-specific generator.

Uses these architecture components: Protein language models, Autoregressive generation, Masked-token infilling

Generator versus evaluation

Component	Role	Architecture class	Integrated or external	Required or optional	Influences generation or post hoc	Runtime included or excluded
IgLM	primary_generator	Autoregressive infilling language model conditioned on species and chain type	integrated	required	generation	included
Model likelihood	integrated_scorer	NR	integrated	optional	post_hoc	unknown
Pairing, structure/complex, developability and experimental validation	mandatory_external_dependency	NR	external	required	post_hoc	excluded
Experimental binding/function assays	experimental_validation	NR	external	required	post_hoc	excluded

Training data и biases

Поле	Значение
Training data	NR
Preprocessing	NR
Negative examples	NR
Fine-tuning	NR
Label requirements	NR
Training hardware	NR
Training time	NR

Inference hardware и runtime

Поле	Значение
Candidate count	NR
Batch size	NR
Generation steps	NR
Recycles	NR
Size	NR
Reported runtime	NR
Runtime boundary	NR
CPU	NR
GPU	NR
VRAM	NR
RAM	NR
Disk	NR
Databases	NR

Experimental evidence

Поле	Значение
Evidence class	2 retrospective antibody evaluation
Retrospective	No prospective wet-lab validation in primary paper
Prospective binding	NR
Prospective function	NR
Developability	NR
Tested design count	No prospective wet-lab validation in primary paper
Success criterion	Naturalness/diversity/infilling benchmarks
Independent validation	NR
Summary	Naturalness/diversity/infilling benchmarks

Limitations and failure modes

No antigen conditioning or joint VH/VL pairing.
sequence likelihood is not specificity or affinity.

Deployment: Retrospective only pending license

Reproducibility, license, commercial use

Поле	Значение
Repo	https://github.com/Graylab/IgLM
License	JHU Academic Software License; commercial license required
Commercial-use status	Code + weights; non-commercial by default

Alternative tools: PALM-H3, ProGen / ProGen2

Complementary: AntiFold, Humatch

Not directly comparable with

AlphaProteo, BindCraft, BoltzGen, FrameDiff, RFdiffusion, RFdiffusion All-Atom (RFdiffusionAA)

Сравнение допустимо только внутри совместимых категорий. Runtime и quality AntiFold vs RFantibody нельзя читать как одну шкалу: разные starting points и generated objects.

Depends on these external modules

Protein language model (PLM), Infilling, CDR, Likelihood / log-probability

Primary paper и полный список источников

IgLM: Infilling language modeling for antibody sequence design

Source matrix: landscape xlsx, last verified 2026-08-13.

Review queue

Bibliographic title must be verified against the PDF.

Детальный source-grounded разбор

partially verified Последняя сверка источников: 2026-08-27. Cell Systems HTML (STAR Methods + Results) прочитан. Preprint bioRxiv 10.1101/2021.12.13.472419 использован как согласованный open text. Код iglm/model/IgLM.py на commit de819b56. Table S1/S2 species counts и точные OASis численные дельты в фигурах не перенесены таблично.

Недоступные или неполные источники

Источник	Почему недоступен	Что использовано вместо
Cell Systems STAR supplemental PDF (Table S1 species counts, Table S2 prompt motifs)	S-tables не извлечены построчно	Основной HTML: 809M → 588M cluster → 558M train / 1M val / 5% test; N-terminal truncation >40% OAS

IgLM — sequence infilling generator для unpaired VH/VL. GPT-2 decoder обучается на перестановке span (ILM): маска 10–20 residues уходит в конец после [SEP]. Это не inverse folding, не structure diffusion и не affinity predictor. In silico developability / OASis / AF pLDDT $\neq$ experimental binding.

Происхождение источников

Метка	Источник	Ссылка	Примечание
[PAPER]	Shuai, Ruffolo, Gray. IgLM: Infilling language modeling for antibody sequence design. Cell Systems 14, 979–989 (2023).	https://doi.org/10.1016/j.cels.2023.10.001	NR
[PAPER]	bioRxiv 10.1101/2021.12.13.472419 (preprint of the same work)	https://doi.org/10.1101/2021.12.13.472419	NR
[CODE]	Graylab/IgLM	https://github.com/Graylab/IgLM	commit de819b56238b5cb9c23d7a6fec4c55d7fc0395e4

Поле	Значение
Репозиторий	https://github.com/Graylab/IgLM
Commit	`de819b56238b5cb9c23d7a6fec4c55d7fc0395e4`
Ветка / tag	main
Лицензия	JHU Academic Software License (non-commercial); commercial via JHTV

Проверенные файлы реализации:

iglm/model/IgLM.py
iglm/model/tokens.py (imported; not fully re-read)

1. Что именно делает инструмент

[CODE]Вход (infill): родительская unpaired sequence, chain token ([HEAVY]/[LIGHT]), species token, полуинтервал [start, end) для span. Вход (generate): только conditioning tags ± optional prompt. IgLM.infill / generate

[PAPER]Выход: синтетические AA sequences (полная цепь или infilled span). Нет координат, нет paired VH–VL в одном forward (цепи независимы).

[PAPER]Parent-based CDR diversification или species-conditioned full-chain generation. Не de novo docked antibody.

2. Архитектура в одном абзаце

[PAPER]Decoder-only GPT-2 (HuggingFace GPT2LMHeadModel). IgLM: 4 layers, $d=512$, 8 heads, FFN 2048, 12,889,600 params. IgLM-S: 3 layers, $d=192$, 6 heads, FFN 768, 1,439,616. Токенизатор BertTokenizerFast по vocab.txt (AA + specials). Infilling Donahue-style: span $S$ заменяется [MASK], исходная последовательность + [SEP] + $S$ + [ANS]. Table 1; STAR Methods; CODE from_pretrained

4. Математическая модель

$$A=(a_1,\ldots,a_n),\quad m\sim\mathrm{Unif}\{10,\ldots,20\},\quad j\sim\mathrm{Unif}\{1,\ldots,n-m+1\}$$

[PAPER] tool-specific. Train: длина и старт маски. Conditioning tokens $c_c,c_s$ prepend.

$$p_\theta(S\mid A\setminus S)=\prod_{i} p_\theta(S_i\mid A\setminus S, S_{

[PAPER] tool-specific. Infill: генерировать span до [ANS]. $A\setminus S$ содержит фланги, [MASK], [SEP].

Символ	Тип	Определение
$A$	token sequence	антитело VH или VL
$S$	span	маскированный участок 10–20 residues при train; при infill — произвольный пользовательский диапазон
$c_c,c_s$	discrete tags	chain and species

$$p(x_i)=\frac{e^{z_i/T}}{\sum_j e^{z_j/T}}\quad\text{nucleus }P\text{: оставить минимальный набор с cumul}\ge P$$

[CODE] tool-specific [PAPER Eq. 6 + CODE generate]. Inference sampling. Default code: temperature=1, top_p=1, max_length=150.

$$\mathrm{PPL}_{\mathrm{infill}}=\exp\Bigl[-\frac{1}{N_{S'}}\sum \log p(S'_i\mid \cdot)\Bigr]$$

[PAPER] tool-specific. Infilling perplexity = per-token PPL после [SEP] (Eq. 4).

5. Физическое устройство состояния

[INTERPRETATION]Состояние — дискретная unpaired antibody sequence. Нет атомов, frames, antigen. Species/chain tags — датасетные метки OAS, не 3D. Перестановка span — NLP-трюк, не биологический splicing (V(D)J уже произошёл в train sequences).

7. Training

[PAPER]OAS unpaired: после фильтра ошибок 809M unique → LinClust 95% → 588M. Random 5% test; 558M train, 1M val. Skew: human heavy ~70%. Split не germline-holdout: авторы сознательно оставляют все conserved regions в train. STAR: Antibody sequence dataset

[PAPER]Batch 512, 2 grad accum, DeepSpeed, ~3 days × 4×A100. Objective — стандартный AR NLL на перестроенной последовательности (включая infilled span).

8. Inference

[PAPER]generate: sample until [ANS] (eos = CLS token в коде), bad_words_ids, duplicate filter. Full-length sequences из ILM содержат [MASK]/[SEP]/[ANS] и пересобираются. Prompt из 3 N-terminal residues (Table S2, NR exact motifs here) из-за >40% OAS truncations. Full-length antibody generation; CODE _generate

[PAPER]Infill библиотек в статье: 49 Thera-SAbDab mAbs, CDR H3 по Chothia удалён, 1000 seq × {T∈0.8,1.0,1.2} × {P∈0.5,0.75,1.0} = 9000/parent. AF-Multimer pLDDT — внешний predictor.

10. Почему, по мнению авторов, метод эффективен

[PAPER]Mechanism. Bidirectional context для CDR (фланги видны до генерации span) vs left-to-right ProGen2-OAS; species/chain tags vs prompting.

[PAPER]Author claim. Generates full-length and infilled libraries resembling natural antibodies with tunable diversity and improved in silico developability/humanness vs random; could then be experimentally screened. Discussion: 'which could then be experimentally screened'

[PAPER]Evidence. Infilling PPL vs ProGen2 (Fig. 1D); ANARCI species/chain controllability; germline identity vs T; in silico aggregation/solubility/OASis on 49 therapeutics. Нет prospective binding/function assay IgLM-designed clones в primary paper.

[INTERPRETATION]Causal support. Bidirectional vs preceding-only PPL — ablation-like. Developability — in silico scores, не wet-lab. Causal claim 'reduces non-functional fraction vs random libraries' не подтверждён экспериментом в этой статье.

12. Ablation analysis

[PAPER]IgLM vs IgLM-S (capacity). Bidirectional vs preceding-only infill PPL (Fig. 1D). Temperature / nucleus vs diversity, length, OASis (Figs. 2–3). Нет ablation 'remove species token' с таблицей recovery в извлечённом HTML (NR beyond qualitative rat failure).

13. What the model does not represent

Структура, antigen, epitope, dock
Paired chain covariation (unpaired OAS)
Растворитель, PTM, glycosylation
Истинная аффинность; AF pLDDT и OASis ≠ Kd / immunogenicity assay
Developability в CHO как экспериментальный readout

14. Evidence and limitations

[PAPER]Авторы прямо откладывают experimental screening. N-terminal truncations, human-heavy skew, rat generation failure, OAS sequencing error residuals. max_length=150 в коде может обрезать длинные CDR3. Non-commercial license.

15. Reproducibility

[CODE]Checkpoints trained_models/IgLM и IgLM-S. Dataset OAS95: data.graylab.jhu.edu/OAS95.tar.gz (не скачивался). Commit de819b56 — licensing text update (2026-07-20).

Физико-химический смысл

Признак или операция модели	Физико-химическая интерпретация	Прямо / косвенно / внешне	Важное ограничение
AA tokens	первичная структура VH/VL	прямо	нет 3D / antigen
species / chain tags	репертуарный prior OAS	прямо как special tokens	OAS label ≠ ANARCI class (camel↔alpaca)
span permutation ILM	двусторонний sequence context для CDR	train-time rearrangement	не физический механизм созревания
OASis / aggregation predictors in paper	in silico developability / humanness	external evaluators	не часть generator; не assay

Модульная схема

Модуль	Класс модели	Вход	Выход	Обучается или frozen	Generator или evaluator
GPT2LMHeadModel	decoder-only transformer	tags + (masked) tokens	next-token logits	trained (released frozen)	generator
log_likelihood()	same GPT-2	sequence ± infill_range	mean NLL (negative returned as likelihood)	frozen	evaluator
AlphaFold-Multimer / OASis / aggregation	external	generated sequences	pLDDT / humanness / in silico scores	n/a	external evaluation

Generator versus evaluator

Компонент	Роль	Integrated или external	Required или optional	Влияет на generation или только ранжирует после
GPT-2 infill/generate	primary_generator	integrated	required	generation
log_likelihood	integrated_scorer	integrated	optional	post_hoc
AF-Multimer pLDDT	structure predictor	external	paper only	post_hoc; не sample()
wet-lab affinity	experimental_validation	external	not in primary paper	absent

Claim–evidence matrix

Утверждение	Предполагаемый механизм	Тип evidence	Датасет / эксперимент	Comparator	Метрика / результат	Источник	Оговорка
Bidirectional infill лучше left-to-right на CDR PPL	ILM span-at-end	2. retrospective benchmark	30M held-out OAS infill PPL	IgLM [pre], ProGen2-base, ProGen2-OAS	infilling perplexity by CDR (Fig. 1D); CDR3 hardest	[PAPER] Fig. 1D	PPL ≠ function
Species/chain tags контролируют генерацию	conditioning tokens	2. retrospective benchmark	220k full-length samples	ANARCI classification vs tag	agreement high for most species; rat failure; camel heavy-only	[PAPER] Fig. 2C	ANARCI taxonomy ≠ OAS labels
Infilled CDR-H3 libraries improve in silico developability/humanness	natural OAS prior	6. developability / manufacturability	49 Thera-SAbDab; 9000 variants/parent	parent sequences; sampling T/P	in silico aggregation/solubility/OASis (figures)	[PAPER] Fig. 3, S10	Класс evidence 6 in silico, не experimental developability и не binding
IgLM designed antibodies bind antigen	—	1. только architectural rationale	n/a	n/a	не показано в primary paper	[PAPER] Discussion: libraries 'could then be experimentally screened'	Не заполнять как prospective binding

Различия между статьёй и реализацией

Версия статьи	Commit репозитория	Checkpoint / model	Файл	Различие	Практическое следствие
Cell Systems 2023	de819b56238b5cb9c23d7a6fec4c55d7fc0395e4	IgLM 12.9M / IgLM-S 1.4M	iglm/model/IgLM.py	Paper max context не равен коду `max_length=150` в generate(). eos_token_id = tokenizer.cls_token_id. log_likelihood returns `-nll` (higher better).	Очень длинные CDR3 могут обрезаться; не путать знак likelihood.

Схемы information flow

flowchart TD
  Tags["chain + species tokens"] --> ILM["GPT-2 decoder AR"]
  Seq["Unpaired VH or VL"] --> Mask["Replace span with MASK, append span after SEP"]
  Mask --> ILM
  ILM --> Out["Infilled or full-length sequence"]
  Out -.->|"paper only"| AF["AF-Multimer / OASis"]

Generator — GPT-2. AF и OASis только post hoc в статье. Источник схемы: Shuai et al. Cell Systems 2023 Fig. 1A; схема оригинальная

Источники

[1] Shuai R.W., Ruffolo J.A., Gray J.J. IgLM: Infilling language modeling for antibody sequence design. Cell Systems 14, 979–989 (2023). · DOI · источник
[2] bioRxiv 10.1101/2021.12.13.472419. · DOI · источник
[3] Graylab/IgLM commit de819b56. · источник

Нерешённые научные вопросы

Table S2 exact 3-mer prompts
tokens.py BAD_WORD_IDS полный список
Independent experimental validation of IgLM libraries — NR this pass