Active learning

Активное обучение. Established English term: Active learning.

1. Область определения

[INTERPRETATION]Active learning (AL) — workflow organization principle / sequential experimental design. Это не generator backbone и не единственная нейросеть. Внутри цикла могут стоять Gaussian process, random forest, нейросеть, PLM-эмбеддинги плюс лёгкий регрессор.

[INTERPRETATION]Объекты: кандидаты $x$ из дискретного пространства sequences / mutants; метки $y$ — experimental fitness, binding, activity или другая assay-величина. Задачи каталога: few-shot active learning, ML-guided directed evolution, иногда multi-objective оптимизация свойств.

[INTERPRETATION]AL не порождает de novo fold. Если пул $U$ задан как enumerated library, метод выбирает, какие варианты измерить, а не рисует новую геометрию.

2. Интуитивный принцип

[PAPER]На раунде $t$ есть накопленные измерения $D_t$. Surrogate оценивает, какие ещё не измеренные кандидаты стоит отправить в assay. После измерения партия $B_t$ добавляется к данным. Цель — при малом бюджете labels быстрее найти высокие $y$, чем при случайном скрининге. родовая постановка AL; EVOLVEpro preprint Results/Methods (few-shot iterative selection)

[INTERPRETATION]Uncertainty моделируется только если surrogate её выдаёт (GP posterior, ensemble, dropout и т.д.). Random forest с точечным $\hat y$ не даёт калиброванный $\sigma(x)$. Нельзя писать «модель учится быстрее» без указания, что именно меняется: состав $D_t$ и, следовательно, surrogate.

3. Формальная математическая постановка

[CODE]Pool-based AL vs generative proposal. В pool-based цикле кандидаты уже перечислены в $U_t$. Generative proposal (diffusion, AR LM) *создаёт* новые $x$ вне фиксированного списка. EVOLVEpro в released experimental path ранжирует уже эмбеддированные variants. evolvepro/src/evolve.py evolve_experimental; embeddings index alignment

[INTERPRETATION]AL vs Bayesian optimization. BO — подкласс, где surrogate обычно probabilistic (часто GP) и acquisition явно торгует exploration–exploitation. AL шире: можно брать greedy top-N без $\sigma$. Released EVOLVEpro ближе к iterative supervised ranking, чем к классическому GP-BO.

[INTERPRETATION]AL vs zero-shot mutation scoring. Zero-shot ранжирует substitutions по pretrained likelihood / inverse-folding $\Delta\ell$ без новых assay labels. AL требует $D_t$ и обновляет surrogate каждый раунд. Смешивать EVOLVEpro и ESM-1v как один метод нельзя.

[INTERPRETATION]AL vs ordinary supervised regression. Одноразовый fit на фиксированном test set не выбирает следующие эксперименты. AL определяет, какие $x$ станут новыми train points.

[CODE]Uncertainty в EVOLVEpro. В top_layer после model.predict массивы y_std_train и y_std_test заполняются нулями даже для regression_type=='gp'. GaussianProcessRegressor доступен как опция fit, но std не извлекается (predict без return_std). Нельзя описывать released pipeline как UCB/EI. evolvepro/src/model.py top_layer

Родовые acquisition functions (класс). Не утверждается, что EVOLVEpro их использует.

4. Представление данных

[PAPER]Родовой AL не фиксирует тензоры. Для PLM-based few-shot (EVOLVEpro): $x$ кодируется frozen embedding $E(s)\in\mathbb{R}^{d}$ (residue-pooled average в выбранной конфигурации preprint), $y$ — скаляр assay. Amino-acid tokens внутри PLM; surrogate видит только вектор $E(s)$ и таблицу labels. Размерность $d$ зависит от выбранного PLM (ESM-2 15B в оптимальной конфигурации preprint); точное $d$ в Science SI в этом проходе NR. preprint: residue-pooled average embeddings; ESM-2 15B won grid search

5. Физическое представление

[INTERPRETATION]$x$ физически — полипептидная последовательность (мутант относительно parent). $y$ — экспериментальная величина, заданная assay, а не вычисленная энергия. PLM embedding — статистический sequence prior, не координаты атомов. Трансляция/ротация структуры не действуют: структуры нет. Перестановка residues ломает биологический объект; chain permutation не определена.

6. Физико-химический смысл

7. Что обучается

[CODE]В общем AL обучается surrogate $f_\phi$ на $D_t$. PLM может быть frozen (EVOLVEpro) или fine-tuned (другие методы — не этот класс по умолчанию). Loss surrogate — обычно MSE регрессии; в RF — impurity decrease по выбранному criterion (в коде friedman_mse). RandomForestRegressor criterion='friedman_mse'

[CODE]Negative examples — variants с низким $y$, если они измерены; отдельного contrastive loss нет в released EVOLVEpro.

8. Прямой проход и information flow

flowchart TD
  A["Пул вариантов U / embeddings E(s)"] --> B["Размеченные D_t"]
  B --> C["Surrogate fit f_phi"]
  A --> C
  C --> D["Ranking: yhat(x) для x в U_t"]
  D --> E["Batch B_t: top-k или иная strategy"]
  E --> F["Wet-lab assay"]
  F --> G["Новые y"]
  G --> B
  subgraph gen ["Выбор кандидатов — не sequence generator"]
    D
    E
  end
  subgraph eval ["Surrogate — evaluator внутри цикла"]
    C
  end
  subgraph exp ["Эксперимент"]
    F
  end

9. Training procedure

[PAPER]Каждый раунд: refit surrogate на накопленном $D_t$. Pretraining — у PLM, не у top-layer (EVOLVEpro: PLM не fine-tune под activity). Split: в DMS-симуляции remaining pool играет роль test; в live experiment «test» — ещё не измеренные embeddings. preprint Methods; CODE evolve_experimental

[INTERPRETATION]Утечка: если library содержит варианты, близкие к train по embedding, ranking может выглядеть сильным без обобщения на новый epitope/protein. Preprint симулирует на DMS, что не тождественно новому терапевтическому антигену.

10. Inference and generation

[CODE]Старт: embeddings всей библиотеки + labels текущих раундов. Нет diffusion steps, recycles, beam search. Отбор: sort по y_pred, head(num_mutants_per_round) при topn. First round: random (default в оптимальной конфигурации preprint) или diverse_medoids / explicit_variants. learning_strategy branches in evolve.py

[CODE]Нейросетевой inference PLM (эмбеддинг) отделён от выбора партии и от assay. Structure prediction, docking, MD, developability — внешние, если пользователь их добавит; в ядре EVOLVEpro их нет.

11. Conditioning

[PAPER]Conditioning = определение $\mathcal{X}$ (позиции, alphabet, single vs multi-mutant files) и выбор измеряемой переменной measured_var. Нет hotspot/epitope tensors. Multi-objective в preprint T7 — веса yield / translation / immunogenicity; это scalarization, не CDR mask. preprint T7 multi-objective; CODE measured_var

12. Вычислительная сложность

• Размер пула $|U|$ — основной драйвер scoring (матрица embeddings $\times$ RF predict).
• Число раундов $T$ и latency assay — обычно доминируют над GPU PLM после однократного эмбеддинга.
• Число деревьев RF (n_estimators=100 в коде) и размерность embedding.
• Эмбеддинг ESM-2 15B — отдельная стоимость, один раз на variant.
• Асимптотика GP $O(n^3)$ релевантна только если кто-то включит GP; default RF другой.

13. Преимущества

[PAPER]Явные experimental labels замыкают цикл на той функции, которую измеряют, а не на evolutionary likelihood. Frozen PLM даёт фиксированный feature map без необходимости backprop по миллиардам параметров на 10–16 точках. preprint motivation; few-shot vs pretrain comparison

[INTERPRETATION]Это не гарантия, что top-N найдёт глобальный оптимум или что RF калиброван. Преимущество относительно random screening показано в DMS-симуляциях и prospective кампаниях preprint — см. tool page, не обобщать на все белки.

14. Ограничения

• Математически: greedy top-N без $\sigma$ слабо исследует; возможен exploitation collapse.
• Представление: нет геометрии интерфейса, нет явной физики.
• Данные: качество и bias library; assay noise; few-shot переобучение.
• Обобщение: новый белок / новый механизм связывания не покрыт PLM+RF, обученным на другом $D_t$.
• Deployment: нужен closed-loop wet lab; это не zero-shot design tool.

15. Failure modes

• Exploitation collapse: все последующие раунды крутятся вокруг локального пика $\hat y$ ([INTERPRETATION], типично для greedy AL).
• Плохая калибровка: высокий $\hat y$ при шумном ELISA.
• Distribution shift: multi-mutants вне single-mutant train.
• Library misspecification: оптимальный мутант не входит в $U$.
• Смешение pMMS/likelihood PLM с функцией — preprint как раз предостерегает, что они расходятся.

16. Реализации в инструментах

17. Где применимо и где не применимо

[INTERPRETATION]Применимо: few-shot active learning, ML-guided directed evolution, affinity maturation при наличии assay. Workflow: few-shot / labelled mutation optimization.

[INTERPRETATION]Не применимо как замена de novo antibody design или CDR backbone generation. Не замена zero-shot mutation.

18. Методологические источники

[INTERPRETATION]См. нумерованный список в конце страницы. Foundational AL surveys дают словарь UCB/EI; белковый few-shot цикл — EVOLVEpro preprint/Science. Не переносить UCB на EVOLVEpro.

Инструменты, использующие подход

Где применимо

Где не стоит использовать

Papers каталога

Подтипы класса

• UCB
• Expected improvement
• Batch BALD