Bayesian optimization

Байесовская оптимизация. Established English term: Bayesian optimization.

1. Область определения

[PAPER]Роль — sequential design loop / optimizer над дорогим oracle $f$: (i) probabilistic surrogate с полным posterior $p(f\mid D_t)$, не только точка $\hat y$; (ii) acquisition $a(x;p(f\mid D_t))$, которая использует mean и uncertainty. Без (i)+(ii) метод не BO, даже если sklearn-объект называется GaussianProcessRegressor. Frazier §2 Algorithm 1 two components: GP + acquisition

[INTERPRETATION]Generated / selected state — следующий query $x_{t+1}$ или batch $B_t$: непрерывный вектор, chimera/sequence из library, или latent code → discrete sequence. Scored state surrogate — scalar (или вектор) phenotype $f(x)$, не coords/frames. Это не density model токенов и не geometric inductive bias.

[MATRIX]Задачи каталога, к которым класс относится концептуально: few-shot active learning (seed architecture_ids включает этот id), при oracle = assay также ML-guided directed evolution. Workflow few-shot active learning в каталоге реализует другой decision rule (EVOLVEpro greedy). Не de novo backbone. architectures/bayesian-optimization.yaml applicable_task_ids; workflow architecture_ids omit BO

[INTERPRETATION]Это не active learning целиком: AL — надкласс любого batch $A_t$, включая greedy $\hat y$ без $\sigma$. BO ⊂ AL; обратное неверно. Это не few-shot mutation optimization как постановка «мало labels + fit $f_\phi$»: few-shot может быть RF без posterior.

[INTERPRETATION]Это не zero-shot mutation scoring: там нет task posterior $p(f\mid D)$ и нет новых $y$ в loop. $\Delta\ell$ / IF likelihood — не acquisition. Это не multi-objective optimization как класс выбора: scalarization или Pareto-filter без $p(f\mid D)$ не делают метод NEHVI.

[MATRIX]Catalog tools с architecture_id: bayesian-optimization: нет. Часто путают с EVOLVEpro (RF + top-$N$; optional regression_type='gp' без std). Не путать с Makowski (LDA-Pareto, не GP-UCB) и с ESM-1v efficient evolution (zero-shot). evolvepro.yaml architecture_ids: PLM, AL, few-shot; reverse index BO empty

[INTERPRETATION]Seed YAML перечисляет subtype «Random-forest surrogate». Не принимать: RF с точечным $\hat y$ — не probabilistic BO. Foundational protein exemplar класса в литературе — Romero GP-UCB (не карточка tools). Sequence latent exemplar — LaMBO (не карточка tools). content/architectures/bayesian-optimization.yaml subtypes vs extra_constraints

[PAPER]Пакетного pretrained «BO generator» нет. Каждая кампания — свой oracle, своё $\mathcal{X}$, свой kernel. Не переносить $T_{50}$ P450 или FoldX $-\Delta G$ RFP на antibody $K_d$. Romero family-specific models; LaMBO FoldX in silico ≠ SPR

2. Интуитивный принцип

[PAPER]Oracle $f$ дорог (часы ELISA, дни конструкции). Surrogate держит распределение ландшафтов, согласованных с $D_t$. Следующий эксперимент — там, где ожидаемая польза высока: высокий predicted fitness (exploit) или высокая неопределённость, которая может скрывать лучший оптимум (explore). Inference меняет состав $D$ и, следовательно, posterior; не семплирует шумовую 3D-траекторию. Frazier §1 expensive black-box; Romero exploitation–exploration dilemma

[PAPER]Frazier: классический непрерывный BO лучше работает при $d\lesssim 20$ непрерывных координат и терпит стохастический шум. Белковые строки $20^L$ — либо pool-based discrete BO (argmax $a$ по конечному $U$), либо непрерывный latent с decoder (LaMBO). Frazier §1 typically d≤20; LaMBO §1 discrete high-dimensional

[PAPER]Рычаг Frazier: выбор $a$ (EI vs KG vs entropy search) и kernel hyperparameters $\eta$ (MLE/MAP/fully Bayesian). PAPER. Рычаг Romero: structure-based contact kernel vs Hamming; κ=2 в UCB; batch-mode «update as if y=μ». PAPER. Рычаг LaMBO: NEHVI vs scalarization; entropy penalty $\lambda$ на decoder; corruption-initialized $Z_0$. PAPER. Frazier §3.2; Romero Methods UCB; LaMBO Eq. 3 λ=0.01

[PAPER]Отдельный Romero-контур не UCB: greedy experimental design максимизирует expected mutual information, чтобы набрать informative set (20 затем 10 химер), затем уже GP на activity/Kd. Это design-of-experiments, не acquisition оптимизации $T_{50}$. Romero Experimental Design on Holey Landscapes

[PAPER]Предостережение по метрикам этого класса. GP $\mu(x)$, $\sigma(x)$, UCB, EI, NEHVI, hypervolume, FoldX $-\Delta G$, SASA, Spearman CV $r$, T50 CV — не experimental affinity / $K_d$ / ELISA / BLI, пока oracle цикла не есть этот assay. $\mu$ — интерполяция измеренного $y$, не $\Delta G$ head. LaMBO in silico Stability — FoldX simulator (evaluator), не энергия GP. LaMBO Fig. 1 FoldX -dG and SASA; Romero T50 CO-difference spectroscopy

[INTERPRETATION]Greedy ranking по $\hat y$ без $\sigma$ — exploitation, не BO. pLDDT / docking / ESM $\Delta\ell$ не заменяют $f$, если цикл на них не замкнут. Не сравнивать Romero EXPc5 $T_{50}=69.7$ °C с EVOLVEpro REGN10987 ELISA как один benchmark: $f$, $\mathcal{X}$ и decision rule разные.

[PAPER]При inference в непрерывном EI меняется точка $x_{n+1}=\arg\max\mathrm{EI}_n$. В Romero UCB меняется batch из 5 химер + обновление GP. В LaMBO меняются discrete sequences, декодированные из $Z$ после inner-loop шагов. В EVOLVEpro experimental path меняется ranked CSV по $\hat y$ RF — не этот класс. Frazier Eq. 9; Romero batch 5; LaMBO inner loop; CODE evolve_experimental

[INTERPRETATION]Seed one-liner $x_{t+1}=\arg\max a(x;p(y\mid D))$ — generic sketch. Он не уравнение default EVOLVEpro и не LaMBO inner-loop $\ell_{\mathrm{query}}$.

3. Формальная математическая постановка

[INTERPRETATION]Сначала родовой loop Frazier. Затем подтипы с разными уравнениями: (A) GP posterior + EI (Frazier; foundational, не tool); (B) GP-UCB на chimera space (Romero; literature, не карточка); (C) latent NEHVI (LaMBO; literature). Контрпример (D) — sklearn GP без $a$. Не одна «универсальная» формула на Romero и EVOLVEpro.

[INTERPRETATION]Формулы, которые не принадлежат классу как train target / default catalog tool: UCB на EVOLVEpro; Meier $\Delta\ell$; AF2 FAPE; diffusion score; AR NLL ProGen; RF friedman_mse. Seed RF-subtype — не уравнение BO.

[PAPER]Negative / non-binder labels в BO loss: нет отдельного contrastive head. Низкий $y$ входит в $D_t$ как ordinary observation. Docking decoys не входят, пока пользователь не сделал их oracle. Frazier observations of f; Romero experimental y

[INTERPRETATION]Не сравнивать hypervolume LaMBO, $r=0.95$ Romero T50 CV и EVOLVEpro DMS grid как один benchmark.

Подтип A — GP posterior и expected improvement (Frazier; foundational, не карточка tools)

[PAPER]Prior: $f(x_{1:k})\sim\mathrm{Normal}(\mu_0,\Sigma_0)$. Posterior после noise-free наблюдений — Frazier Eq. 3. Jitter $10^{-6}$ на диагональ $\Sigma_0$ для стабильности Cholesky. Hyperparameters $\eta$: MLE / MAP / MCMC marginalization (§3.2). Не equation Romero contact kernel и не EVOLVEpro. Frazier Eq. 2–3; numerical 10^{-6}; §3.2 MLE/MAP/fully Bayesian

Подтип B — GP-UCB на chimera space (Romero 2013; literature, не карточка tools)

[PAPER]Kernel: structure-based. Contact map P450 heme: 91 PDB chains ≥50% ID к parents; contact если heavy atoms $<4.5$ Å в $>50\%$ цепей. Sequence $s$ → binary indicator vector $x$ аминокислот на каждом residue–residue contact. Hyperparameter $\sigma_p$: prior variance одного контакта. Точная $k(s,s')$ latex — NR (HTML stripped). Hamming kernel — абляция (Fig. S1, SI не close-read). Romero Methods Gaussian Process Regression; contact 4.5 Å, 91 chains

[PAPER]UCB: mean + 2 SD. Batch 5: после выбора точки модель обновляется, как если бы значение равнялось текущему $\mu$ (Desautels et al. 2012 cited). MC search: always accept лучший UCB, худший с вероятностью 1%; стоп после 1000 итераций без улучшения; 100 restarts. Не EI. Не EVOLVEpro. Не equation catalog tool. Romero Methods Upper Confidence Bound Sequence Optimization

Подтип C — latent multi-objective BO (LaMBO; literature, не карточка tools)

[PAPER]Encoder $g(x)=Z$ token-level; discriminative $w(Z)=Z'$; pool mean over non-pad. MTGP: Matérn $5/2$ на sequence features × ICM по задачам $f_i$. Acquisition: NEHVI (Daulton 2021a, формула NR). Decoder $h$: MLM или LANMT. Outer loop Algorithm 1: fit, inner-loop query, observe y, update Pareto. Не catalog tool. Не antibody CDR campaign. LaMBO §4.1 Discriminative Head; §2.2 Algorithm 1

Контрпример — sklearn GP без acquisition (EVOLVEpro; не этот architecture_id)

[CODE]regression_type=='gp' создаёт GaussianProcessRegressor(kernel=None, alpha=1e-10, n_restarts_optimizer=0, normalize_y=False). Затем predict без return_std; y_std_train/test = np.zeros(...); сортировка y_pred. Experimental path evolve_experimental жёстко regression_type='randomforest'. Это GP regression without acquisition, не GP-UCB. Tool-specific negative control EVOLVEpro. model.py top_layer gp branch and zeros; evolve.py evolve_experimental regression_type='randomforest'

4. Представление данных

[INTERPRETATION]Класс не фиксирует residue graph. Узлы/pairs появляются только если kernel их кодирует (Romero contacts) или encoder (LaMBO CNN). Time embedding diffusion нет. Masks — padding LaMBO и optional DAE corruption, не contig RFdiffusion.

[PAPER]Непрерывный BO (Frazier): $x\in\mathbb{R}^d$, $d\lesssim 20$; $A$ обычно hyper-rectangle или simplex. Не аминокислотные токены. Размерности kernel $\alpha_{0:d}$ — параметры, не N residues. Frazier §1 d≤20; feasible set hyper-rectangle or simplex

[PAPER]Romero: chimera как набор crossover blocks трёх P450 (CYP102A1/A2/A3, ~65% pairwise identity, Otey 2006 cited). Вход сети vs файл: contact map из 91 PDB chains — внешняя структурная база, не тензор forward pass в момент inference. Binary $x$ контактов — feature kernel, размерность NR (HTML не даёт $|x|$). Romero Results recombination eight fragments; Methods 91 chains

[PAPER]Romero labels: $T_{50}$ (10 min inactivation, CO-difference, ≥triplicate, median); activity = A500 after 4-AAP (triplicate, median); $K_d$ dopamine/serotonin (Soret shift, ≥triplicate, median). CSV library — Dataset S1–S3, SI не разобран. Romero Methods Characterization of T50 / activity / binding

[PAPER]LaMBO: $\mathcal{X}=\times_{i=1}^{t}\mathcal{V}$ с pad token; $Z=[z_1,\ldots,z_t]$, $z_i\in\mathbb{R}^d$ ($d$ hidden — Appendix, точное число NR this pass beyond architecture prose). Pool: mean $Z'$ over $\mathcal{I}(x)$ excluding pad. Conditioners: base sequences from pool, not antigen graph. LaMBO §2.1 input space; §4.1 pooling

[CODE]EVOLVEpro GP option: те же frozen PLM mean-pool векторы, что RF. Вход — embedding table + labels CSV; PDB numbering не вход GPR. Аугментаций геометрии нет. top_layer X_train from embeddings_pd

[PAPER]Аугментации, меняющие геометрию/токены: LaMBO DAE corruption (sub/ins/del на non-utility positions) для $Z_0$ и train. Romero не ротирует coords. Frazier: нет sequence aug. LaMBO §4.2 corruption function

[PAPER]Batching: Romero UCB batch 5 параллельных конструкций. LaMBO query batch $b=16$. Frazier parallel §5 — pointer, не protein protocol. EVOLVEpro num_mutants_per_round — не NFE diffusion. Romero batch-mode five sequences; LaMBO Appendix |D0|=512, b=16

[INTERPRETATION]Размерности pair $O(N^2)$ AF2 / diffusion не data-repr этого класса, пока не выбран другой модуль.

5. Физическое представление

[PAPER]Математический $x$ ↔ вариант последовательности / chimera / latent code, не атомы в state Frazier. $y$ ↔ экспериментальный (или симулированный) scalar: Romero $T_{50}$, activity, $K_d$ ligand; LaMBO in silico FoldX $-\Delta G$ и SASA; in vitro log-RFU brightness и melting temperature. Assay label — oracle, не выход GP как энергия. Romero T50 definition; LaMBO Fig. 5c log-RFU and Tm

[PAPER]SE(3): не применимо к vanilla GP на descriptors/embeddings. Contact kernel Romero фиксирует fold family (P450 heme map): это smoothness prior, не equivariant сеть. Global rotation PDB не меняет contact map, если атомы те же; другая кристаллическая форма может изменить 4.5 Å pairs (не измерено here). Romero assumes fixed structure within a protein family

[INTERPRETATION]Перестановка residues ломает и строку, и contact indicators. Chain concat: Romero — одна heme domain chimera, не VH||VL. LaMBO pad concat — представление длины, не antibody pairing.

[PAPER]Side chains: Romero contacts считают любые heavy atoms $<4.5$ Å при построении карты семейства, не предсказывают rotamers в state. Packing post-hoc нет в loop. LaMBO tokens = AA identity; side-chain coords отсутствуют. Romero contacting if any heavy atoms within 4.5 Å

[PAPER]Промежуточный $Z_t$ / GP $\mu$ ≠ физическая траектория фолдинга и ≠ энергия. FoldX $-\Delta G$ LaMBO — отдельный evaluator/simulator, не GP head. LaMBO Appendix FoldX suite and BioPython

[PAPER]GP classification Romero (functional/nonfunctional, CO binding lysate) — discrete phenotype, Laplace approximation; 89% vs 81% fragment logistic (10-fold CV). Не ELISA antibody. Romero functional status 89% accuracy 10-fold CV

[PAPER]Шум $\varepsilon$: Frazier later §5 Gaussian independent; Romero $\sigma_n^2$ в regression. Калибровка $\sigma$ ≠ pipetting noise ELISA, если kernel плохой. Frazier noise assumed Gaussian; Romero σ_n hyperparameter CV

[PAPER]Broken equivariance как failure 3D-сетей здесь не главный режим; главный — kernel misspecification и library misspecification (Romero restricted to observed AA at each position). Romero Discussion predictions restricted to amino acids observed in training

6. Физико-химический смысл

[INTERPRETATION]GP не имеет energy head. Ниже — что кодируется в постановке класса vs oracle. Запрещено писать, что модель «считает $\Delta G$», если oracle не FoldX/эксперимент и head не энергия.

7. Что обучается

[PAPER]Обучается posterior surrogate: гиперпараметры ядра $\eta$ (lengthscales, $\alpha_0$, $\sigma_n$, Romero $\sigma_p$) максимумом likelihood / MAP / MCMC (Frazier §3.2). Romero regression: $\sigma_p,\sigma_n$ по cross-validation; classification: $\sigma_p$ maximizing marginalized likelihood, Laplace posterior. Frazier §3.2; Romero Methods hyperparameters CV / marginalized likelihood

[PAPER]Acquisition сама по себе обычно без loss: критерий на уже полученном posterior. Исключение: LaMBO inner loop учит/двигает proposal (DAE + $\ell_{\mathrm{query}}$); unsupervised DAE loss + supervised GP — joint training (Fig. 11 caption). LaMBO Fig. 11 unsupervised DAE + supervised GP

[PAPER]Frozen vs trained: Frazier/Romero — нет PLM. LaMBO — CNN encoder обучается (может заменить на frozen ChemBERTa/TAPE/ESM drop-in — предложение авторов, не обязательный default). EVOLVEpro PLM frozen; GPR fit only — и всё равно не BO. LaMBO §4.1 ChemBERTa/TAPE/ESM drop-in; CODE EvolvePro frozen embeddings

[INTERPRETATION]Negative / contrastive / affinity labels в loss: нет как отдельный term. Низкий y — ordinary data. Non-binder docking decoys — нет, пока не oracle.

[PAPER]Fine-tune vs pretrain: Romero — только experimental family data (242 T50 Li 2007 library, затем 261 before UCB). LaMBO: «No additional pretraining data is used» in silico protocol; start pool 512 labeled. EVOLVEpro Science/preprint — не pretrain BO. Romero 242 published T50; LaMBO §5.1 512 examples no extra pretrain

[PAPER]GP cubic: учится Cholesky $K+\sigma_n^2 I$, не SGD по миллиарду параметров. LaMBO упоминает exact и variational GP (Hensman SVGP) — когда $n_t$ тысячи. LaMBO §2.2 SVGPs; Frazier Cholesky Algorithm 2.1 RW2006

[PAPER]Romero informative-set: не UCB loss; objective expected Shannon entropy / mutual information (submodular greedy). Отдельные параметры classifier functional status. Romero Methods Experimental Design E[H(S)]

[CODE]Не путать обучение RF 100 trees EVOLVEpro с обучением GP-UCB. Grid DMS, где GP — одна из regression_types, всё равно сортирует $\hat y$. top_layer gp still zeros std; evolve_experimental RF

[PAPER]Fully Bayesian marginalization $\eta$ (Frazier Eq. 5–6 slice sampling) — в Romero/LaMBO HTML как default campaign не описан; Romero uses CV. Не приписывать MCMC всем подтипам. Frazier Eq. (5)–(6); Romero CV not MCMC

8. Прямой проход и information flow

[PAPER]Порядок Frazier: space-filling $n_0$ → update posterior → maximize $a$ → observe $f(x_n)$ → repeat. Sequence появляется, только если $A$ — sequences. Geometry — только если kernel/oracle её требует. Frazier Algorithm 1

[PAPER]Порядок Romero thermostability: train GP on 261 T50 → MC UCB over parents/crossovers → batch 5 (fantasy y=μ) → express/measure T50 in lysate → update. Inverse folding / AF / docking нет в loop. Romero Sequence Optimization on Gaussian Process Landscapes

[PAPER]Порядок Romero informative set: GP classifier functional → greedy maximize E[I(S;L)] on 4716 constructable chimeras → 20 then 10 sequences → purify → activity/Kd assays → GP regression log activity / log Kd. Не UCB. Romero Experimental Design; 4716 sequences overlap PCR

[PAPER]Порядок LaMBO: fit DAE+MTGP → choose base from Pareto/history → corrupt → encode $Z_0$ → inner grad $\ell_{\mathrm{query}}$ → decode batch $b$ → score uncorrupted through encoder+GP → oracle (FoldX or wet lab) → update $\mathcal{P}$. Decoder — generative head внутри LaMBO, не отдельный ProteinMPNN каталога. LaMBO Algorithm 2 inputs; §4.3

[PAPER]Не прятать AF/docking внутрь «одной сети», если это oracle. DRD3 docking+SA — in silico task LaMBO, evaluator TDC, не GP. LaMBO small-molecule tasks DRD3 docking

[CODE]Score появляется после posterior: $\mu,\sigma$ затем $a$. У EVOLVEpro score = $\hat y$ без $\sigma$. top_layer predict then zeros

[PAPER]Pack / relax / clash filter в классе нет как обязательный post-hoc. Romero characterization — spectroscopy, не Rosetta. Romero Methods Characterization

[INTERPRETATION]Assay latency доминирует wall-clock; forward GP на $n_t\sim 10^2$ — секунды CPU typical, GPU NR.

flowchart TD
  INIT["Initial design / library / D_0"] --> ORC["ORACLE experiment or simulator f"]
  ORC --> DT["Labeled D_t"]
  DT --> SUR["SURROGATE GP or MTGP posterior"]
  SUR --> ACQ["Acquisition a mean and sigma"]
  ACQ --> ARG["argmax over A or grad on Z"]
  ARG --> DEC["Optional DAE decoder / chimera PCR"]
  DEC --> ORC
  SUR --> CNT["COUNTEREXAMPLE EVOLVEpro: RF or GP mean only std=0 sort y_pred"]
  CNT --> CSV["Ranked CSV not UCB"]
  subgraph surblk ["Surrogate not assay"]
    SUR
    ACQ
  end
  subgraph expblk ["Experiment / evaluator oracle"]
    ORC
  end
  subgraph propblk ["Proposal not de novo fold generator"]
    ARG
    DEC
  end

9. Training procedure

[INTERPRETATION]Корпус — пользовательский oracle, не PDB dump как train set BO. Romero contact map строится из PDB, но labels — экспериментальные химерные P450. Split online: $D_t$ vs ещё не измеренное. Случайный CV hold-out завышает успех относительно нового batch с distribution shift.

[PAPER]Romero T50: 242 published chimeric measurements (Li et al. 2007) train GP, 10-fold CV $r=0.95$, MAD $=1.4$ °C vs fragment-linear $r=0.90$, MAD $=2.0$ °C. Сравнение train size 2–60, 1000 random draws. На sequences вне fragment representation (CYP102A1/A2 different crossovers, mean 29.6 mutations from nearest train): $r=0.82$, MAD $=2.6$ °C. Romero Fig. 2A–C; 242 T50; 29.6 mutations

[PAPER]Romero functional classifier: large chimera set Otey 2006; 89% vs 81% fragment logistic, 10-fold CV; 82% on different-crossover test. Не antibody split. Romero binary functional status paragraphs

[PAPER]Romero activity/Kd: 29 sequences (3 parents + 26 designed); outliers ED7/9/12/28 spectral Soret shift removed. Leave-one-out r: 2-phenoxyethanol 0.77; 11-phenoxyundecanoic 0.74; dopamine 0.73; serotonin 0.68; chlorzoxazone 0.27. Не ELISA mAb. Romero Fig. 3 and listed r; outlier Methods

[PAPER]LaMBO in silico: start 512, 1024 online queries, batches of 16, 10 trials, hypervolume vs start; no extra pretrain. Tasks: bigrams; logP+QED; DRD3 docking+SA; RFP stability+SASA (FoldX+BioPython). Это симуляция, не prospective mAb. LaMBO §5.1 Unless otherwise noted 512 / 1024 / batches of 16

[PAPER]LaMBO in vitro: sequences designed to optimize Stability+SASA, then brightness log-RFU and melting T. Non-dominated variants for 3 of 5 ancestors, strictly dominant mScarlet and DsRed.M1; two ancestors inconclusive. Appendix A.5 procedure — pointer, не close-read SI numbers beyond HTML. LaMBO §5.4 Fig. 5c; three of five ancestors

[CODE]EVOLVEpro: GP — grid option на DMS simulations, не experimental default. Leakage: близкие мутанты коррелируют; не выводить split из README. grid_search regression_types may include gp; evolve_experimental RF

[PAPER]Teacher forcing / self-conditioning / time-sampling diffusion: нет в классе. LaMBO DAE denoising — другое (token corruption), не diffusion $t$. LaMBO DAE corruption vs Frazier no time index

[PAPER]Batching GP: полный $K$ на $n_t$ points. Frazier: observe one $x_n$ per iter in Alg. 1; parallel §5 exotic. Romero wet-lab batch 5. Не путать с AF recycle. Frazier Algorithm 1 one evaluation; Romero five sequences per UCB iteration

10. Inference and generation

[PAPER]Старт: Frazier — $n_0$ space-filling / uniform random. Romero UCB — GP already trained on 261 T50. LaMBO — labeled start pool 512. EVOLVEpro first round — random / diverse_medoids / explicit_variants, не argmax EI. Frazier Alg. 1 n0; Romero 261 sequences; LaMBO 512; CODE first_round

[PAPER]Непрерывный EI: maximize дешёвой дифференцируемой $a$ (Frazier: L-BFGS-B multi-start). Discrete pool: полный скан $U$ или GA. Romero: Monte Carlo parents × crossover; accept better UCB always, worse 1%; 1000 idle stop; 100 restarts. Frazier Eq. 9 L-BFGS-B; Romero MC 100 restarts

[PAPER]LaMBO: inner steps $j_{\max}$ (Appendix, точное default NR beyond table entropy 1e-2, batch 16); decode stochastic $h$; keep best acquisition batch. Controlled comparison: 1 token per round. Stopping: фиксированный query budget 1024. LaMBO §5.2 single token per round; 1024 queries

[INTERPRETATION]Post-hoc pack / relax / AF / likelihood rerank: не часть родового BO. Помечать evaluator, если пользователь добавил. Romero T50 — experiment, не pLDDT filter.

[PAPER]Чего в классе нет: beam search LM; AF recycle; assay внутри сети; classifier-free guidance diffusion. Thompson sampling — упоминается в литературе BO, Frazier HTML этот tutorial фокусирует EI/KG/ES, не TS protein protocol. Frazier §4 EI then KG then ES

[CODE]EVOLVEpro inference даже при GP: model.predict(X) без std → zeros → sort_values('y_pred'). learning_strategy dist/random/topn2bottomn2 — не EI/PI/UCB. evolve.py learning_strategy branches sort y_pred or dist_metric

[PAPER]Final Romero exploitation EXP: maximize expected value; fantasy update with LCB (mean − 2 SD) для diversity. EXPc5 $T_{50}=69.7$ °C. Это decision rule кампании, не catalog default. Romero final exploitation step; EXPc5 69.7 °C

[PAPER]Temperature / top-k LM decoding: не BO. Temperature в смысле UCB κ Romero = 2 SD, не softmax T. Romero plus 2 SDs

11. Conditioning

[PAPER]Зажимается допустимое $\mathcal{X}=A$: box constraints (Frazier); enumerated mutational library; Romero — single- и double-crossover chimeras из уже доступных fragments (оценка авторов $\sim 10^{10}$ unique). LaMBO — seed pool + decoder support; entropy penalty удерживает queries рядом с виденным. Romero ~10^10 unique single/double crossover; LaMBO λ entropy

[INTERPRETATION]Чего нет: epitope tensor, ELISA labels как conditioner сети, species/chain tokens IgLM, contig RFdiffusion, CATH class head. Не приписывать antigen graph.

[PAPER]Classifier-free guidance / diffusion masking: нет в источниках класса. LaMBO masking — DAE/MLM, не CFG. LaMBO MLM decoder head

[PAPER]Multi-objective conditioning: вектор $f_{1:k}$ и reference $x_{\mathrm{ref}}$ для hypervolume (LaMBO). Не scalarization EVOLVEpro T7 20/40/40 (другой architecture_id). LaMBO §2.1 x_ref hypervolume; extra_constraints T7 not this page as BO

[PAPER]Romero informative design conditioned on parents already observed (covariance conditioned on parents). Functional-status probabilities $p_s$ взвешивают entropy. Romero first design conditioned on parent sequences

[CODE]Measured_var EVOLVEpro — имя столбца activity, не GP kernel. Не путать с BO target $f$. evolve_experimental measured_var='activity'

[PAPER]Hotspot / motif clamp: отсутствует. Library misspecification (нет нужных AA в train positions) — Romero явно: little predictive power for unobserved mutations. Romero Discussion mutations not observed in the training set

[INTERPRETATION]Guidance по pLDDT: не часть класса.

12. Вычислительная сложность

[PAPER]Драйверы: $n_t$ labels (точный GP $\mathcal{O}(n_t^3)$ fit, $\mathcal{O}(n_t^2)$ predict); $|A|$ или inner-loop steps на $Z$; batch $b$; число раундов; assay latency. Pair AF $O(N^2)$ — не драйвер BO, пока oracle не структура. Frazier Cholesky; LaMBO b=16

[PAPER]Frazier: добавляют $\sim 10^{-6}$ на диагональ $\Sigma_0$. Sparse / SVGP — когда $n_t$ тысячи (LaMBO mentions exact and variational). Frazier 10^{-6}; LaMBO SVGP citation

[PAPER]Romero inner argmax UCB: MC 100 restarts × until 1000 idle; 5 constructs/round wet lab. Wall-clock GPU — NR. Стоимость — клонирование/экспрессия, не NFE diffusion. Romero 100 independent restarts; batch five

[INTERPRETATION]LaMBO: 1024 queries × oracle FoldX; 10 trials. GPU/wall-clock — NR this pass (repo unaudited). Не писать «дешевле diffusion»: papers не дают NFE comparison с RFdiffusion. no NFE vs diffusion in Frazier/Romero/LaMBO HTML

[CODE]Параметр count GP ≪ PLM. Это не аргумент, что BO всегда лучше RF на том же embedding: EVOLVEpro experimental path выбрал RF и не использует $\sigma$. evolve_experimental randomforest

[INTERPRETATION]AR steps / kNN / beam: не драйверы класса. $|U|$ pool EVOLVEpro — драйвер greedy scan, не BO.

13. Преимущества

[PAPER]Явный explore/exploit при малом $n_t$, если $\sigma$ калиброван и $a$ его использует. Следует из постановки posterior+acquisition, не из маркетинга. Frazier EI increases with σ_n and Δ_n; Romero UCB

[PAPER]Romero: GP-UCB кампания → EXPc5 $T_{50}=69.7$ °C; $>5$ °C выше предыдущих optimized chimeras (5.3 °C vs published thermostable chimeras); $8.7$ °C выше CYP102A1 directed-evolution variants Salazar 2003; $14$ °C выше самого стабильного parent. UCBr1c4 first round $65.1$ °C; LCB check $67.2$ °C. Не обобщать на antibody Kd. Romero Fig. 4 EXPc5 69.7; 8.7 °C; 5.3 °C; 14 °C parent; UCBr1c4 65.1; LCB 67.2

[PAPER]Romero predictive: CV $r=0.95$ T50 на 242 chimeras; Hamming/structure kernel лучше additive fragment model на малых train (Fig. 2B, 1000 draws). Это accuracy surrogate на P450 T50, не гарантия стабильности любого белка. Romero Fig. 2A r=0.95 MAD 1.4 °C

[PAPER]Closed-form GP posterior: EI/UCB без ансамбля из 100 сетей (Frazier). Следует из Gaussian conjugacy, не из wet-lab. Frazier Eq. 3 closed form

[PAPER]LaMBO in silico: hypervolume Pareto > NSGA-2 и GA+MTGP+NEHVI на четырёх задачах (Fig. 3, 10 trials, 20/50/80% quantiles). In vitro: non-dominated RFP для 3/5 ancestors, strictly dominant mScarlet и DsRed.M1. Не mAb affinity campaign. LaMBO Fig. 3 and §5.4 three of five

[PAPER]Не требует de novo geometry generator. Query-efficient, когда oracle дорог (Frazier: typically few hundred evaluations). Frazier §1 limited to a few hundred evaluations

[PAPER]Это не гарантия стабильности / аффинности / экспрессии вне измеренного oracle и family. Romero: models applicable only to the specific protein family trained on. Romero Discussion accuracy comes at the cost of generality

[INTERPRETATION]Не license писать UCB в карточку EVOLVEpro. Quantitative numbers выше — PAPER Romero/LaMBO, не класс-универсал.

14. Ограничения

[PAPER]Математика: smoothness kernel; cliff epistasis ломает GP; cubic $n_t$; noise-free EI предполагает, что финальный ответ уже измерен (noisy-EI/KG — отдельные формулы Frazier §4–5, не default Romero). UCB κ выбирают эвристически (Romero 2). Frazier EI derivation evaluated-point assumption; Romero κ=2

[PAPER]Представление: $d\lesssim 20$ для vanilla continuous BO; сырые AA-строки без kernel/latent не стандартный GP-вход. Romero $|x|$ contact features NR. Combinatorial $20^L$ без pool/latent не сканируется. Frazier d≤20; LaMBO motivation high-dimensional discrete

[PAPER]Физика/химия: нет явного растворителя, протонирования, гликанов, интерфейса Ab–Ag. Contact potential — residue-level assumption Romero; higher-order polynomial kernels только Discussion proposal. Romero Discussion polynomial kernels not used in campaign

[PAPER]Данные/bias: качество = oracle; batch effects в y; Romero activity outliers с shifted Soret — удалены post hoc. Chimera libraries biased to functional (Drummond cited). Romero outlier detection; chimera high probability of functioning

[INTERPRETATION]Обобщение: Romero — P450 chimeras одного fold; LaMBO — fluorescent proteins / small molecules, не mAb $K_d$. Khan 2022 CDR SSK — NR methods. Не переносить EXPc5 на REGN10987.

[CODE]Deployment: в каталоге нет released BO loop. LaMBO repo не аудирован. EVOLVEpro default не BO; GP option обнуляет std. Science EVOLVEpro SI — inaccessible. reverse index empty; model.py zeros

15. Failure modes

• {'text': 'Считать greedy $\\hat y$ (EVOLVEpro topn, std_predictions zeros, evolve_experimental RF) реализацией UCB/EI.', 'source': 'CODE', 'locator': 'model.py y_std zeros; evolve.py sort y_pred'}
• {'text': "Включить regression_type='gp' в симуляции и назвать это GP-BO, хотя return_std не вызывается.", 'source': 'CODE', 'locator': 'GaussianProcessRegressor.predict without return_std'}
• {'text': 'Kernel misspecification: RBF на ESM-векторе не моделирует резкий loss-of-function; Romero Hamming без структуры хуже contact, но всё ещё smoothness.', 'source': 'PAPER', 'locator': 'Romero Hamming vs structure Fig. S1 pointer'}
• {'text': 'Over-exploration на шумной ELISA: максимизируется $\\sigma$, а не сигнал.', 'source': 'INTERPRETATION'}
• {'text': 'Over-exploitation: $\\kappa\\to 0$ или noise-free EI $=0$ в уже измеренных $x$ (Frazier: EI 0 at evaluated points).', 'source': 'PAPER', 'locator': 'Frazier Fig. 1 EI zero at observed points'}
• {'text': 'Latent BO: decoder collapse / invalid sequences без entropy penalty (LaMBO λ ablation: penalty helps biological sequences, hurts random Bigrams).', 'source': 'PAPER', 'locator': 'LaMBO Fig. 4 entropy penalty biological vs Bigrams'}
• {'text': 'Подмена oracle: оптимизация pLDDT/docking/FoldX как будто это experimental $f$, без петли assay.', 'source': 'INTERPRETATION'}
• {'text': 'Library misspecification: Romero — мутации, не виденные в train, мало предсказуемы; UCB ищет в $\\sim 10^{10}$ constructable chimeras, не в полном $20^L$.', 'source': 'PAPER', 'locator': 'Romero restricted design space; unobserved mutations'}
• {'text': 'Fantasy-batch: Romero обновляет GP как y=μ; если истинный y далеко, batch коррелирован и недоисследует.', 'source': 'PAPER', 'locator': 'Romero batch-mode assumed value equals expected value'}
• {'text': 'Смешать journal/preprint чисел EVOLVEpro Science vs bioRxiv; сравнивать T50 P450 с ELISA.', 'source': 'INTERPRETATION'}
• {'text': 'Приписать epitope conditioner / ELISA labels методу, где их нет.', 'source': 'INTERPRETATION'}
• {'text': 'Перенести Romero informative-set 29 chimeras как «UCB round» — это другой алгоритм (mutual information).', 'source': 'PAPER', 'locator': 'Romero two algorithms: informative vs UCB'}
• {'text': 'Считать LaMBO in silico hypervolume 1.57 vs 1.51 (NEHVI vs scalarization, Fig. 6) antibody affinity gain.', 'source': 'PAPER', 'locator': 'LaMBO Fig. 6 hypervolume 1.51 vs 1.57 RFP task'}
• {'text': 'Broken SE(3) как главный failure — не применимо; путать с frame diffusion.', 'source': 'INTERPRETATION'}

16. Реализации в инструментах

[MATRIX]Reverse index architecture_id: bayesian-optimization: пуст. Ниже — literature exemplars (не карточки tools) и частые путаницы. Неравные oracles не в одной колонке «успех».

17. Где применимо и где не применимо

[MATRIX]Применимо, когда есть дорогой oracle, ограниченный бюджет queries и surrogate с честным $\sigma$: chimera libraries, pool-based mutants, latent sequence design. Концептуально few-shot active learning и ML-guided directed evolution. Практический released loop каталога — EVOLVEpro greedy RF, см. active learning, не этот id.

[MATRIX]Workflow few-shot active learning в YAML не несёт architecture_id BO: proposal stage помечен AL. Не утверждать, что workflow «использует GP-UCB». workflows/few-shot-active-learning.yaml architecture_ids

[MATRIX]Запрет: de novo backbone — frame diffusion / RFdiffusion. Epitope-conditioned antibody 3D — RFantibody. Sequence LM без labels — zero-shot. Inverse folding redesign — AntiFold / ProteinMPNN.

[INTERPRETATION]Запрет: выдавать NEHVI/UCB за измеренный $K_d$. Запрет: humanization CNN (Humatch) как BO. Запрет: BindCraft filter cascade как GP-BO.

[INTERPRETATION]Нельзя решать codon/CHO/secretion этим классом. Нельзя сравнивать Romero $T_{50}$ с Makowski dual-improved IgG % как один успех.

18. Методологические источники

[PAPER]Foundational BO: Frazier arXiv 1807.02811 прочитан HTML (Alg. 1, GP, EI, KG). Jones 1998 — pointer via Frazier, оригинал не читался. Rasmussen & Williams 2006 — pointer (sklearn [RW2006], Frazier §3). Srinivas GP-UCB — pointer via Romero, theorems NR.

[PAPER]Protein GP-BO: Romero PNAS прочитан PMC HTML Methods+Results; SI PDF и display Eq. 1–2 — inaccessible. Catalog paper_id seed указывает paper-evolvepro — это контрпример, не primary BO. architectures/bayesian-optimization.yaml paper_ids: paper-evolvepro

[PAPER]Sequence latent BO: LaMBO arXiv HTML прочитан; PMLR ICML pagination не сличена; github unaudited. Daulton NEHVI — pointer. Не библиография всего BayesOpt (Snoek DNN, BoTorch examples).

[CODE]CODE negative control: EvolvePro 1c77697 model.py / evolve.py инспектирован. Не выдавать за реализацию класса. commit 1c77697d0c09bf6989a1562a55da99301a12e2cd

Инструменты, использующие подход

Где применимо

Где не стоит использовать

Papers каталога

Подтипы класса

• GP-BO
• Random-forest surrogate