CAKE：大模型给贝叶斯优化“加料”，让黑箱优化不再“瞎猜”

贝叶斯优化：科学家的“盲人摸象”

在机器学习的世界里，我们常常遇到这样的尴尬：想调个超参数，但评估一次模型就要等上几个小时；想设计个新材料，但每次实验都要烧掉大把经费。这就是典型的“黑箱”优化问题——你只能看到输入和输出，中间过程完全是个谜。

贝叶斯优化（BO）就像是给盲人配了根智能拐杖。它通过构建一个概率代理模型（通常是高斯过程GP），在“利用已知好区域”和“探索未知区域”之间找到平衡。但问题来了：这根拐杖到底有多智能，很大程度上取决于GP的核函数选得好不好。

如果把GP比作一个厨师，核函数就是他的独家秘方。这个秘方决定了模型对函数特性的基本假设——是平滑的？周期性的？还是线性的？传统做法很偷懒：不管做什么菜，都用同一个秘方（比如Matérn或SE核）。结果就是，当秘方和食材特性不匹配时，做出来的菜可能难以下咽——优化过程要么收敛缓慢，要么直接跑偏。

更让人头疼的是，核函数可以通过加法和乘法组合出无限种可能。比如“线性+周期”可以捕捉带趋势的周期性数据，“平方指数×周期”可以表达局部周期性。但如何在无限的可能性中找到最优组合？这就像在宇宙中找一粒特定的沙子。

这时候，香港中文大学（深圳）、伊利诺伊大学和雅典大学的研究团队端出了他们的“蛋糕”——Context-Aware Kernel Evolution（CAKE）。这个方法的妙处在于，它请来了当下最火的“全能选手”大语言模型（LLM）当导师，指导核函数的进化过程。

想象一下这样的场景：一群核函数在参加“生存竞赛”，LLM就是那个眼光毒辣的教练。每次迭代中，LLM会执行两种操作：

– **“联姻”**：把两个表现优秀的核函数的特点融合，生出更优秀的“后代”
– **“变异”**：对表现好的核函数进行局部改造，探索新的可能性

所有新生成的核函数都会加入种群，然后根据贝叶斯信息准则（BIC）进行选拔，优胜劣汰，完成一代又一代的进化。

但研究人员发现了一个有趣的现象：最能拟合已有数据的核函数，不一定能提出最有价值的下一步采样点。这就好比一个学生很会背课本，但遇到新题目就懵了。

为此，团队又端出了“BAKER”（BIC-Acquisition Kernel Ranking）。这个方法同时考虑两个指标：
1. 模型拟合度（你有多懂已知数据）
2. 采样潜力（你建议的下一个点有多大的探索价值）

通过巧妙平衡这两个方面，BAKER确保了优化过程既不会固步自封，也不会盲目冒险。

研究团队在三个真实场景中测试了CAKE的威力：

**超参数优化**：在60个机器学习任务上，CAKE在所有模型中取得了最高最终准确率。特别是在优化早期，它就像开了挂一样，用很少的样本就找到了高性能区域。

**控制器调优**：在机器人推送和月球着陆任务中，CAKE不仅收敛更快，还表现出惊人的鲁棒性。在难度爆表的月球着陆任务中，它是少数能成功达到目标分数的BO方法之一。

**光子芯片设计**：在这个复杂的多目标优化问题中，CAKE求得高质量解的速度比基线方法快了近十倍，大幅节省了设计时间和成本。

有人可能会问：LLM在这里是不是就相当于一个高级随机数生成器？实验证明并非如此。与随机重组或传统遗传算法相比，LLM引导的进化方向性更强，种群适应度提升更快。它真的在“思考”如何组合核函数。

更酷的是，LLM还能用自然语言解释它设计的核函数。比如在调优SVM超参数时，CAKE发现了一个复杂核，并给出了这样的解释：“这个核结合了周期性和局部平滑性，适合捕捉超参数空间的复杂结构。”这种可解释性是传统方法望尘莫及的。

当然，使用LLM会增加每次迭代的计算成本。但研究人员指出，在BO的典型应用场景（如药物研发、芯片设计）中，函数评估的成本（数小时甚至数天）远高于LLM推理的成本（秒级）。CAKE通过大幅减少所需的函数评估次数，在总体上实现了巨大的成本节约。

更令人兴奋的是，实验表明CAKE的性能随着LLM能力的提升而提升——这意味着这个框架具有良好的“未来兼容性”。等下一代大模型出来，CAKE可能会变得更强大。

CAKE的意义远不止于一个更好的优化算法。它标志着AI for Science领域的一次根本性跃迁——将大语言模型从文本生成工具提升为参与算法级结构设计的智能协作者。

未来，研究团队计划将CAKE的核心思想推广到其他基于核方法的机器学习任务中，如支持向量机、核主成分分析等。这项工作为构建更加自主、可解释且持续进化的智能系统开辟了新路径。

所以下次当你面对一个“黑箱”优化问题时，不妨想想这块“蛋糕”——它可能就是你需要的那个智能配方。毕竟，在科学探索的路上，有时候最需要的不是更多的数据，而是更聪明的思考方式。