与Coello Coello教授进行深入访谈
Carlos Artemio Coello Coello教授是生物启发的元启发式多目标优化领域的先驱者。他于1996年在Tulane大学获得计算机科学博士学位，并担任墨西哥城CINVESTAV-IPN的计算机科学系的教授。以其开创性的贡献而闻名，据Google Scholar统计，他的文章被引用超过68,000次，H指数为102。值得注意的是，根据OSPHERE开发的2016年上海全球学科排名，他是最常被引用的300位计算机科学家之一。在他的职业生涯中，他是如何看待多目标优化在基于Transformer模型的许多突破中的作用、科学家最重要的特质以及多目标优化领域应该有何不同之处，详细阅读本文。
我想深入了解您的个人经历。您在1996年于Tulane大学选择一项适合博士研究的课题。您能简要地告诉我是什么事情引导您去研究进化多目标优化吗？
这是一个很长的故事，所以我会尽量讲得简短一些。当我去Tulane攻读计算机科学硕士和博士学位时，我不知道我想研究什么课题。我知道我不想做软件工程或数据库。首先，我尝试了编程语言，然后是机器人。两者都没有成功。偶然间的一天，我读到了一篇使用遗传算法解决结构优化问题的论文。我决定将一门课程的作业专门研究这篇论文，开发我的遗传算法，并编写用于分析的软件。这让我非常兴奋，因为我现在可以看到遗传算法如何相对容易地产生复杂优化问题的良好解决方案。对进化算法的这种兴奋一直持续到今天。
然而，虽然Tulane有两位教授在研究进化算法，但我决定加入一个机器人专业的教授。他对进化计算了解不多，我也是如此，但我们决定可以共同工作。因此，他无法帮助我找到一个合适的课题。与进化算法合作的Bill Buckles教授建议我研究多目标优化，因为在那个领域中没有多少人在使用算法。在寻找相关论文之后，我找到了我的博士课题。很巧合地，这一切都是不经计划的。我相信很多伟大的事物都是偶然而不是经过计划的。
您能详细说明是什么激发了您对进化计算的兴趣吗？
传统优化和使用进化算法之间有很大的区别。传统优化主要依赖数学和微积分，而进化算法则受到自然现象的启发。我很着迷于自然如何以不同的方式适应物种，仅仅为了生存，以及这如何成为改进特定个体机制的强大工具。通过进化算法，我们模拟了这个过程，尽管是自然中发生的事情的粗糙、低质量版本。
进化算法似乎有着简单的框架，却能模拟复杂的自然现象，这反而带来了非凡的问题解决能力。在我努力理解它们为什么如此出色的过程中，我仍感到困惑。我读了很多与自然进化相关的论文。我试图了解一些流行科学杂志上关于此类发现的事情，而不是技术性的东西。
算法进化与自然进化之间的关系一直让我着迷。如果条件允许——有知识、时间和技能——我会将余下的职业生涯致力于解开它们的运作方式。
多目标优化领域的发展情况如何？
尽管多目标优化领域相对狭窄，但我在一个研究者数量有限的时代开始了我的研究之旅，这使我有机会探索各种不同的课题。虽然领域有所发展，但我观察到尽管有大量的论文，但缺乏独特的观点。
为什么会缺乏这种独特的观点？
研究人员在接受具有挑战性的问题和推动研究领域边界上有些迟疑。此外，我们还难以为我们的方法提供强有力的解释。我们仍然不敢去面对具有挑战性的问题、具有挑战性的研究课题，我们仍然无法解释我们所做的许多事情。我们掌握了解决特定问题的技术，但缺乏对这些技术潜在原理的更深刻理解。大多数人关注的是提出，而不是理解。这一认识促使我转变了关注重点。
在这个发展过程中，你扮演着什么角色？
随着我成熟起来，我的重点从单纯的提出转变为理解。我相信，如果没有其他人去承担这个任务，那就应该由我们来做。虽然剖析和理解算法有效性背后的机制和原因是一项具有挑战性的努力，但我认为这种追求对真正的科学进步至关重要。对于一个问题，你可能只需要两三种方法，而不是200种。如果没有办法对所有这些方法进行分类，那么无法证明一种新工具的必要性，而我不认为继续朝这个方向发展有多大意义。当然，人们会继续创作，这也没问题。但如果我们缺乏理解，我认为我们最终会得到一个没有未来的研究领域。我的最终目标是在确定是否需要新工具之前，将我的努力集中在理解现有工具上。
我们如何朝着更多理解现有方法的方向前进？
我们应该花更多时间尝试理解我们已经拥有的东西。然后，我们可以评估我们真正需要的东西。我们应该根据领域的需求来工作，而不是出于获得更多出版物的欲望。如果我们没有一种能够解决这个问题的工具，那么让我们致力于开发它。然后，研究应该朝着满足需求的方向而不是产生数字的方向前进。
这些问题是否围绕理解为什么特定算法有效的原因？
嗯，这不仅仅是关于为什么它们有效。为什么某些算法有效的问题无疑是关键的，但我们的探究不应局限于这一点。深入探究的一个关键方面是如何最好地将算法与应用匹配起来。当面对多个算法时，实践者们经常在确定哪个算法对于特定应用最优时感到困惑，无论是在组合优化还是连续优化领域。问题在于识别每个算法的理想情景。
今天，虽然我们没有为不需要进一步特征化的特定任务设计的算法，但理解并可能对通用算法分类同样重要。我们应该在其操作方面提取更多信息，并评估它们是否真正适用于各种任务，还是应该与特定任务相关联。
除了算法，还有一些工具和技术，比如标量化函数、交叉操作符、变异操作符和存档技术。有大量这些工具和技术。然而，只有少数几个是常用的，通常是由于它们在历史上的应用，而不是它们的有效性的内在理解。我们应该探讨类似于“为什么使用一种方法而不是另一种方法？”这样更广泛、更微妙的问题是我们领域需要关注的。
能否解释一下进化算法在多目标优化中的作用？
进化算法始于一组解，通常是随机生成的。这些解最初质量较低，但通过选择过程，它们逐渐演化成帕累托前沿。然而，重要的是要注意，虽然生成了帕累托前沿，用户通常不需要其中的所有解。然后，选择几个或仅选择一个解。但选择帕累托前沿上的正确解并不是优化，而是决策。
在决策过程中，根据用户的偏好从帕累托前沿中选择一个子集或甚至只选一个解。如果用户有明确的权衡考虑，确定用户的偏好可能是简单的，但当偏好不确定时，算法会生成多种可能供用户评估和选择。这不同于优化，而是进入了决策领域。因此，在多目标优化中，存在着三个不同的阶段：建模、优化和决策。
我主要关注优化方面。其他研究人员，尤其是在运筹学领域，涉及决策，并有些人将二者结合起来。这些交互式方法涉及运行优化器数次迭代，然后根据用户的偏好寻求所需的方向，生成基于用户偏好的解决方案。这些交互方法可能是有效的，但编写简明和有意义的用户查询是防止给他们带来压力的关键。
在之前的一个活动中，你提到选择博士生最重要的标准是他们的热情。你如何评估热情？
理想情况下，学生应该对编程和数学充满热情并且是优秀的。不幸的是，具备所有这些技能的学生并不常见，需要在这些特质和技能之间找到平衡。可以说这本身就是一个多目标优化问题。在我的评估中，热情在相对于其他特质和技能来说占据了较重的比重。
评估热情可能很复杂，但更容易识别。当我遇到热情时，一种第六感引导着我区分真正的热情与虚假的热情。一个明显的迹象是那些始终超出分配任务范围的学生，不断超越期望。然而，这并不是唯一的指标。充满热情的人表现出无尽的好奇心，不仅对他们的主题提出众多问题，还独立探索相关领域。他们建立概念间的桥梁，将看似不相关的元素与自己的工作联系起来——这在涉及创造性连接的研究中是一个基本特征。对我来说，这表明了对这门艺术的真正热爱。根据我的经验，具有内在热情的个体往往展现出对探索他们主题深度的亲和力，探索超越直接指令的方面。这样的学生拥有以研究为导向的精神，不仅寻求规定答案，而且挖掘丰富理解的途径。
最后一个要素涉及利用和培养他们的技能。即使学生在热情方面表现出色，他们的其他能力可能也不逊色。很少有学生具备所有理想的特质。更常见的情况是，学生在某个方面表现出色，同时在其他方面保持熟练。例如，一个学生在热情方面表现出色，具备良好的编程技能，尽管不太出色，并且展示出扎实的数学基础。在这些特征之间取得平衡构成了一个多目标问题，旨在根据学生独特的技能组合最大程度地发挥其潜力。
为什么热情如此重要？
我记得有几位在各个方面都很优秀但缺乏那种激情的学生。我们从事的工作因此感觉相当平凡和乏味。一个充满热情的学生不仅为自己的成长而努力，也重新点燃了我对主题的热情。他们挑战我，推动我深入主题，并使协作过程更具刺激性。另一方面，一个只是机械地完成任务而没有深入探索的学生，并不能激发同样的激情。这样的情况往往变成了为了确保他们毕业而打勾的过程，而非关于知识和思想的丰富交流。简而言之，没有热情，经验就变得交易性的，失去了使学术合作真正有价值的活力。
您更喜欢做出一些有价值的贡献，而不是简单地按照类比研究的方式做很多论文。鉴于类比研究通常缺乏新意，这种研究在大学应该进行吗？
这个问题引出了一个基本的考虑：大学在研究努力中的目标。类比研究确实有其位置——它是必要的，并且随着时间的推移，它逐步推动了特定方向的知识边界。例如，在多目标优化的背景下，过去18年取得了重大进展，导致改进的算法的发展。这种成功验证了类比研究的作用。
然而，潜在的问题在于过度依赖类比研究，这可能阻碍真正创新思想的接受。当引入新颖的想法时，可能会在在主要重视渐进工作的体系中遭遇阻力。因此，两种研究方式之间的和谐共存至关重要。机构、评估系统和学术期刊都应该激励这两种方式。类比研究为稳步进展奠定基础，而开创性想法的培养推动领域向前发展。这种共存确保了在建立现有知识的基础上，同时拥抱通往未知领域的途径。一个没有这两种方法的未来将不够优化；因此，培育一个平衡的生态系统确保该领域保持活力、适应性并具备增长潜力。
您的期刊中也鼓励这种方式吗？
我尽力而为，但这很具有挑战性，因为这不仅仅是我可以控制的。结果取决于副编辑和审稿人的贡献。虽然我努力不拒绝具有新颖思想的论文，但这并非总是可行的。不幸的是，我必须承认，遇到真正新概念的论文变得越来越少。值得注意的是，今年我审查了一篇会议论文，其中有一个异常有趣的想法吸引了我。这是我在过去15年里遇到的最显著的发现。然而，这样的情况并不经常发生。
计算智能历史上被分为演化计算、模糊逻辑和神经网络。过去十年见证了神经网络，特别是变形金刚模型的突破性发展。进化计算在这个新领域中可以起到什么作用？
我认为进化算法在进化神经结构方面的传统运用还有待充分发挥。设计出能够与现有算法（如Adam）无缝集成的强大优化器是有可能的，以此来训练神经网络。在这个领域已经有一些尝试，比如粒子群算法，但这些努力主要集中在小规模问题上。然而，我预计未来几年将出现更复杂的挑战。
此外，我认识的某些人坚信可以利用遗传规划复制深度学习的性能。这个想法可以称之为“深度遗传规划”。通过将分层树结构纳入遗传规划中，其结构将类似于深度学习。这是一个相对未知的领域，与传统的神经网络方法有所不同。可能的好处是什么？可能提供更高的计算效率甚至更高的准确性。但真正的优势还有待探索。
虽然有研究人员在使用遗传规划进行分类，但这并不是广泛应用。遗传规划更多地用于构建启发式算法，尤其是与组合优化相关的超启发式算法。我推测，对于特定的分类问题，其受到计算成本的限制。然而，我希望随着时间和技术的进步，会出现变化。
总结而言，进化计算在扩展神经网络或者通过独特方法对其进行挑战方面仍有广阔的领域值得探索。这里有足够的空间可以共存和创新。
您是否认为神经网络的关注是一种趋势还是由于其卓越的性能而引起的结构性转变？
许多人工智能专家会告诉你这是一种时尚。我不敢确定，我认为这是一种非常强大的工具，它很难被超越的。也许在10到15年后，可能会有超越的情况出现，但现在还不是。它们的性能非常出色，我很难想象有任何即将出现的竞争对手可以轻松超越它们，特别是考虑到对这个领域进行的广泛研究和开发投入。也许在十年甚至更长的时间内，我们可能会见证变化，但目前而言，它们似乎是无法匹敌的。
然而，人工智能并不仅仅关乎深度学习所知的任务。还有许多与深度学习主要解决的问题不相关的人工智能挑战和领域。将我们的重点转向这些更广泛的挑战可能是有益的。
需要强调的是，深度学习模型存在对“像素攻击”的敏感性。通过微调一个几乎不为人眼察觉的像素，这些模型可以被欺骗。最近，进化算法已被用来执行这些像素攻击，揭示了神经网络的脆弱性。除了简单地指出这些弱点，进化算法可以提供增强模型对这些漏洞的韧性的机会。这是一个有前途的途径，它结合了深度学习和进化算法的优势。
这就是我们采访的结束。您有任何最后的评论吗？
我想强调的是，无论在哪个领域，研究对于那些热衷于追求的人来说都具有迷人的吸引力。热情是任何致力于研究事业的人所必需的关键因素。利用工具可以令人满意，但真正的研究涉及到挖掘解决未知问题的方法，并在看似不相关的元素之间建立联系。培养年轻一代的兴趣至关重要。科学不断需要充满创造力的新思维，准备迎接日益复杂的挑战。鉴于气候变化、污染和资源匮乏等重大问题，科学在制定复杂解决方案方面的作用对我们的生存至关重要。虽然并非每个人都可能倾向于从事研究，但对于那些被它吸引的人来说，这是一段有意义的旅程。虽然不是追逐即时财富的途径，但它在解决复杂问题和为我们对世界的理解做出贡献方面带来了巨大的满足感。对我个人而言，这是我在这个领域的旅程中珍视的东西。
此次采访代表着 BNVKI（Benelux人工智能协会）。我们将比利时、荷兰和卢森堡的人工智能研究人员聚集在一起。