之江尝试室图计算中心副主任陈红阳：生物造药 × Graph AI 大模子

编纂 | ScienceAI

3 月 21 日，在机器之心举办的 ChatGPT 及大模子手艺大会上，之江尝试室图计算中心副主任陈红阳颁发主题演讲《生物造药 × Graph AI 大模子》，在演讲中，他次要切磋告终合图机器进修的大数据预操练大模子，在生物造药范畴潜在的利用标的目的和手艺挑战，以及团队在那方面的相关研究停顿。

以下为陈红阳传授在机器之心 ChatGPT 及大模子手艺大会上的演讲内容，机器之心停止了不改动原意的编纂、整理：

跟着 ChatGPT 的大火，大模子遭到了普遍存眷，比拟于通用大模子，今天我要分享的是特定范畴，即生物造药范畴的大模子，以及我们团队在大规模图预操练上的初步摸索。

大模子开展过程

近年来，模子构建范式逐步从「针对特定使命构建特定模子」转向「可用于多使命的大规模预操练模子」。大模子的开展过程有几个阶段， 从 2017 年的 Transformer 到 GPT-3、ChatGPT，再到包罗 GPT-4 在内的面向多模态的预操练模子，那此中模子参数量和数据量都闪现出发作式的上升趋向。在海量计算才能的支持下，大模子能更好的利用于更多复杂场景。

展开全文

GPT-3 在天然语言处置使命上有很不错的效果，但在发布后并没有引起很大的反应。相反，ChatGPT 发布初期便引起了普遍存眷，我们发现它在人机对话过程中能够答复良多问题，而且答复的都特殊好。好比，我有一篇新颁发的论文，代码还未开源，ChatGPT 能复现其代码，并且成果和论文的成果是一样的，那长短常惊人的。

ChatGPT 之所以能以对话的体例停止人机交互，并给出类似人类的响应，是因为其立异性地利用了良多办法，包罗指令进修（Instruction learning）和基于人类反应的强化进修（RLHF）。指令进修通过构造「指令」数据集，将本来的使命酿成更契合人类习惯的使命，以更好的进修人类交互形式，付与模子近人类思维。另一方面，ChatGPT 基于人类反应的强化进修（RLHF），起首获取拟合人类偏好的奖励模子，针对回复的量量计算奖励，然后反应回当前战略用以更新模子，实现模子揣测和人类价值看的对齐。

我们测验考试对 ChatGPT 官网供给的 API 停止接进，造造了一个 Demo，让其解答分子相关问题。问题包罗阐明小分子药物和大分子药物的区别，药物分子的表征形式有哪些，什么是药物分子的几何信息等。那些都长短常专业的问题，涉及到药物范畴的专业常识，ChatGPT 都给出了十分专业的谜底（如下图所示）。

目前有良多国表里企业正在摆设大模子，包罗百度、微软、谷歌等，其大部门研究范畴都在智能搜刮，智能问答等标的目的，并没有规划到智能造药标的目的。GPT 能否利用在生物造药范畴，或者间接移过来行不可？当我们把 ChatGPT 间接利用到专业范畴时还存在良多不敷。一是无法包管其可信性，例如分子生成使命，需要通过引进范畴常识、连系强化进修和湿尝试等来验证生成分子的有效性。其次，因为操练过程利用的通用数据贫乏范畴常识，形成 ChatGPT 在特定范畴表示其实不好。别的，模子的操练摆设以及相关湿尝试的成本都十分昂扬，那也是药物研发里流程长、投进大的原因之一。

生物造药 GPT

接下来，我将切磋生物造药 GPT 的潜在利用，以及操纵大模子加速药物研发过程中存在的手艺挑战。

生物造药 GPT 的潜在利用包罗药物设想和靶点发现等。药物设想是生物造药范畴中至关重要的一个环节，传统的药物设想过程欠缺高效性，凡是需要大量的化学尝试，依靠于高贵的设备和专业技能，消耗大量时间和金钱。与传统的药物设想办法比拟，生物 GPT 能够在短时间内生成大量具有多样性的分子，供给愈加普遍的分子库供药物挑选。此外，生物 GPT 还可以针对特定的生物化学属性（如分子量、化解性等）停止诱导生成，从而进步药物研发的效率和胜利率。生物 GPT 的利用不只限于新药研发范畴，它还能够用于药物优化和药效揣测，为新药的研发和上市供给重要的参考和批示。

靶点发现是药物研发过程中的关键环节，此中靶点是药物在体内的感化连系位点，我们能够把药物想象成一把「钥匙」，而靶点就是与之婚配的「锁」。传统的药物靶点研究需要消耗大量的时间和人力资本，且胜利率低，招致研发成本昂扬。基于大量的医学素材和生化数据，生物 GPT 能够发掘潜在的药物靶点，以至揣测靶点与潜在药物之间的彼此感化。那种办法不只能够削减尝试周期，节约成本，还能够搀扶帮助研究人员确定愈加准确和有效的靶点，进步药物研发胜利率。

我们构建合成范畴常识的大规模分子图预操练模子， 利用于药物设想、靶点发现等生物造药范畴，并将其做为生物造药 GPT 的核心根底。在大量分子数据长进行自监视预操练使命后，将得到的编码器鄙人游使命上微调，如 DDI（药物间的彼此感化）、DTI（药物于卵白量之间的彼此感化）和 MPP（药物性量揣测） 等。

整个流程沿袭了大模子的构想。现有的一些大规模语言模子，如 Bert 和 ChatGPT 等，已在天然语言范畴展示出了惊人的效果，但将其间接利用到生物造药范畴将会面对一些新的挑战，好比，若何应对生物范畴的非欧构造数据，若何处理图神经收集中的过光滑问题，若何处理数据标签稀缺问题，若何在模子中融进范畴常识，若何处理大模子的工程问题。

在生物范畴，数据往往闪现出摆列不整洁的非欧式构造，无法利用常规的欧式构造算法停止处置。我们能够摘用图神经收集，如 GCN、GAT、GraphSAGE 和 GIN 等，通过动静传递机造聚合本身与邻人节点的特征，来更新该节点的特征，发掘实体之间的联系关系信息，最末得到节点或图的特征表达。在图神经收集操练过程中，跟着收集层数的加深，会引起过光滑问题。通过利用「图+Transformer」机造，在Transformer 架构上引进图构造信息，能够处理过光滑问题。别的，也能够用跳过链接（Skip Connection），通过将浅层图嵌进添加到深层收集，以进步节点之间的区分度，有效提拔最末的表达才能，制止过光滑。

生物造药范畴普及存在数据标签稀缺的问题，那是因为良多数据需要范畴内体味丰富的专家停止人工标注，其成本十分高贵。我们能够摘用一些无监视的预操练战略，如自编码战略（Autoencoding）、自回回战略（Autoregressive Modeling）、掩码战略（Masked Components Modeling）、上下文揣测战略（Context Prediction Modeling）等战略，来报酬的构造有标签的数据。

科学范畴和计算机范畴存在着明显的常识鸿沟，目前的穿插研究往往摘用简单的建模体例，贫乏对科学范畴内前沿研究功效的连系。我们需要在模子中融进范畴常识来进步模子在特定范畴的表示。差别于计算机视觉范畴中图像分类问题，只需要人类常识性的常识就能够判别。生物造药范畴需要引进更专业的常识，好比连系分子的轨事理论、外表静电势、自旋密度等值面等。最初，我们还需要处理大模子的工程问题。大规模图数据中存在百万节点和上亿边，那对设备的计算和存储提出了更高的要求，特殊是从存储到计算过程中，若何削减 IO 开销来加速模子的操练速度，面对十分大的挑战。别的，若何做到负载平衡，若何处理模子 Loss 下降不不变，若何快速更新梯度来加快收敛，那些工程问题都长短常大的挑战。

团队相关研究停顿

接下来，简单介绍一下我们团队在那个范畴做的一些规划。

那是我们团队研发的墨雀图计算平台，集成了良多传统的图深度进修办法，包罗操纵散布式的存储战略等。也做了很好的国产硬件适配，包罗华为的昇腾和鲲鹏。在平台上面我们能够做良多下流的使命，包罗分子的生成等。此中也集成了我们自研的一些图进修算法，例如往年登榜 OGB 的孪生图神经收集 PSG 算法，通过屡次中继途径摘样生成多条中继途径感知的药物间最短反响途径间隔的边特征张量，合成孪生图神经收集停止图表达进修和图比照进修，最末在药物-药物反响关系使命上获得 92.84% 的揣测准确度，比拟原冠军模子提拔 2%，大幅提拔了算法不变性。好比得了新冠后，同时服用多种药物可能会产生副感化，操纵我们研发的 PSG 算法就能很好的给出药物服用的定见，制止产生多种药物间的副感化。

在药物发现过程中，分子生成长短常重要的一环。我们搜集了大量的数据集，从而构建多模态合成卵白量-小分子数据库。基于数据揣测卵白量 3D 构造，再通过药物分子生成模子，生成我们所需要的分子构成药物分子生成库，并对其停止初步挑选得到我们认为实正有用的药物分子。最初还需要通过湿尝试对挑选分子停止验证，包罗化学合成、体内尝试和体外尝试。找到实正有药效的小分子长短常困难的，也长短常复杂的。我们通过研发如许的模子，能够在短时间内生成大量的分子供药物学家停止挑选，加快挑选到有效的小分子。

下图是基于靶标构造的小分子配体从头设想与生成 AI 模子的流程，包罗构建多模态合成卵白量-小分子数据集，卵白量靶点构造揣测、小分子药物发现平台设想、新型化合物小分子生成及小分子化学合成与药理学验证。

在药物分子生成之前，需要做靶点口袋构造的揣测，涉及原子坐标的生成和转化。有了卵白量口袋的揣测成果后，我们要起头停止契合口袋的药物分子生成。我们团队正在开展分子生成相关的研究，此中包罗基于扩散模子（Difussion）和融进范畴常识等分子生成算法。我们起首介绍基于 Difussion 的分子生成算法，操练数据是原子特征和三维坐标信息，刚起头是是由随机噪声生成的初始分子图，那时候的分子并没有现实的生物意义，颠末迭代一步步往除噪声，不竭生成与实在分子十分接近的小分子。接下来介绍合成了范畴常识的分子生成办法。传统办法需要体味丰富的专家通过对原型药物机造有深进的理解之后，合成嵌合体分子设想体味，才气生成如许的嵌合分子构造。如今有了我们如许的模子之后，能够通过深度生成模子操练大量嵌合体分子数据获得嵌合体分子构造。通过我们算法生成的分子和参考分子相差十分小，阐明算法的有效性十分好。

最初，我们还需要揣度生成分子与靶标连系的效果若何，那也长短常关键的一环。能够通过利用亲和力揣测模子来验证生成分子的有效性，亲和力越高阐明生成分子与靶标连系效果越好，药物越有效。下图是模子架构。我们也在数据集上做了测试，得出的效果也都十分好。

关于大模子加速我们也做了测验考试，包罗图朋分战略、并行战略、操练战略及算子库优化战略等。在图朋分战略中，我们摸索高效的图朋分算法来削减跨节点通信，降低存储及计算复杂度，并通过求多节点异步施行战略来削减通信期待时延，加快模子操练。在并行战略中，我们合成了数据并行、算子级模子并行的散布式并行形式，通过动态规划，双递回等搜刮战略，主动成立代价模子，找到操练时间较短的并行战略。在操练战略中，我们利用模子压缩和主动收集架构搜刮来削减模子规模及参数，利用梯度乞降体例和降维操练加快模子收敛速度。在算子库优化战略中，我们通过合成算子将多个可重用计算单位合并为一个计算核心，削减中间数据的 IO 传输；通过拆分复杂算子为根底算子，只需适配少量的根底算子，就能够完成对复杂算子的撑持，同时优化少量简单算子就能够实现复杂算子的优化。

将来展看

之江尝试室是国度级科研机构，我们期看通过产学研协做的体例，加速打造一款我们本身的生物 GPT，提拔药物彼此感化、分子生成和分子性量揣测等使命的效果，助力药物研发。我们有充沛的算力，丰富的数据和自研的算法，欢送感兴致的同仁们一路协做研发垂曲范畴公用的 GPT。我们将会在之江墨雀平台上开放模子接口、算法、数据、算力，供给一个一站式的平台，供各人开展相关范畴的科学研究，谢谢各人！