【新智元导读】牛津大学教授新研究，未来AI的增长率足以在不到10年的时间里，推动相当于100年的技术进步。AI变革或将完全颠覆人类社会！

　　未来，AI研究的发展速度将比人类快500倍，10年内就能推动100年的技术进步！

　　牛津教授Will MacAskill等人最近的这篇博文，对未来提出了许多惊人的预测。

　　在他们看来，即便AI没能实现「递归自我改进」，即便算力的扩展陷入停滞，即便算法效率提升的速度放缓，AI的发展增速仍足以在不到10年的时间内，推动相当于100年的技术进步。

　　训练算力还有约1万倍的增长空间；推理算力能保持1000倍增长；未来10年AI训练算力×算法效率×推理算力的乘积，将增长1000亿倍(10⊃1;⊃1;倍)！

　　之后，AI还会继续发展，全面超越人类智能总和，而人类将面临前所未有的难题！

　　比如，新型的大规模杀伤性武器、AI赋能的等等，所以，现在我们就得为AGI做好准备，应对智能爆炸可能带来的各种令人迷失的方向。

　　那么，结果是非黑即白的吗？要么我们未能对齐 AI，导致人类永久失去权力；要么我们成功对齐AI，然后利用它解决所有其他问题。

　　能有意义地替代人类研究劳动力的AI的发展，可能会推动非常迅速的技术进步，将数十年的科学、技术和智力发展压缩到几年甚至几个月。

　　医学的进步，会大幅延长我们的寿命，丰富的物质，会让每个人都活得如同今天的亿万富翁。

　　还有一个新问题会出现：AI能力已经与人类相当后，人类还需要花多少精力，去研究AI？

　　假设AI能力已经与人类相当，由于电力限制，进一步扩大训练规模已不再可能，并且不存在软件反馈循环。

　　在此情景下，AI研究的工作量在达到人类水平后的十年内，仍将平均每年以5倍的速度扩展。

　　在最激进的设想，可以假设集体AI能力很快就能达到与人类相当，同时在扩大训练规模和推理计算方面仍有很大的提升空间，并且AI自动化进行AI研发确实会形成一个软件反馈循环。

　　牛津教授的简单模型表明，AI研究大约1000倍的增长，将导致在十年内产生超过一个世纪的技术进步！

　　保守起见，可以假设围绕物理实验和资本的复杂性，意味着我们实际上需要在 10年内进一步增加10倍的认知研究努力 —— 即10000倍的增长。

　　但当前的趋势表明，在十年内，一旦AI达到人类水平，我们将获得AI研究能力的数千亿倍增长（如果计算规模停止扩展，甚至算法效率改进有所放缓）到百万兆倍增长（如果我们得到一个积极的软件反馈循环）。

　　因此，如果我们继续扩大AI规模，而没有集体同意减缓速度，那么十年内实现一个世纪的技术进步似乎是可能的！

　　现在，设想一下在没有AI的情况下，100年后也就是2125年，你希望能看到的科学、知识和技术方面的所有进步。

　　牛津大学的哲学家和作家William MacAskill认为，AI能极大推进技术的进步：

　　即使没有软件反馈循环（即「递归式自我改进」），即使算力的扩展陷入停滞，算法效率提升的速度放缓，AI的发展增速仍然足够快，能够在不到10年的时间内推动相当于100年的技术进步。

　　2019年的时候，当时最厉害的语言模型连线年初，语言模型不仅能流利地回答各种问题，而且掌握的常识比地球上任何人都要多得多。

　　在2023年初，在解答科学问题时，顶尖模型表现甚至还不如瞎猜。可如今不一样了，它们的表现已经比博士级别的专家还要出色。

　　训练算力：自2010年以来，训练运行所使用的最大算力每年增加约4.5倍。

　　即在没有任何算法创新的情况下，为了达到相同的模型性能，所需增加的原始算力。

　　此外，在工具使用、提示方法、合成数据、创造性的生成和选择答案的方式以及各种其他方面，研究人员引入了「训练后增强」。

　　随着训练规模越来越大，越来越好，AI模型质的进步也在不断涌现，表现形式微妙而令人惊讶。

　　所以，一旦AI的认知劳动总量开始与人类的认知劳动总量相当，整体认知劳动的增长率将大幅上升，从而加速技术进步。

　　这并不是白日做梦：运行效率的提升和可用推理算力的增加，能让「AI总量」增长约25倍/年。

　　推理效率：有效训练算力大约翻倍时，相应的推理成本大致减半，目前有效训练算力每年增加约10倍。

　　这些变化意味着，不仅是最先进的AI，而是所有的AI，性能会得到明显提升。

　　假如AI研究员的有效数量与人类研究员数量相当，技术研发效能的增长速度会受到什么影响？

　　不妨假设训练进步完全等于推理效率提升，而更多的推理计算完全用于运行更多的AI。

　　现在已经看到，推理效率大致与有效训练算力同步提升，每年约增长10倍，推理算力每年至少增加2.5倍。

　　因此，如果继续维持当前趋势，直到AI研发效能与人类科研投入相当，AI研发效能估计将继续以每年至少25倍的速度增长。

　　至少，并没有考虑到超越人类水平的AI能力提升时，AI研发效能会增长得有多快。

　　为了理解这一点，乐鱼体育入口不妨看一下人类研究员：在大脑体积和文凭上，他们的差异相对较小。

　　还没有考虑来自训练后增强每年提升3倍有效训练算力，这能让年增长率从25倍提高到75倍。

　　训练算力方面：规模最大的训练任务还有约1万倍的增长空间（很可能在未来十年内实现）。

　　之后由于电力等因素，很难再增长。即便突破电力限制，芯片产能、数据稀缺性和硬件延迟也将成为新的天花板。

　　训练算法效率：如果保持算力扩张与效率提升的现有比例，训练算法效率还能提升1000倍。

　　这意味着有效训练算力在未来十年将比现在增长1000万倍——相当于每年约5倍的有效算力提升，低于目前每年≥10倍的增长速度。

　　推理算力方面：合理推测同期推理算力也将实现1万倍增长，保持每年2.5倍的增速。

　　保守估计，若AI进步仅依赖规模扩张而不突破其他维度，测算规模上限可推知AI研发效能：

　　未来十年AI总体研发效能（训练算力×算法效率×推理算力的乘积）将增长1000亿倍(10⊃1;⊃1;)，年均增速略超10倍。

　　因为AI模型自身，可能会促使软件技术显著改进，包括AI算法、数据处理、训练后强化等。

　　这将催生出更强大的AI，进而推动算法进一步发展，形成软件反馈循环，使AI能力持续提升，而无需额外的物理资源投入。

　　多数新技术充其量只是提升研究员生产力的手段，难以驱动自我维持式的进步。从理论上讲，AI也可能面临类似状况。

　　即便「数字机器学习（ML）研究员」能够取代人类研究员，进展仍可能放缓：第一代数字ML研究员或许能让下一代AI研究员的表现翻倍，可第二代可能仅提升1.5倍，依此类推。

　　然而，根据对软件领域经验估算显示，认知投入（研发效能）翻倍，通常能使软件性能或效率提升超过一倍。因此，有理由认为，由AI驱动的软件反馈循环，极有可能推动AI性能与效率加速提升。

　　据计算，大语言模型（LLM）的学习效率，约为人类的十万分之一（基于成年人大脑的计算能力），且这一上限很可能远超人类大脑的效率。

　　所以，若能成功构建软件反馈循环，AI能力在十年内，或许能让有效训练算力增长至100万倍，实现约一万亿倍（10⊃1;⊃2;）的有效训练算力增长，或者使推理计算与有效训练计算的乘积增长至10⊃1;⁶，即每年增长约40倍。

　　无论怎样，推理算力与有效训练算力的乘积，至少会以600倍的速度增长，远超人类认知劳动对技术进步的贡献，且仍有极大的提升潜力。

　　由于规模化驱动了如此大的进步，甚至可能在未来十年，AI就接近人类认知，在规模扩展遇电力和其他实际限制之前。

　　在博士级科学问题的基准测试GPQA上，GPT-4的表现仅略优于随机猜测。18个月后，最好的推理模型已经超越了博士级专家。

　　这种迅猛的发展，极有可能催生出超越人类顶尖研究者能力的AI，乐鱼体育入口而且几乎覆盖所有关键认知领域。

　　未来五年内，即便训练算力扩展不能达成目标，预训练算法效率的提升、后训练增强技术的进步、推理效率的提高以及推理算力的增长，仍将推动AI研究不断向前，突破物理扩展受限和训练数据不足的阻碍。

　　所以，虽然难以确切预估时间，但在未来几年，AI极有可能达到甚至超越人类顶尖研究水平。

　　随着有效计算能力的提升和推理算力的增加，认知投入可能会成倍增长，迅速超越约一千万在职人类研究员。

　　例如，谷歌DeepMind的AlphaFold，已预测出超过2亿种新蛋白质结构。

　　这取决于两个关键变量：当前AI能力距人类水平的差距，以及持续快速提升的整体潜力空间。

　　假设AI能力在达到人类水平时，训练算力已因能源限制无法继续扩张，且不存在软件自我迭代的正反馈循环。同时，推断算力增长与算法效率提升速度较当前放缓约30%。

　　但它也常常带来重大挑战，比如：核武器、监控技术、气候变化、工厂化养殖的恐怖。

　　AI说服力超群，可能找到并传播病毒式的观念，或对提问者提供「为达目的，不择手段」的马基雅维利式建议。

　　确保真正利用AI帮助人类做出更好的决策，将是在加速技术变革时期做出正确决策的关键。

　　同时，也会有关于如何治理外太空的问题——如何管理在太阳系内争夺资源的竞争，甚至如何去开拓新的恒星？

　　如果抓住这个机会，AI可以在协调、保护和民主方面为人类提供有意义的帮助。

　　但是，如果能够让超级智能与人类对齐，难道不能利用它解决其他问题吗？难道我们可以推迟准备吗？

　　原标题：《牛津教授惊人预警：AI十年科学发现，顶人类100年！科研速度已超人类500倍》

　　本文为澎湃号作者或机构在澎湃新闻上传并发布，仅代表该作者或机构观点，不代表澎湃新闻的观点或立场，澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。