分析量子计算距离现在已经有十多年的时间了,但根据行业专家的说法,它可能掌握着满足人工智能贪得无厌的胃口的秘密。

随着时间的推移,更大、参数更密集的模型出现,人工智能部署的规模也随之扩大。仅今年一年,像 Meta 这样的超大规模企业就计划部署数十万个加速器。即使 OpenAI 创始人 Sam Altman 仍然相信,如果我们要进一步发展人工智能,我们将需要指数级更多的计算。

因此,毫不奇怪,随着最新的招聘,OpenAI将尽可能对冲其在量子计算上的赌注。上周,这家人工智能巨头将 PsiQuantum 前量子系统架构师 Ben Bartlett 添加到了其队伍中。

Ben Bartlett 他的简历显示,他的大部分研究都集中在量子物理学、机器学习和纳米光子学之间的交叉点,并且“基本上包括我为光子设计小赛道,诱骗它们进行有用的计算”

那么 OpenAI 到底想要量子物理学家做什么呢?嗯,有几种可能性,从使用量子优化来简化训练数据集,或使用量子处理单元(QPU)来卸载复杂的图形数据库,再到使用光学来超越现代半导体封装的限制。

神经网络只是另一个优化问题

量子计算有潜力大幅提高大型人工智能模型的训练效率,使它们能够从参数较少的模型中得出更准确的答案。

有传言称 GPT-4 的参数量超过一万亿,因此不难理解为什么会吸引人。如果不使用量化和其他压缩策略,AI 模型在 FP8 或 Int8 精度下运行时,每十亿参数需要大约 1GB 的内存,而在更高的精度下,所需的内存会大幅增加。

万亿参数模型正在接近单个 AI 服务器能够有效容纳的极限。可以将多台服务器连接在一起来支持更大的模型,但离开这个框架会带来性能上的损失。

如果奥特曼是对的,这些模型只会变得更大、更普遍。因此,任何能够让 OpenAI 提高其模型能力而又不显着增加参数数量的技术都可以为其提供优势。

在训练模型时,模型中参数的数量会增加训练模型的成本和复杂性。为了解决这个问题,开发人员通常会细分他们认为对于训练特定模型最重要的功能,这反过来又减少了所需参数的数量。量子优化算法在确定保留或排除哪些特征方面可能更有效。

如果您不熟悉,优化问题(例如路径查找或物流中常见的优化问题)已被证明是迄今为止量子计算最有前途的应用之一。

量子计算机真正擅长的是优化正在发生或未发生的事情:就像有人被分配了特定的时间表或被分配了特定的交付,如果这些决定是独立的,对于经典计算机来说很容易做到,但它们实际上会影响池中的其他资源,并且存在某种网络效应。

换句话说,现实世界是混乱的。路上可能有多辆车、道路封闭、天气事件等等。与经典计算机相比,量子计算机固有的独特属性使它们能够同时探索这些因素以确定最佳路线。

这完全类似于神经网络,其中的神经元要么放电,要么不放电,它们与其他神经元有突触连接,这些神经元要么兴奋,要么抑制其他神经元放电。

这意味着量子算法可用于针对特定要求优化人工智能训练数据集,训练后会产生更精简、更准确的模型。

量子采样和卸载

从长远来看,专家正在寻找在训练过程中更深入地实施 QPU 的方法。

这些用例之一涉及将量子计算应用于采样。采样是指人工智能模型如何根据概率分布确定下一个单词(或更具体地说是标记)应该是什么。硬件非常擅长生成样本,你可以调整分布,这样你就可以调整这些样本的权重。

法国量子计算初创公司也一直在尝试应用量子计算来卸载神经网络中常见的图结构化数据集。

在机器学习中,没有真正简单的方法来经典地表示数据,因为图是一个复杂的对象。你可以相对自然地将图结构化数据嵌入到量子动力学中,这产生了一些处理这些数据的新方法。

然而,在实现这一目标之前,量子系统必须变得更大、更快。

大型数据集目前还不实用,这就是推动量子位数量和重复率的原因。因为有了更多的量子位,你就可以嵌入更多的数据。

很难说我们还需要等待多长时间才能使量子图神经网络变得可行。专家已经在开发一个 10,000 个量子比特的系统。不幸的是,研究表明,即使是具有 10,000 个纠错量子位(或大约 100 万个物理量子位)的系统也可能不足以与现代 GPU竞争。

硅光子学游戏?

除了奇异的量子人工智能应用之外,OpenAI 还可以追求其他技术。

最值得注意的是,Bartlett的前雇主 PsiQuantum 一直在开发基于硅光子学的系统。这表明他的聘用可能与 OpenAI报道的定制人工智能加速器工作有关。

包括 Ayar Labs、Lightmatter 和 Celestial AI 在内的几家硅光子初创公司已将该技术作为克服带宽限制的一种手段,而带宽限制已成为扩展机器学习性能的限制因素。

这里的想法是,与纯电信号相比,您可以使用光将更多的数据推送到更长的距离。在许多这样的设计中,光实际上是由蚀刻在硅中的波导传输的,这听起来很像“为光子设计小跑道”。

这项技术将允许多个加速器作为一个整体运行,而不会因离开芯片的数据而导致带宽损失。与此同时,通过消除与加速器芯片直接相邻的模块共同封装的需要来大幅增加 GPU 可用的高带宽内存量的机会。这两种功能对于大规模使用人工智能系统的公司来说都具有吸引力。

OpenAI 最终是否会追求量子人工智能或硅光子学还有待观察,但对于一家创始人对长期投资并不陌生的公司来说,这并不是 Altman 所支持的最奇怪的事情。

铸剑师

作者 铸剑师

网站管理员

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注