英伟达斥资200亿美元收购一家与自己完全相反的公司？问题是，上周，领投Groq的Disruptive首席执行官宣布了黄仁勋准备吸收潜在竞争对手芯片制造商Groq的消息。 NVIDIA的这一史上规模最大的收购，立即引起了科技界的轰动。一些人认为NVIDIA正在加强其垄断地位，另一些人则分析Groq的技术优势。不过讨论最多的还是老黄，他前段时间其实也受到了谷歌TPU的启发。 。 。您可能对 Groq 不是很熟悉。如果您认为您听说过它，您可能会将其与马斯克先生的团队混淆。不过，这家公司成立于2016年，已经有很长的历史了。今年估值已超过 70 亿美元，创始人是谷歌第一代 TPU 的架构师乔纳森·罗斯 (Jonathan Ross)。 Groq的旗舰产品也很有趣。这是一种新型的专用芯片，称为LPU（语言处理单元）。当放置在谷歌专用人工智能计算芯片 TPU 旁边时，它确实感觉像是一个类似的芯片。 LPU也放弃了GPU的通用用途，专门为加速AI计算而设计。顾名思义，它更加专业化，专为语言模型而设计。然而，这是一个很大的异常值。 LPU 没有 HBM。这意味着它不具备人们常说的显存。模型训练和推理通常需要显存。比如你想玩某个模型，说明书上会告诉你最低配置是3090，说的是因为显存达不到24G，所以模型无法工作。毕竟，大模型的每一步计算，都必须从存储容器中取出参数到计算核心，计算完成后返回。视频内存是模型参数的理想分配中心。CalculateIt靠近处理核心，容量大。参数可以非常快速地相互传输。如果您没有显存并且参数保存在硬盘上，您可以等待。模型立即开始跟踪，但计算单词需要很长时间。即使对于 TPU，后来也添加了视频内存模块以适应模型训练。但乔纳森·罗斯从未忘记自己的初心。 LPU继承了第一代TPU的理念，仅进行模型推理，无需额外的显存。但是没有显存，模型的参数哪里来呢？ LPU 专注于靠近计算核心的存储单元（SRAM）。问题在于，由于晶体管的物理尺寸限制，其存储容量非常小。每张卡只有几十到几百MB，无法包含所有模型参数。因此，Groq 以直接而暴力的方式将数千张卡片组合在一起。每张卡仅存储一个小l 部分模型，只统计这一小部分，最后组合生成。这样，LPU的数据访问速度达到GPU的20倍以上。模型推理速度非常快。依靠奇特但有效的技术路线，Groq 很快吸引了众多粉丝。根据首页中央的统计图，模型推理业务已经超越亚马逊，目前排名第二，仅次于微软。事实上，在一年前，很多人都认为Groq LPU会对Nvidia的GPU产生重大影响，并多次拉出LPU和GPU进行比较。毕竟，在 NVIDIA 是 GPU 霸主的时代，Groq 的推理速度比行业领先者快 10 倍，就像上帝从地球上降临一样。当然，有的人看涨，有的人看跌。例如，阿里巴巴前副总裁贾扬清就做了一个粗略的计算。 LPU运行三年后s，采购成本是Nvidia H100的38倍，运营成本是Nvidia H100的10倍。这是因为LPU优于GPU。这意味着我们还远远无法取代它们。嗯，没必要比较。 NVIDIA：我全都想要。但NVIDIA的“收购”并不意味着花费200亿美元将Groq据为己有。垄断已经成为了英伟达脖子上挂着的一把大刀，就像一个巨人，再也无法默默地积累自己的财富了。他们采用了近年来在硅谷常见的重磅收购方式，直接拿下了Groq。比如，微软并购Inflection AI、亚马逊收购Adept，窃取了技术和核心人才，让空壳公司让普通员工没有了喝水的空间。因此，毫无疑问，高价采购是最被污名化的类型。因此，尽管 NVIDIA 显然不赞成 Groq 的收购，但他们还是签署了一份非独家许可协议ng 协议允许 NVIDIA 使用 Groq 的推理技术。这意味着你可以使用这项技术，我也可以。事实上，Groq的核心技术已经转让给了NVIDIA。 NVIDIA还聘请了Groq首席执行官Jonathan Ross、总裁Sunny Madra以及几位专注于超高效AI推理芯片的核心工程师。但最终，Nvidia 希望围堵 Groq，即使冒着臭名昭著的风险，而且这一次还要进行独家调查。这实际上预示着AI行业更广泛的趋势。虽然大规模模型改进的时代仍在继续，但引入模型推理的长尾效应将逐渐导致模型推理的需求超过模型训练。据彭博社 4 月份发布的一份报告显示，培训成本目前占主要云计算公司数据中心支出的比例高达 60%，但分析师预测到 2032 年这一数字将降至 20% 左右。曾几何时，大家都买了H100to 不管成本如何训练模型，但现在像Groq这样强调速度和性价比的推理芯片才是未来，在各大厂商的竞争中，它可以成为核心。通过这次 Curve 收购，Nvidia 弥补了非 HBM 架构的最后一个缺点。这还不是老黄对谷歌 TPU 路径迟来的认可的全部，表明英伟达仍然不想放弃计算能力的全部税收，无论是在模型训练还是模型推理方面。作者：Momo Mo Tiantian 编辑：江江年线 发布者：轩轩影业，数据来源：Groq 官网、NVIDIA 官网 CNBC、DEV、Techspot、Bloomberg、X、Reddit、Github
特别提示：以上内容（包括图片、视频，如有）由自有媒体平台“网易账号”用户上传发布。本平台仅提供信息存储服务。
注：以上内容（包括图片和视频，如有）由网络用户上传发布易浩是一个社交媒体平台，仅提供信息存储服务。
