谷歌11月9日扩展第八代张量处理器(TPU)阵容,增加TPU 8tx和TPU 8i Max两种专用系统。前者针对敏感数据环境下的保密推理及小规模训练,后者着重提升大型上下文工作负载所需的计算与内存资源。两种配置让谷歌自研AI基础设施覆盖更细分的企业需求。

谷歌今年4月已发布面向大型模型训练的TPU 8t,以及针对实时推理的TPU 8i。此次新增的8tx和8i Max均建立在同一代产品基础上,进一步补充硬件安全与大内存推理场景,而不是另起一代芯片架构。

8tx将敏感数据保护延伸到使用过程

TPU 8tx沿用TPU 8t芯片,并搭配第五代AMD EPYC主机处理器。谷歌表示,该系统把保密计算能力放进硬件层,使敏感数据和模型权重在运行过程中仍得到保护与隔离,面向受监管企业和政府等对数据安全要求较高的用户。

8tx还配备适合推理的低延迟互连网络,能够在同一套系统上运行模型并进行定制。企业可用私有数据微调模型、把大模型蒸馏成小模型,或通过强化学习训练智能体,而不必在彼此分开的集群之间迁移敏感数据。它的定位包括安全推理与小规模训练,不能与专门面向大规模训练的8t完全等同。

8i Max把两枚8i整合进一个封装

TPU 8i Max则将两枚面向推理的8i芯片放进同一个封装。谷歌称,相比单枚8i,这种配置使计算能力、片上SRAM容量和高带宽内存(HBM)带宽翻倍,减少大型工作负载因等待数据而停顿的情况。

更大的资源配置面向需要在一次查询中处理大量信息的AI模型与智能体,例如围绕完整代码库或长视频开展协作任务。谷歌把8i Max用于大上下文和高计算密度需求,与8tx强调保密计算的方向形成区分。

云厂商和AI实验室正在增加自研专用半导体及配套软件的投入。微软、亚马逊,以及OpenAI和Anthropic等企业均在推进相关计划,以降低对英伟达等外部供应商的依赖。对谷歌而言,在第八代既有芯片上提供不同系统配置,是扩大云业务AI硬件选择的一部分。

编辑部 · 国际

✉ [email protected]