周一，在拉斯维加斯举行的年度re:Invent大会上，亚马逊的云计算服务AWS公布了第三代Trainium计算机芯片，用于训练大型语言模型（llm）和其他形式的人工智能（AI）。一年前，该芯片的第二版首次亮相。

　　AWS首席执行官马特?加曼在周二的主题演讲中表示，新的Trainium3芯片将于明年上市，其速度将是现有Trainium2的两倍，能效将提高40%。

　　Trainum3是AWS首款采用三纳米半导体制造工艺技术的芯片。

　　Garman说，与此同时，一年前推出的Trainium2芯片现在已经普遍可用。这些芯片的速度是上一代的四倍。这些芯片面向法学硕士培训，Garman强调了meta平台流行的开源模型Llama的性能。

　　该公司表示：“对meta的Llama 405B进行的独立推理性能测试表明，与主要云提供商的其他可用产品相比，在Trn2实例上运行的Amazon Bedrock提供了3倍以上的令牌生成吞吐量。”

　　亚马逊还宣布了UltraServers，这是一项针对AWS弹性计算云服务的新产品，使用Neuronlink互连，将64个现有的Trainium2芯片“连接到一个巨型服务器”。服务器现在在EC2上可用。

　　亚马逊表示，UltraServer旨在处理具有数万亿参数的llm。为了帮助开发Trainium部件，该公司推出了一个名为Neuron的软件开发工具包，其中包括编译器、运行时库和针对Trainium进行优化的工具。Neuron原生支持AI中的“流行框架”，如JAX和PyTorch，以及“拥抱脸模型中心上超过10万个模型”。

　　Garman还透露了未来的发展。运行Trainium3的新版本的ultraserver的性能预计将是基于trainium2的ultraserver的四倍，“允许客户在构建模型时更快地迭代，并在部署时提供卓越的实时性能。”

　　该公司表示，正在建设“雷尼尔项目”，这将是一个“超级集群”，由众多超级服务器组成，可以访问“数十万个Trainium2芯片”。

　　UltraCluster正在与Gen AI初创公司Anthropic合作开发。

　　Re:Invent将持续到12月6日星期五，你可以在活动网站上免费注册观看直播。