IT之家 3 月 16 日消息，亚马逊 AWS 与晶圆级 AI 芯片企业 Cerebras 美国当地时间本月 13 日宣布，亚马逊的 Amazon Bedrock 平台在未来数月将部署结合双方芯片产品的混合 AI 推理系统，带来最快的负载处理速度。
这一解决方案将结合 Cerebras 的 CS-3 系统、亚马逊 AWS 的 Trainium 芯片和亚马逊 AWS 的 EFA 弹性网络适配器，由 Trainium 芯片负责推理的预填充（提示处理），而CS-3 则承担解码（输出生成任务），两者通过 EFA 连接在一起。
IT之家了解到，推理预填充属于并行工作负载，要求大算力和适中的内存带宽；推理解码本质上是串行的，算力要求较小但内存带宽要求高。组合使用 Trainium 和 CS-3 能发挥两款 AI 芯片各自的长处，提供最佳的最终用户体验。
泰禾优配提示：文章来自网络，不代表本站观点。
