每月花费几千美元,您现在可以通过一家名为 核心编织. H100 是 A100 的继任者,A100 是在 LLM(大型语言模型)上训练 ChatGPT 的 GPU。起价为每小时 2.33 美元,即每天 56 美元或每年约 20,000 美元;相比之下,单个 HGX H100 在公开市场上的售价约为 28,000 美元(NVH100TCGPU套件) 少批发。
您需要为现货价格支付额外费用(每小时 4.76 美元),虽然有更便宜的 SKU(HGX H100 PCIe,与 NVLINK 型号相对),但尚无法订购。有效的 GPU 实例配置必须包括至少一个 GPU、至少一个 vCPU 和至少 2GB 的 RAM。部署虚拟专用服务器时 (虚拟专用服务器),GPU 实例配置还必须包括至少 40GB 的根磁盘 NVMe 层存储。
这一消息是在 Nvidia 的 GTC 2023 上发布了一系列公告之后发布的,其中生成人工智能在左、右和中间。该技术采用 LLM 培训,可以进行创造性工作,包括撰写学术论文、单口相声或十四行诗;从一段文字设计艺术品;以 NovelAI 为例,它是 CoreWeave 的首批客户之一,负责创作文学作品。
您当然可以查看我们的同行在 Tomshardware 上做了什么,并在您的本地 PC 上运行 ChatGPT 替代方案。
英伟达垄断
NVIDIA 创始人兼首席执行官黄仁勋监督了一系列针对快速扩张的 AI 内容市场特定细分市场的 GPU 的推出:用于 AI 视频的 L4、用于图像生成的 L40 和 H100 NVL(基本上是两个 H100 在一个SLI 式设置)。 Nvidia 将于 2023 年 4 月迎来 30 岁生日,它希望通过提供硬件和软件并着眼于部署自己的硬件即服务来占领尽可能多的市场。
它推出了一款 其 DGX H100 的云版本 服务器,其中包含八张 H100 卡,可以以不到 37,000 美元的价格从甲骨文租用,微软和谷歌也即将推出。虽然这听起来很贵,但请记住 DGX H100 的价格比 500,000 美元来自企业供应商 Insight,这不包括实际运行设备的成本(维护、主机托管、公用设施等)。
Nvidia 突然有兴趣成为自己的服务提供商,这可能会让其合作伙伴略感不安。这 TIEA主席 (台湾互联网与电子商务协会)重组了科技硬件行业的一些知名企业,昨天足够清醒地宣布该公司将与领先的云服务提供商(CSP)“展开合作”,并且可能会加速寻求 Nvidia 的替代品,以建立平衡。
所有的目光都集中在 AMD(及其 Instinct MI300 GPU)和英特尔身上,但潜伏在阴影中的是一群想要分一杯羹的挑战者(Graphcore、Cerebras、Kneron、IBM 等)。