NVIDIA H200: Nền tảng AI hàng đầu thế giới dựa trên kiến trúc Hopper

22.11.2023, 2:27 pm 23

NVIDIA vừa giới thiệu NVIDIA H200, một nền tảng tính toán trí tuệ nhân tạo (AI) hàng đầu. Nền tảng này dựa trên kiến trúc NVIDIA Hopper và sử dụng GPU Tensor Core H200, mang lại khả năng xử lý dữ liệu lớn một cách mạnh mẽ cho các ứng dụng AI và tính toán hiệu suất cao.

GPU NVIDIA H200 là sản phẩm đầu tiên sử dụng HBM3e, một loại bộ nhớ nhanh và lớn hơn, giúp tăng tốc độ trong việc xử lý AI và các mô hình ngôn ngữ lớn. Nó có 141GB bộ nhớ với tốc độ 4.8 terabytes/giây, gấp đôi dung lượng và 2.4 lần băng thông so với sản phẩm trước đó là NVIDIA A100. Các hệ thống trang bị NVIDIA H200 từ các nhà sản xuất máy chủ lớn và các nhà cung cấp dịch vụ đám mây dự kiến sẽ ra mắt vào quý II năm 2024. Kiến trúc NVIDIA Hopper cung cấp sự cải thiện về hiệu suất đáng kể so với các thế hệ trước. H200 hứa hẹn sẽ mang lại hiệu suất cao hơn nữa, bao gồm tốc độ suy luận gấp đôi trên mô hình LLM với 70 tỷ tham số so với H100, cùng với các cập nhật phần mềm trong tương lai. NVIDIA H200 sẽ có sẵn trong các bo mạch máy chủ NVIDIA HGX H200 với cấu hình bốn và tám lõi, và trong NVIDIA GH200 Grace Hopper Superchip với HBM3e. Nó phù hợp với mọi loại trung tâm dữ liệu, từ trên cơ sở đến đám mây và hybrid. Các đối tác sản xuất máy chủ của NVIDIA như ASRock Rack, ASUS, Dell Technologies, và nhiều hãng khác có thể cập nhật hệ thống của họ với H200. Các nhà cung cấp dịch vụ đám mây như Amazon Web Services, Google Cloud, và Microsoft Azure sẽ triển khai phiên bản dựa trên H200 từ năm sau. NVIDIA H200 cung cấp hiệu suất cao trong nhiều ứng dụng nhờ NVIDIA NVLink™ và NVSwitch. Một bộ HGX H200 tám lõi cung cấp hơn 32 petaflops tính toán và 1.1TB bộ nhớ băng thông cao. Khi kết hợp với CPU NVIDIA Grace, H200 tạo ra GH200 Grace Hopper Superchip, phục vụ các ứng dụng AI và HPC quy mô lớn. NVIDIA cũng cung cấp các công cụ phần mềm mạnh mẽ hỗ trợ phát triển và tăng tốc các ứng dụng AI và HPC, bao gồm bộ phần mềm NVIDIA AI Enterprise. NVIDIA H200 sẽ có sẵn từ các nhà sản xuất hệ thống toàn cầu và các nhà cung cấp dịch vụ đám mây hàng đầu từ quý II năm 2024. Để biết thêm thông tin, xem bài phát biểu của Buck vào ngày 13 tháng 11.