Mở hộp và đánh giá hiệu năng của Card đồ họa chuyên nghiệp NVIDIA RTX 6000 Ada siêu cao cấp

Advantech hiện đang là nhà cung cấp nhiều giải pháp GPU công nghiệp đa dạng, đặc biệt là dòng card đồ họa chuyên nghiệp cấp doanh nghiệp hoàn chỉnh của NVIDIA. Là đối tác ưu tú "Elite Partner" của NVIDIA, Advantech được ưu tiên tiếp cận với thế hệ card GPU mới nhất và được hỗ trợ độc quyền từ đội ngũ kỹ thuật NVIDIA, cung cấp dịch vụ tư vấn chuyên nghiệp cho khách hàng của Advantech.

Các giải pháp Edge AI của Advantech được áp dụng rộng rãi trong các ngành công nghiệp khác nhau, tích lũy kinh nghiệm phong phú trong sự cộng tác người dùng cấp công nghiệp và cấp doanh nghiệp. Bài viết này là bài đánh giá so sánh về dòng card GPU NVIDIA RTX cấp chuyên nghiệp phổ biến, giúp khách hàng đánh giá cách triển khai phù hợp cho IoT công nghiệp và các ứng dụng dọc khác nhau như sản xuất, vận tải, y tế và trò chơi.

Thông tin nổi bật từ bài viết:

• So sánh thông số giữa NVIDIA RTX 6000 Ada và RTX A6000
• Tính năng nổi bật của card đồ họa chuyên nghiệp siêu cao cấp NVIDIA RTX 6000 Ada 
• Bốn đánh giá hiệu suất chuyên môn: 
1. Phần mềm vẽ và tạo mô hình chuyên nghiệp SPECviewperf 2020 kiểm tra hiệu năng
2. Mô hình tạo hình ảnh AI và kiểm tra tốc độ tính toán Stable Diffusion
3. Học sâu, Benchmark về đào tạo mô hình AI đào tạo GPU Lambda Labs PyTorch
4. Hiệu suất 3D thử nghiệm 3DMark Time Spy.

So sánh NVIDIA RTX 6000 Ada và RTX A6000:

Card GPU NVIDIA® RTX™ 6000 mới nhất sử dụng kiến trúc Ada Lovelace mới, cung cấp lõi CUDA, lõi RT thế hệ thứ ba và lõi Tensor thế hệ thứ tư cao hơn nhiều. So với RTX A6000 thế hệ trước, nó có số lượng lõi và hiệu suất tăng khoảng 70%, mang lại sức mạnh tính toán dấu phẩy động chính xác đơn FP32 ấn tượng.

NVIDIA RTX 6000 Ada được trang bị bộ nhớ video ECC 48GB nhưng có mức tiêu thụ điện năng tối đa chỉ 300 watt, bằng khoảng 2/3 so với card GPU máy chơi game hàng đầu. Điều này rất quan trọng để triển khai trong các ứng dụng AI biên và xử lý hình ảnh cao cấp, giúp khách hàng xây dựng các máy trạm đồ họa và tăng tốc AI hiệu quả và ổn định hơn.

So sánh đặc điểm kỹ thuật:

Về đầu nối nguồn, NVIDIA RTX 6000 Ada giới thiệu giao diện 16 chân 12VHPWR mới.

Trong giai đoạn chuyển tiếp, NVIDIA đã chu đáo cung cấp cho khách hàng cáp chuyển đổi PCIe 8 chân x 2 sang 16 chân, cho phép tiếp tục sử dụng nguồn điện hiện có.

Về mặt thẩm mỹ, RTX 6000 Ada duy trì thiết kế gương sơn piano giống như RTX A6000 và card GPU RTX "phản chiếu" là biểu tượng cho trạng thái cao cấp hàng đầu của nó.

Điều quan trọng cần lưu ý là các cổng kết nối phía trên của NVIDIA RTX 6000 Ada chủ yếu được sử dụng với chức năng hiển thị đồng bộ đa màn hình Quadro Sync, không còn cung cấp kết nối NVLink nữa. Khách hàng yêu cầu chức năng NVLink nên sử dụng card GPU NVIDIA RTX A4500 / A5000 / A5500 / A6000 thế hệ trước.

Flagship mới nhất NVIDIA RTX 6000 Ada có sự nâng cấp đáng kể về thông số kỹ thuật so với RTX A6000 thế hệ trước, với sự gia tăng đáng kể về mọi mặt của hiệu suất đỉnh cao về mặt lý thuyết. Chúng tôi sẽ trình bày chi tiết những đặc điểm này cho người dùng doanh nghiệp.

Tính năng nổi bật của card đồ họa chuyên nghiệp siêu cao cấp NVIDIA RTX 6000 Ada:

• Dung lượng lớn, bộ nhớ GDDR6 48GB tốc độ cao

Bằng cách sử dụng bộ nhớ GDDR6 48GB, RTX 6000 đạt được mức tăng thông lượng 25% cho khối lượng công việc ray tracing, kết xuất và AI so với thế hệ trước. RTX 6000 Ada cung cấp bộ nhớ đồ họa lớn nhất trong ngành, có khả năng xử lý các bộ dữ liệu và mô hình lớn nhất cho các ứng dụng chuyên nghiệp nhạy cảm với độ trễ.

• Bộ nhớ có mã sửa lỗi (ECC)

RTX 6000 tự động phát hiện và sửa lỗi, nâng cao tính toàn vẹn dữ liệu cũng như duy trì độ chính xác và ổn định của tính toán mô hình, mang lại độ tin cậy vô song cho các tác vụ quan trọng. Điều này ngăn chặn các lỗi truy cập hoặc truyền dữ liệu làm gián đoạn đột ngột các quá trình tính toán dài trong máy trạm, mang lại độ chính xác và độ tin cậy chưa từng có.

• Phần mềm GPU ảo NVIDIA

Phần mềm NVIDIA Virtual GPU (vGPU) cho phép cấu hình lại các máy trạm cá nhân thành nhiều máy trạm ảo hiệu suất cao, cho phép người dùng từ xa chia sẻ tài nguyên để thúc đẩy khối lượng công việc tính toán, AI và thiết kế cao cấp.

NVIDIA® RTX™ Experience

NVIDIA RTX Experience cung cấp một bộ công cụ năng suất cho máy trạm để bàn của bạn, bao gồm khả năng ghi màn hình lên tới 8K, thông báo hoạt động về các bản cập nhật trình điều khiển NVIDIA RTX Enterprise mới nhất và quyền truy cập vào các tính năng chơi trò chơi.

Bốn đánh giá hiệu suất chuyên môn:

Sau khi mở hộp, bây giờ chúng ta đi đến điểm nổi bật của bài viết này – đánh giá hiệu suất. Trong thử nghiệm này, chúng tôi sẽ sử dụng bốn card NVIDIA RTX 6000 Ada, RTX A6000, RTX A4500 và RTX A4000, đại diện cho các sản phẩm GPU cấp chuyên nghiệp và doanh nghiệp.

Các công cụ kiểm tra bao gồm phần mềm SPECviewperf 2020 để lập mô hình và vẽ chuyên nghiệp, kiểm tra tốc độ tính toán Stable Diffusion của mô hình tạo hình ảnh AI phổ biến, Benchmark GPU Lambda Labs PyTorch để học sâu và đào tạo mô hình AI cũng như 3DMark Time Spy để kiểm tra hiệu suất 3D.

Nhìn chung, NVIDIA RTX 6000 Ada cho thấy hiệu năng tăng trưởng đáng kể trong tất cả các thử nghiệm so với GPU RTX A6000 thế hệ trước. Điều này chủ yếu là do kiến trúc ADA Lovelace mới, lõi CUDA được nâng cấp, lõi RT thế hệ thứ ba và lõi Tensor thế hệ thứ tư. Số lượng lõi đã tăng 69% so với thế hệ trước, với hiệu suất kết xuất tăng gấp ba lần và hiệu suất suy luận AI tăng gấp đôi.

Bài viết này sẽ tập trung đánh giá NVIDIA RTX 6000 Ada, xem xét những ưu điểm của nó về hiệu suất, mức tiêu thụ điện năng và khả năng tích hợp hệ thống.

1. Phần mềm vẽ và tạo mô hình chuyên nghiệp SPECviewperf 2020 Performance Test

SPECviewperf 2020 kiểm tra hiệu suất vẽ của nhiều phần mềm chuyên nghiệp trong ngành, bao gồm 3ds Max, Catia, Creo, Energy, Maya, Medical, SNX, SolidWorks cũng như các phần mềm mô phỏng kỹ thuật và vẽ khác.

Kết quả thử nghiệm cho thấy RTX 6000 Ada chiếm ưu thế về hiệu năng trên tất cả các phần mềm so với các card GPU RTX khác. Lấy phần mềm mô hình hóa thường được sử dụng trong ngành sản xuất là SNX làm ví dụ, ở độ phân giải 1080p, hiệu năng của RTX 6000 Ada gần như gấp đôi so với RTX A6000 (1080p). Đối với các ứng dụng trong lĩnh vực y tế và năng lượng, RTX 6000 Ada cung cấp hiệu suất gấp đôi hoặc cao hơn các card GPU khác đã được thử nghiệm. Điều này cho thấy NVIDIA RTX 6000 Ada rất phù hợp với các phần mềm vẽ và tạo mô hình chuyên nghiệp.

2. Kiểm tra tốc độ tính toán Stable Diffusion của mô hình tạo hình ảnh AI

Generative AI hiện là một trong những ứng dụng AI hot nhất. Stable Diffusion là một mô hình học sâu có khả năng tạo ra hình ảnh chi tiết từ mô tả văn bản. Ngày càng có nhiều khách hàng cấp doanh nghiệp cần tạo hình ảnh AI trong môi trường cục bộ để tránh lo ngại về rò rỉ dữ liệu. Điều này yêu cầu Máy tính GPU Edge của Advantech kết hợp với thẻ GPU NVIDIA để xây dựng một máy trạm xử lý đồ họa riêng để chạy Stable Diffusion.

Kết quả thử nghiệm cho thấy RTX 6000 Ada hiển thị hình ảnh nhanh nhất trong số tất cả các thẻ được thử nghiệm. Tạo 8 hình ảnh cùng một lúc (kích thước lô=8), chỉ mất chưa đầy một giây để tạo một hình ảnh! Nó cũng duy trì mức tiêu thụ điện năng tương tự, tạo ra nhiều hình ảnh mỗi giây hơn so với RTX A6000 (0,66 hình ảnh→1,06 hình ảnh), rút ngắn thời gian tính toán và tối ưu hóa hiệu quả tạo hình ảnh.

3. Học sâu, Đào tạo mô hình AI Lambda Labs PyTorch GPU Training Benchmark 

PyTorch là một framework để xây dựng các mô hình học sâu, thường được sử dụng trong thị giác máy tính, xử lý ngôn ngữ tự nhiên và thậm chí cả Đào tạo mô hình AI của Tesla cho xe tự lái. Trong thử nghiệm này, RTX 6000 Ada vẫn áp đảo tất cả các card GPU RTX trong việc xử lý các dữ liệu huấn luyện mô hình AI khác nhau.

Tuy nhiên, điều đáng chú ý là việc đào tạo mô hình AI có khả năng phân chia cao cho phép lắp nhiều thẻ GPU hơn vào hệ thống, tăng tốc độ đào tạo một cách tương ứng, khiến khả năng tương thích của thẻ GPU và hệ thống trở nên rất quan trọng.

Ưu điểm của RTX 6000 Ada nằm ở kiểu dáng khe cắm kép và thiết kế tiêu thụ điện năng thấp, cho phép khách hàng tích hợp nhiều card GPU hơn vào máy chủ, từ đó nâng cao hiệu suất đào tạo AI. Ví dụ: trong máy chủ 2U SKY-6200, có thể lắp tối đa bốn thẻ RTX 6000 Ada. Tuy nhiên, nếu sử dụng card GPU yêu cầu hệ số dạng 3,5 slot, thiết kế khác nhau của chúng thường gây nguy cơ không được tích hợp vào máy chủ 2U.

Chẳng hạn, máy chủ 4U SKY-640 V3 thường được sử dụng, nếu được trang bị card GPU 3,5 slot, chỉ có thể tích hợp hai card GPU. Nhưng nếu được trang bị RTX 6000 Ada, nó có thể tích hợp bốn card GPU, mang lại hiệu suất đào tạo mô hình gấp đôi so với hệ thống hai card. Hơn nữa, TGP (nguồn cung cấp năng lượng tối đa cho card đồ họa) cần thiết chỉ là 1200W, loại bỏ hoàn toàn mối lo ngại về việc không đủ nguồn điện ở các máy chủ 2000W thông thường.

Đặc biệt về thiết kế tản nhiệt, RTX 6000 Ada được kết hợp với thiết kế quạt hút kép.

Do đó, bằng cách tích hợp nhiều card GPU RTX 6000 Ada vào một hệ thống theo cấu hình song song và vừa khít, có thể đạt được lượng tiêu thụ hiệu quả, đảm bảo sự ổn định khi vận hành. Cấu hình này giữ chìa khóa để đạt được khả năng mở rộng và đảm bảo hoạt động ổn định lâu dài.

4. 3D Performance 3DMark Time Spy Test

Cuối cùng, trong phép thử 3DMark Time Spy, hiệu năng của RTX 6000 Ada tăng 76% so với A6000 thế hệ trước (18.514 → 32.659), chủ yếu được hưởng lợi từ số nhân được nâng cấp.

Hình dưới đây cho thấy trong quá trình tính toán, TGP của RTX 6000 Ada được duy trì ở mức gần 300W, trong khi GPU Clock dao động trong khoảng 1.900 MHz đến 2.500 MHz.

RTX 6000 Ada sử dụng nhiều lõi CUDA, lõi Tensor và lõi RT hơn. Do đó, nó có thể duy trì hiệu suất cao với Đồng hồ GPU thấp hơn và dao động, mang lại lợi thế về mức tiêu thụ điện năng thấp. Đây chính là bí quyết để các máy trạm hoạt động ổn định lâu dài.

Kết luận: GPU hàng đầu kết hợp với máy tính công nghiệp hàng đầu thế giới, triển khai các máy trạm AI hiệu quả và đáng tin cậy nhất

NVIDIA RTX 6000 Ada, trong số bốn card GPU được thử nghiệm, tự hào có hiệu suất cao nhất, thiết kế làm mát hai chiều tuyệt vời và lợi thế tiêu thụ điện năng thấp, mang lại khả năng tích hợp hệ thống, khả năng mở rộng và khả năng tương thích phần mềm tối ưu. Nó hỗ trợ nhiều ứng dụng khác nhau để đáp ứng nhu cầu chuyên nghiệp, cung cấp cho khách hàng doanh nghiệp hiệu năng tính toán chuyên sâu hơn gấp đôi đồng thời đảm bảo hoạt động ổn định 24/7 và hiệu quả của các máy trạm.

Với ứng dụng rộng rãi của điện toán biên, tăng tốc AI, điện toán GPU và 5G, ngày càng nhiều ứng dụng AI cần được triển khai ở biên để cung cấp khả năng tính toán suy luận AI theo thời gian thực và giảm độ trễ. Advantech, với tư cách là Đối tác ưu tú của NVIDIA, cung cấp đầy đủ các loại thẻ GPU NVIDIA Enterprise PCIe, bao gồm thẻ GPU RTX chuyên nghiệp, cũng như thẻ GPU được sử dụng trong trung tâm dữ liệu và Đào tạo AI. Chúng tôi có quyền truy cập ưu tiên vào các quyền sử dụng sản phẩm mới nhất và hỗ trợ độc quyền từ nhóm kỹ thuật của NVIDIA về phần cứng, phần mềm và chương trình trình điều khiển.

Quan trọng hơn, Advantech, với tư cách là nhà cung cấp máy tính công nghiệp hàng đầu thế giới, đã tích lũy nhiều năm kinh nghiệm về các giải pháp điện toán biên và AI. Chúng tôi cung cấp nhiều hệ thống khác nhau cho khách hàng lựa chọn, cũng như các dịch vụ tích hợp. Đạt chứng nhận hệ thống nghiêm ngặt của NVIDIA (NVIDIA-Certified and Qualified), đảm bảo hệ thống vận hành ổn định và khả năng tương thích phần mềm, cho phép các dự án ứng dụng khác nhau của khách hàng được triển khai và ra mắt trong thời gian ngắn nhất, tạo ra giá trị tối ưu trong kỷ nguyên AI và điện toán tăng tốc.