NVIDIA Blackwell กวาดรางวัล MLPerf Training 6.0 ครองอันดับ 1 ด้านประสิทธิภาพและความสามารถในการขยายระบบ

NVIDIA Blackwell กวาดรางวัล MLPerf Training 6.0 ครองอันดับ 1 ด้านประสิทธิภาพและความสามารถในการขยายระบบNVIDIA สร้างประวัติศาสตร์หน้าใหม่ด้วยการคว้าชัยชนะในทุกหมวดหมู่ของการทดสอบ MLPerf Training v6.0 ซึ่งเป็นการวัดประสิทธิภาพมาตรฐานอุตสาหกรรมด้านการฝึกสอนโมเดล AI โดย MLCommons consortium การประกาศผลครั้งนี้แสดงให้เห็นถึงความเหนือกว่าของ NVIDIA ในด้านความเร็วในการฝึกสอนโมเดล AI ขนาดใหญ่ และประสิทธิภาพต่อหน่วยประมวลผล (per-accelerator) ที่สูงที่สุดในทุก Benchmark นอกจากนี้ NVIDIA ยังเป็นแพลตฟอร์มเดียวที่ส่งผลการทดสอบในทุกประเภทการทดสอบใหม่และเดิมการพิสูจน์ประสิทธิภาพของ NVIDIA Blackwell ใน MLPerf Training 6.0MLPerf Training v6.0 ได้เพิ่ม Benchmark ใหม่เพื่อสะท้อนแนวโน้มล่าสุดของโมเดล AI โดยเฉพาะอย่างยิ่งโมเดลประเภท Mixture of Experts (MoE) ที่มีขนาดใหญ่มาก เช่น DeepSeek-V3 (671 พันล้านพารามิเตอร์) ซึ่งเป็นพื้นฐานของโมเดล DeepSeek-R1 และ GPT-OSS-20B ซึ่งเป็นโมเดล MoE ขนาดเล็กแต่มีความสามารถสูงแพลตฟอร์ม NVIDIA เป็นเพียงแพลตฟอร์มเดียวที่ส่งผลการทดสอบสำหรับเวิร์กโหลดใหม่ทั้งสองประเภท โดยระบบ NVIDIA GB300 NVL72 ได้สร้างมาตรฐานใหม่ด้านประสิทธิภาพ ด้วยการปรับแต่งซอฟต์แวร์ NVIDIA ให้เหมาะสม และการออกแบบที่เชื่อมต่อ GPU NVIDIA Blackwell Ultra จำนวน 72 ตัว และ CPU NVIDIA Grace จำนวน 36 ตัว เข้าด้วยกันเป็นระบบเดียวผ่าน NVIDIA NVLink และ NVIDIA NVLink Switchการขยายระบบและประสิทธิภาพที่เหนือชั้นการฝึกสอนโมเดล AI ที่ทันสมัยที่สุดต้องการโครงสร้างพื้นฐานขนาดใหญ่และความสามารถในการประมวลผลเวิร์กโหลดจำนวนมหาศาลผ่านหน่วยประมวลผลที่เชื่อมต่อกันหลายพันตัว ในการทดสอบรอบนี้ NVIDIA ได้แสดงให้เห็นถึงความสามารถในการขยายระบบ (Scaling) ไปจนถึง GPU Blackwell สูงสุดถึง 8,192 ตัว ซึ่งทำงานร่วมกันในศูนย์ข้อมูลคลาวด์ที่หลากหลาย การส่งผลการทดสอบเหล่านี้เป็นการพิสูจน์ความแข็งแกร่งและความน่าเชื่อถือของแพลตฟอร์ม Blackwell ในสภาพแวดล้อมการใช้งานจริงในศูนย์ข้อมูลระดับ Hyperscaleเพื่อให้ได้ประสิทธิภาพสูงสุดจากการฝึกสอนแต่ละรอบในระดับนี้ จำเป็นต้องอาศัยแพลตฟอร์มเครือข่ายที่สามารถขยายระบบได้ดีเยี่ยม เช่น NVIDIA Spectrum-X Ethernet และ NVIDIA Quantum InfiniBand โดยเฉพาะอย่างยิ่งกับโมเดล MoE ที่มีการสร้างการกระจายงานไปยัง Expert เฉพาะทาง ซึ่งมักจะสร้างการรับส่งข้อมูลแบบ Burst ที่มีความหนาแน่นต่ำ (low-entropy, bursty flows) ซึ่งปกติแล้วจะลด Bandwidth ที่ใช้งานได้จริงภายใต้การกำหนดเส้นทางแบบคงที่ (ECMP hashing)เพื่อแก้ไขปัญหานี้ Spectrum-X Ethernet’s Advanced Adaptive Routing จะกระจาย Traffic แบบ Packet-by-Packet ไปยังทุกเส้นทางที่พร้อมใช้งานตามภาระการเชื่อมต่อแบบเรียลไทม์ ทำให้ Bandwidth ที่ใช้งานได้จริงใกล้เคียงกับความจุสูงสุดของ Fabric ในขณะที่ ConnectX SuperNIC ที่รับข้อมูลจะจัดการกับการส่งข้อมูลที่มาถึงแบบไม่เรียงลำดับ (out-of-order delivery) นอกจากนี้ เมื่อ Expert ที่ได้รับความนิยมมีการรับส่งข้อมูลพร้อมกันจากผู้ส่งหลายราย Spectrum-X Congestion Control จะใช้ข้อมูล Telemetry แบบเรียลไทม์เพื่อตรวจจับสัญญาณ Incast และควบคุมอัตราการส่งข้อมูลจากผู้ส่งก่อนที่ Buffer จะเต็ม ซึ่งช่วยรักษาสมดุลของ Latency ปลาย (tail latency) ทำให้การสื่อสารแบบ All-to-All ถูกซ่อนอยู่เบื้องหลังการประมวลผล แทนที่จะปรากฏบนเส้นทางการทำงานหลักการผสมผสานระหว่างการจัดการ Cluster และประสิทธิภาพของ Network Fabric นี้ ได้สร้างสถิติใหม่ด้านเวลาในการฝึกสอน (time-to-train) สำหรับ Benchmark ที่ท้าทายที่สุดนวัตกรรมซอฟต์แวร์: หัวใจสำคัญของการดึงประสิทธิภาพสูงสุดความสามารถของฮาร์ดแวร์จะไร้ความหมายหากปราศจากซอฟต์แวร์ที่ขับเคลื่อนอย่างมีประสิทธิภาพ เพื่อดึงประสิทธิภาพสูงสุดสำหรับโมเดล MoE ที่ซับซ้อน เช่น DeepSeek-V3 NVIDIA ได้นำการปรับปรุงซอฟต์แวร์ที่ล้ำสมัยมาใช้ในการทดสอบ MLPerf Training รอบนี้:Full-iteration CUDA graphs สำหรับ MoE แบบ Token-Dropless:โดยทั่วไป สถาปัตยกรรม MoE แบบ Token-Dropless มักประสบปัญหาในการรันบน CUDA graphs เต็มรูปแบบ เนื่องจากพฤติกรรมการกระจายงานแบบไดนามิก ทำให้ต้องมีการซิงโครไนซ์ระหว่าง CPU และ GPU อย่างต่อเนื่อง ใน MLPerf Training 6.0 NVIDIA ได้นำ Full-iteration CUDA graphs มาใช้เป็นครั้งแรกสำหรับ MoE เหล่านี้ โดยแก้ไขปัญหาหลักสองประการ:Synchronization-free Mode: Operator ของ Expert module เช่น Quantizer, Grouped GEMM และ Token Dispatcher ถูกเปลี่ยนไปใช้โหมดที่ไม่ต้องซิงโครไนซ์ (synchronization-free) โดย Shape ของ Input จะถูกดึงมาจากค่าบน GPU โดยตรง ทำให้ไม่ต้องอาศัยการประสานงานจาก HostPaged Stashing: การจัดการหน่วยความจำบน Device ทำได้โดยไม่ต้องใช้ Host ซึ่งช่วยให้การจัดการหน่วยความจำบน GPU ที่ถูกจัดสรรไว้ล่วงหน้ามีความละเอียดสูง และเข้ากันได้อย่างสมบูรณ์กับ CUDA graphsการเขียนเส้นทางการทำงานที่สำคัญใหม่เพื่อกำจัดจุดที่ต้องซิงโครไนซ์ระหว่าง CPU และ GPU ทำให้เวิร์กโหลดการทำงานเต็มรอบถูกถ่ายโอนไปยัง GPU ทั้งหมด ซึ่งช่วยลด Bottleneck ที่เกิดจาก CPU และความผันผวนของการทำงานบน Host โดยเฉพาะอย่างยิ่งเมื่อขยายไปยัง Cluster ที่มี GPU มากกว่า 2,000 ตัวCuTe DSL และ Kernel Fusions:เพื่อรวม Layer ที่เน้นการใช้ Bandwidth ของหน่วยความจำ (memory-bandwidth bound layers) เข้ากับการดำเนินการ Grouped GEMM และการทำงานแบบไม่ต้องซิงโครไนซ์ที่จำเป็นสำหรับ CUDA graphs NVIDIA ได้ใช้ CuTe DSL สำหรับการทำ Kernel Fusions ขั้นสูง สิ่งนี้ช่วยให้นักพัฒนาสามารถรวมการคำนวณทางคณิตศาสตร์และการจัดการหน่วยความจำได้โดยตรงที่ระดับฮาร์ดแวร์ ทำให้ข้อมูลยังคงอยู่ใน Register และหลีกเลี่ยงการรับส่งข้อมูลไปกลับที่ใช้ต้นทุนสูงไปยัง Global Memory นอกจากนี้ การรองรับ Dynamic Tile Scheduling ยังช่วยซ่อนการอ่านและเขียนที่ไม่ได้รวมเข้าด้วยกัน (unfused reads and writes) ไว้เบื้องหลังการดำเนินการ GEMM ทำให้เกิดการทับซ้อน (overlap) ที่มีประสิทธิภาพกับการสื่อสาร KernelCuTe DSL ยังช่วยให้สามารถสร้าง Kernel ที่รับ Argument ของ Shape โดยตรงจากหน่วยความจำ GPU ซึ่งคำนวณโดย Kernel GPU อื่นก่อนหน้านี้ ความสามารถนี้ช่วยลดความจำเป็นในการซิงโครไนซ์ CPU-GPU แม้สำหรับ Dynamic Shapes ที่ไม่ทราบจนกว่าจะถึงเวลา Runtime ซึ่งเป็นการกำจัด CPU ออกจากเส้นทางหลักสำหรับ MoE แบบ Token-Dropless การทำ Fusions ขั้นสูงเหล่านี้ร่วมกับ CUDA graphs ให้ประโยชน์ End-to-End มากกว่า 8% สำหรับ Deepseek-v3 และเร่งความเร็ว End-to-End ได้ 93% สำหรับ GPT-OSSMXFP8 Attention Block:โดยทั่วไปแล้ว การฝึกสอนโมเดล MoE จะใช้ความละเอียด 16-bit สำหรับการคำนวณ Attention ในรอบนี้ ได้มีการพัฒนาสูตร MXFP8 Attention เพื่อเพิ่มประสิทธิภาพโดยไม่ส่งผลกระทบต่อคุณภาพของโมเดล ซึ่งช่วยเร่งความเร็ว End-to-End สำหรับ DeepSeekv3 benchmark ในขณะที่ยังคงรักษาการคำนวณทางคณิตศาสตร์มาตรฐานที่จำเป็นสำหรับการดำเนินการ Attention สูตรนี้จะเก็บ Input Tensors ของการดำเนินการ Matrix Multiply แบบ Batch ทั้งหมดใน Attention Block ด้วยความละเอียด 8-bit ซึ่งใช้ประโยชน์จากการประมวลผล FP8 ที่เร็วกว่าเมื่อเทียบกับ Datapath แบบ Floating Point 16-bit Kernel นี้มีให้ใช้งานใน cuDNN ผ่านไลบรารี Transformer Engineการปรับปรุง Router และ Hybrid EP:MoE Router ใช้สำหรับกำหนด Token ไปยัง Expert Layer เฉพาะแบบไดนามิก ซึ่งประสิทธิภาพของ Router เป็นปัจจัยสำคัญใน Bottleneck ทั่วทั้ง Cluster Kernel แบบ Elementwise หลายตัวถูกรวมเข้าด้วยกันใน Router รวมถึงการคำนวณ Top-K และ Score เพื่อเพิ่มประสิทธิภาพ เพื่อให้ใช้ฮาร์ดแวร์ได้สูงสุด Kernel เหล่านี้ถูกเปลี่ยนจากการคำนวณ FP64 ไปเป็น FP32 ซึ่งให้ความเร็ว Kernel เพิ่มขึ้น 5 เท่า นอกจากนี้ Kernel การประมวลผล Metadata แบบ Elementwise หลายตัวถูกรวมเข้าด้วยกันภายใน HybridEP พร้อมกับการปรับแต่งประสิทธิภาพเฉพาะสำหรับ Kernel Permute/Unpermute โดยรวมแล้ว การปรับปรุงเหล่านี้ให้ประสิทธิภาพเพิ่มขึ้น 5% End-to-Endการปรับปรุง 1F1B All-to-All Overlap:รูปแบบการทับซ้อน (Overlap) การสื่อสารแบบ 1F1B (One Forward, One Backward) All-to-All (A2A) ได้ถูกนำมาใช้ใน Megatron-Core เพื่อซ่อนการสื่อสาร MoE ไว้เบื้องหลังการประมวลผลในระดับ Batch ในรอบ MLPerf นี้ ประสิทธิภาพการทำงานของรูปแบบนี้ได้รับการปรับปรุงอย่างมาก แม้ว่าการกำหนดเวลา 1F1B ในตอนแรกจะทำให้เกิด Overhead ของ CPU ที่สังเกตได้ แต่การจับการทำงานเต็มรอบภายใน CUDA Graph สามารถกำจัด Bottleneck ฝั่ง Host นี้ได้ ประสิทธิภาพได้รับการปรับปรุงเพิ่มเติมโดยการจัดลำดับความสำคัญของ Stream การสื่อสาร การใช้ Kernel ที่กำหนดเวลาแบบไดนามิกด้วย CuTe DSL และการเปิดใช้งานการสนับสนุนการหน่วงเวลา Gradient ของน้ำหนัก (wgrad) สำหรับ GEMM ด้วย CuteDSL ใหม่ ในสภาวะปกติ การปรับเปลี่ยนเหล่านี้ทำให้เกิดการทับซ้อนของการสื่อสาร A2A เกือบ 100% ส่งผลให้ประสิทธิภาพโดยรวมเพิ่มขึ้น 8%การลดความไม่สมดุลระหว่าง Pipeline Stages:เมื่อ Kernel การประมวลผลแต่ละตัวเร็วขึ้น ความไม่สมดุลที่ซ่อนอยู่ระหว่าง Pipeline Parallel Stages จะมีความชัดเจนมากขึ้น NVIDIA ได้ปรับปรุง Layout และความสมดุลของ Pipeline Parallel Stages เหล่านี้ เพื่อลดเวลาที่เกิดจากการหยุดชะงักของโครงสร้าง (structural idling หรือ “bubble time”)ความไม่สมดุลของ Pipeline เป็น Bottleneck หลักในประสิทธิภาพของ Pipeline Parallelism (PP) สำหรับ DeepSeek-V3 โมเดลใช้การตั้งค่า Layer แบบ Hybrid โดยมี Dense Layer สามตัวที่ส่วนหน้า และ MTP (Multi-Token Prediction) พร้อม Logits GEMM และ Crossentropy ที่ส่วนท้าย เพื่อแก้ไขปัญหานี้ ได้มีการใช้ประโยชน์จากการรองรับ Pipeline Layout ที่ยืดหยุ่นของ Megatron-Core เพื่อปรับสมดุลของ Stages อย่างระมัดระวัง ในขณะที่ใช้ความละเอียด MXFP8 สำหรับ Logits Projection GEMM เพื่อลดเวลาการทำงานบน Critical Path การใช้ MXFP8 สำหรับ Logits Projection GEMM ไม่ส่งผลกระทบต่อความเสถียรทางตัวเลขของ Benchmark การปรับเปลี่ยนเหล่านี้ช่วยลดความไม่สมดุลของ Pipeline ให้เหลือน้อยกว่า 1% ซึ่งส่งผลให้ประหยัดประสิทธิภาพ End-to-End ได้ 4%การออกแบบร่วมกันตลอดทั้ง Stack: ผลรวมของทุกส่วนแม้ว่า Benchmark มาตรฐานจะวัดประสิทธิภาพ ณ จุดเวลาหนึ่ง แต่ปัจจัยขับเคลื่อนหลักที่สร้างคุณค่าให้กับนักพัฒนาอย่างแท้จริง คือการพัฒนาซอฟต์แวร์อย่างต่อเนื่อง ความร่วมมืออย่างใกล้ชิดระหว่างทีมวิศวกรรมฮาร์ดแวร์และซอฟต์แวร์ในช่วงสามเดือนที่ผ่านมา ได้ปลดล็อกความสำเร็จในการปรับปรุงที่สำคัญสำหรับแพลตฟอร์ม NVIDIAความเร็วในการสร้างสรรค์นวัตกรรมนี้แผ่ขยายไปทั่วทั้ง NVIDIA Software Stack แทนที่จะพึ่งพาการปรับปรุงใน Layer ใด Layer หนึ่งเพียงอย่างเดียว นวัตกรรมที่กล่าวมาข้างต้นแสดงให้เห็นว่าการปรับปรุงประสิทธิภาพแบบขนานได้รับการออกแบบอย่างละเอียดในไลบรารี CUDA-X พื้นฐานหลายตัว เฟรมเวิร์ก และ API รวมถึง cuDNN, Transformer Engine, CuTe DSL, Megatron Core และ cuBLAS Megatron Bridge ทำหน้าที่เป็นชั้นบรรจุภัณฑ์ส่วนกลางที่รวมการปรับปรุงเหล่านี้จากทั่วทั้ง Stack ทำให้พร้อมใช้งานทันทีสำหรับนักพัฒนาในระบบนิเวศแบบครบวงจรเพื่อแสดงให้เห็นถึงสิ่งนี้ โดยใช้ NVIDIA NeMo container เวอร์ชันล่าสุด 26.06 ประสิทธิภาพการฝึกสอนของ NVIDIA Blackwell Ultra GB300 บน DeepSeek-V3 ได้เพิ่มขึ้น 1.3 เท่า จาก 1,298 TFLOPS/GPU เป็น 1,648 TFLOPS/GPU (6,338 tokens/วินาที/GPU) การเพิ่มขึ้นของประสิทธิภาพนี้ในระยะเวลาเพียงสามเดือน เป็นผลโดยตรงจากการออกแบบร่วมกันตลอดทั้ง Stack การกำจัด Bottleneck เล็กๆ น้อยๆ อย่างเป็นระบบในโปรโตคอลการสื่อสาร Layer การกระจายงาน และ Kernel การประมวลผล โดยไม่ต้องเปลี่ยนแปลง Silicon พื้นฐานการพัฒนาอย่างต่อเนื่องนี้ ได้ยกระดับ NVIDIA Goodput อย่างแท้จริง#NVIDIABlackwell #MLPerf #AI #DeepLearning #GPUhttps://developer.nvidia.com/blog/nvidia-blackwell-tops-mlperf-training-6-0-with-industry-leading-scale-and-performance/