NVIDIA NVLink: เครือข่าย Scale-Up สำหรับ AI Factory ยุคใหม่

NVIDIA NVLink: เครือข่าย Scale-Up สำหรับ AI Factory ยุคใหม่ความต้องการใช้งาน AI กำลังเติบโตอย่างก้าวกระโดด โมเดล AI มีขนาดใหญ่ซับซ้อนขึ้นเรื่อยๆ และแรงกดดันในการนำโครงสร้างพื้นฐาน AI มาใช้งานจริงก็สูงขึ้นกว่าที่เคย การสร้าง "AI Factory" ซึ่งเป็นระบบขนาดใหญ่ระดับ Data Center ที่แปลงข้อมูลและพลังงานให้เป็นสติปัญญาอย่างต่อเนื่อง จึงเป็นหัวใจสำคัญในการตอบสนองความต้องการอันมหาศาลนี้แนวทาง AI Factory ได้เปลี่ยนโฉมการออกแบบและการดำเนินงานของ Data Center ไปอย่างสิ้นเชิง ไม่ใช่แค่เพียงประสิทธิภาพการประมวลผลสูงสุด (Peak Accelerator FLOPS) เท่านั้นที่สำคัญอีกต่อไป แต่เวิร์กโหลด AI ในปัจจุบัน รวมถึงโมเดลที่มีพารามิเตอร์หลายล้านล้านตัว, สถาปัตยกรรมแบบ Mixture-of-Experts (MoE), การประมวลผลบริบทที่ยาวนาน (Long-Context Reasoning) และการให้บริการแบบกระจายศูนย์ (Disaggregated Serving) ล้วนต้องการให้ GPU จำนวนมากทำงานร่วมกันเสมือนเป็นหน่วยประมวลผลเดียว การจะบรรลุเป้าหมายนี้ได้ จำเป็นต้องมี การสื่อสารระหว่าง GPU ที่มีแบนด์วิดท์สูงและมีความหน่วงต่ำ (Low Latency), การประมวลผลภายในเครือข่ายที่รวดเร็ว (Fast In-Network Compute) สำหรับการดำเนินการแบบรวม (Collective Operations) และ การจัดตารางทรัพยากรที่รับรู้ถึงซอฟต์แวร์ (Software-Aware Scheduling)ด้วยจำนวนส่วนประกอบที่มากมายมหาศาล ความทนทาน (Resiliency) จึงต้องถูกสร้างขึ้นในระดับ Data Center ทั้งหมด การก้าวให้ทันกับการพัฒนาของ AI ต้องการเทคโนโลยีและห่วงโซ่อุปทานที่สามารถเคลื่อนไหวได้ด้วยความเร็วเท่ากับการพัฒนานวัตกรรมในอุตสาหกรรมนี่คือเหตุผลว่าทำไม เครือข่ายแบบ Scale-Up จึงกลายเป็นหนึ่งในการตัดสินใจทางสถาปัตยกรรมที่สำคัญที่สุดสำหรับ AI Factory เครือข่าย Scale-Up คือสิ่งที่ทำให้ GPU ทำงานร่วมกันเป็นหน่วยประมวลผลเดียว กำหนดประสิทธิภาพในการส่งต่อ Token ระหว่างผู้เชี่ยวชาญ, ความรวดเร็วในการดำเนินการแบบรวม (Collective Operations) และปริมาณงานที่มีประสิทธิภาพที่โรงงานสามารถส่งมอบได้ เป็นปัจจัยสำคัญในการลดความเสี่ยงของผู้ปฏิบัติงานเมื่อนำแพลตฟอร์มใหม่มาใช้งานNVIDIA NVLink: หัวใจสำคัญของเครือข่าย Scale-Up สำหรับ AI FactoryNVIDIA NVLink คือเครือข่าย Scale-Up ที่ออกแบบมาโดยเฉพาะสำหรับ AI Factory ถูกสร้างขึ้นเพื่อเร่งความเร็วการอนุมาน (Inference), การฝึก (Training) และเวิร์กโหลดการประมวลผลแบบขนานอื่นๆ ที่ต้องการการสื่อสารระหว่าง GPU ขนาดใหญ่และรวดเร็วNVLink รุ่นที่ 6 (Sixth Generation) พร้อมด้วย NVLink 6 Switch นำเสนอ แบนด์วิดท์ GPU-to-GPU สูงสุด พร้อม ความหน่วงต่ำที่สุด ในรูปแบบ All-to-All Topology สำหรับเครือข่าย Scale-Up นอกจากนี้ยังรองรับการประมวลผลภายในเครือข่าย (In-Network Compute) ผ่าน SHARP เพื่อถ่ายโอนภาระการดำเนินการแบบรวม (Collective Operations) และมีฟีเจอร์ความทนทานระดับ Rack ที่ออกแบบมาเพื่อการทำงานของ AI Factory อย่างต่อเนื่องNVLink พัฒนาขึ้นด้วยแนวทาง Extreme Co-Design ซึ่งเป็นการออกแบบและปรับแต่งฮาร์ดแวร์และซอฟต์แวร์ทั้งสแต็ก ตั้งแต่ชิป ระบบ เครือข่าย ไปจนถึงซอฟต์แวร์ ให้ทำงานร่วมกันอย่างสมบูรณ์ NVLink เป็นส่วนหนึ่งของแผนงานโครงสร้างพื้นฐาน AI ประจำปีของ NVIDIA ด้วยเทคโนโลยีที่สมบูรณ์ มีการใช้งานมายาวนาน และแพร่หลาย ทำให้ NVLink กลายเป็นกระดูกสันหลังของโครงสร้างพื้นฐาน AI ในยุคปัจจุบันกลไกเบื้องหลังที่ทำให้ Scale-Up Networking ขับเคลื่อนเศรษฐศาสตร์ของ AI Factoryเครือข่ายแบบ Scale-out (เช่น NVIDIA Quantum InfiniBand และ NVIDIA Spectrum-X Ethernet) ทำหน้าที่เชื่อมต่อเซิร์ฟเวอร์ทั่วทั้ง Data Center ในขณะที่เครือข่ายแบบ Scale-up (เช่น NVLink) จะเชื่อมต่อ GPU ภายในโดเมนเดียวให้มีแบนด์วิดท์สูง, ความหน่วงต่ำที่คาดการณ์ได้ และหน่วยความจำแบนด์วิดท์สูง (HBM) ที่ใช้ร่วมกัน ทั้งสองแบบมีความสำคัญ แต่แก้ปัญหาที่แตกต่างกันเครือข่าย Scale-out มีความสำคัญอย่างยิ่งสำหรับเวิร์กโหลดการฝึก AI แบบ Data-Parallel ขนาดใหญ่ (รวมถึงการจำลองทางวิทยาศาสตร์ขนาดใหญ่) ที่อาจครอบคลุม GPU หลายพันถึงหลายแสนตัว แต่สำหรับ AI Training และ Inference ในปัจจุบัน โดเมน Scale-up คือจุดที่รูปแบบการสื่อสารที่ไวต่อความหน่วง (Latency-Sensitive) ส่วนใหญ่เกิดขึ้นลองพิจารณาตัวอย่างการอนุมาน (Inference) ด้วยโมเดล MoE:การนำโมเดล MoE ไปใช้งานอย่างมีประสิทธิภาพมักใช้ Expert Parallelism เพื่อกระจายผู้เชี่ยวชาญ (Experts) ไปยัง GPU ต่างๆ และใช้ Batch Size ขนาดใหญ่ เพื่อเพิ่มปริมาณงานสูงสุดของโรงงาน วิธีนี้จะช่วยขนานเวิร์กโหลด แต่ก็สร้างการสื่อสารแบบ All-to-All ที่เข้มข้นระหว่าง GPU Token จะต้องถูกส่งไปยังผู้เชี่ยวชาญที่เลือก, ประมวลผล, รวบรวม, จัดลำดับใหม่ และส่งต่อไปยังขั้นตอนถัดไปการสื่อสารระหว่าง GPU ทั้งหมดนี้ต้องเกิดขึ้นพร้อมกัน หากเครือข่ายที่มีแบนด์วิดท์ต่ำหรือมีความหน่วงสูงมาขวางกั้น ประโยชน์ที่ได้จาก Expert Parallelism ก็อาจถูกบดบังด้วยค่าใช้จ่ายในการสื่อสาร ปรากฏการณ์เดียวกันนี้เกิดขึ้นระหว่างการฝึกโมเดล MoEประเด็นสำคัญคือ แบนด์วิดท์ All-to-All และความหน่วง มีความสำคัญอย่างยิ่งต่อประสิทธิภาพของ AI Factory AI Factory ต้องการเครือข่าย Scale-Up ที่ออกแบบมาโดยเฉพาะ ซึ่งทำงานร่วมกับส่วนอื่นๆ ของระบบ เพื่อส่งมอบและรักษาความสามารถเหล่านี้ภายใต้ภาระงานที่หนักหน่วง และครอบคลุมทุกเวิร์กโหลด เครือข่าย Scale-Up ช่วยเพิ่มผลตอบแทนจากการลงทุน (ROI) ด้วยการเพิ่มประสิทธิภาพของ Token ที่ส่งมอบต่อวัตต์, ต่อดอลลาร์ และต่อพื้นที่โรงงาน นำไปสู่การฝึกที่สั้นลง, การใช้งานที่สูงขึ้น และต้นทุนต่อ Token ที่ต่ำลงสำหรับ AI FactoryNVIDIA ได้แสดงให้เห็นถึงผลกระทบของเครือข่าย Scale-Up ที่มีแบนด์วิดท์สูงและหน่วงต่ำในโมเดล MoE ขนาดใหญ่ สำหรับโมเดลอย่าง DeepSeek-R1 และ Qwen 235B รวมถึง LLM จำลองขนาด 2T พารามิเตอร์ NVLink สามารถส่งมอบ Throughput ในการถอดรหัส (Decode Throughput) ได้สูงถึง 2.3 เท่า เมื่อเทียบกับโซลูชัน Ethernet สำเร็จรูปชั้นนำการประเมินเทคโนโลยี Scale-Upเอกสารข้อมูลทางเทคนิค (Spec Sheets) มักเปรียบเทียบเครือข่ายโดยใช้ตัวเลขแบนด์วิดท์ง่ายๆ เช่น อัตราการเชื่อมต่อ (Link Rate), ความจุรวมของสวิตช์ (Aggregate Switch Capacity) หรือแบนด์วิดท์สูงสุดต่ออุปกรณ์ ตัวเลขเหล่านี้มีประโยชน์ แต่ไม่เพียงพอการประเมินความสามารถของ Scale-Up สำหรับเวิร์กโหลด AI ในปัจจุบัน จำเป็นต้องมองในมุมมองของ ระดับโรงงาน (Factory-Level View) ประสิทธิภาพของระบบที่ส่งมอบได้ (Delivered Performance) จะกำหนดจำนวน Token ที่สามารถประมวลผลและส่งมอบได้ต่อหน่วยเวลา, พลังงาน และพื้นที่โรงงาน ซึ่งขึ้นอยู่กับปัจจัยต่างๆ เช่น:แบนด์วิดท์ All-to-All ของเครือข่ายความหน่วงแบบ End-to-End (จากหน่วยความจำ HBM ของ GPU หนึ่ง ไปยังหน่วยความจำ HBM ของ GPU อื่น ผ่านเครือข่าย)ความสามารถในการประมวลผลภายในเครือข่าย (In-Network Compute) สำหรับการดำเนินการแบบลดทอน (Reductions) และการดำเนินการแบบรวมอื่นๆซอฟต์แวร์ที่ผสานรวมอย่างสมบูรณ์ในทุกระดับ ซึ่งสามารถปรับแต่งการกำหนดเส้นทาง (Routing), เปิดเผยการดำเนินการแบบรวม (Expose Collectives), ปรับสมดุลการรับส่งข้อมูลบนลิงก์ (Balance Link Traffic), จัดลำดับการถ่ายโอนข้อมูล (Pipeline Data Transfers) และรองรับไลบรารีและเฟรมเวิร์กที่เวิร์กโหลด AI ในปัจจุบันใช้งานประสิทธิภาพที่ส่งมอบได้จะมีค่าก็ต่อเมื่อโรงงานสามารถ ทำงานได้อย่างต่อเนื่อง (Operational) ความสามารถในการทำงานเป็นระยะเวลานานโดยไม่มีความล้มเหลว, การตรวจสอบสุขภาพของระบบอย่างต่อเนื่อง และการสนับสนุนการบริการและการบำรุงรักษาในระดับส่วนประกอบ ขณะที่โรงงานส่วนที่เหลือยังคงดำเนินงานอยู่ จะช่วยแปลงประสิทธิภาพที่ส่งมอบได้ให้กลายเป็น ปริมาณงานจริง (Goodput) ซึ่งคือความสามารถของโรงงานในการผลิตตลอดอายุการใช้งานทั้งหมดการบรรลุประสิทธิภาพที่ส่งมอบได้และ Goodput ที่เหมาะสมที่สุดสำหรับเวิร์กโหลดที่หลากหลายผ่านเทคโนโลยีที่ซับซ้อน เป็นความท้าทายที่ยากยิ่ง ซึ่งได้รับการแก้ไขผ่านการเรียนรู้มาหลายปีด้วยโครงสร้างพื้นฐาน Scale-Up ที่ใช้งานอย่างแพร่หลายและห่วงโซ่อุปทานที่แข็งแกร่ง การใช้สแต็กเทคโนโลยีที่ยังไม่ผ่านการพิสูจน์ หรือโซลูชันที่ไม่ได้รับการออกแบบมาโดยเฉพาะสำหรับเครือข่าย Scale-Up มีความเสี่ยงที่จะได้ประสิทธิภาพโรงงานที่ต่ำกว่ามาตรฐาน, เหตุการณ์ Downtime ที่ก่อกวน และการจัดหาที่ไม่น่าเชื่อถือโดยรวมแล้ว ตัวชี้วัดเหล่านี้จะขับเคลื่อนผลลัพธ์เดียวที่สำคัญที่สุด: ผลตอบแทนจากการลงทุนที่ยั่งยืนและเชื่อถือได้ตลอดอายุการใช้งานของ AI Factoryตัวชี้วัดหลักสำหรับเครือข่าย Scale-Up ใน AI FactoriesNVLink: ประสิทธิภาพ, ความทนทาน, และความเป็นผู้ใหญ่NVLink ในรุ่นที่หก (Sixth Generation) นำเสนอประสิทธิภาพที่ส่งมอบได้และความทนทานที่จำเป็นในการเพิ่ม Goodput ของโรงงานให้สูงสุด ด้วยการลงทุนในเทคโนโลยี Scale-Up มากว่าทศวรรษและการใช้งานที่ได้รับการพิสูจน์แล้วในกลุ่ม Hyperscalers, Cloud Service Providers (CSPs) และศูนย์ Supercomputing ชั้นนำของโลกประสิทธิภาพระดับโลก:ด้วยแพลตฟอร์ม NVIDIA Vera Rubin NVL72, NVLink รุ่นที่ 6 มอบแบนด์วิดท์ GPU-to-GPU แบบสองทิศทาง 3.6 TB/s ต่อ GPU และแบนด์วิดท์ GPU ระดับ Rack 260 TB/s ในโดเมน 72 GPU ความหน่วง End-to-End สำหรับการถ่ายโอนข้อมูล GPU-to-GPU ต่ำกว่าโซลูชัน Ethernet สำเร็จรูปถึง 3 เท่า และอัตราแพ็กเก็ต สูงกว่าถึง 10 เท่าNVLink 6 Switch Tray แต่ละชุดประกอบด้วยชิป NVLink 6 จำนวน 4 ตัว, แบนด์วิดท์รวมของ Tray 28.8 TB/s และพลังประมวลผล FP8 ภายในเครือข่าย 14.4 TFLOPS สำหรับเร่งการดำเนินการแบบลดทอน (Reductions) และการดำเนินการแบบรวมอื่นๆ ใน Rack Vera Rubin NVL72 เพียงหนึ่งเดียว NVLink 6 ให้แบนด์วิดท์รวม 260 TB/s และพลังประมวลผลภายในเครือข่าย 130 TFLOPSแผนงานเทคโนโลยี NVLink ยังรองรับขนาดโดเมน Scale-Up สูงสุดถึง 1152 GPU และการเชื่อมต่อผ่าน Co-packaged Opticsซอฟต์แวร์เป็นส่วนสำคัญของสแต็กเครือข่าย Scale-Up ประกอบด้วย NVIDIA Dynamo, NVIDIA TensorRT-LLM, NVIDIA Collective Communications Library (NCCL) และอื่นๆ ซึ่งทั้งหมดสร้างอยู่บน NVIDIA CUDA แพลตฟอร์มการประมวลผลแบบขนานชั้นนำของโลกที่เปิดตัวครั้งแรกเมื่อเกือบ 20 ปีที่แล้วฮาร์ดแวร์และซอฟต์แวร์ได้รับการพัฒนาด้วย Extreme Co-Design ซึ่งนำไปสู่การเพิ่มประสิทธิภาพที่ไม่สามารถทำได้ด้วยส่วนประกอบที่แยกออกจากกัน สำหรับเวิร์กโหลด AI ในปัจจุบัน นี่หมายถึงการปรับปรุงเศรษฐศาสตร์โครงสร้างพื้นฐานโดยตรงตัวอย่างเช่น ในการเปลี่ยนผ่านจาก NVIDIA Hopper ไปยัง NVIDIA Blackwell ซึ่งรวมถึงการเพิ่มแบนด์วิดท์ NVLink เป็นสองเท่า, การขยายขนาดโดเมน Scale-Up ของ NVLink จาก 8 เป็น 72 GPU และการรวม Dynamo สำหรับ Disaggregated Inference, NVIDIA สามารถบรรลุ ประสิทธิภาพการอนุมาน MoE ต่อวัตต์ที่เพิ่มขึ้นถึง 50 เท่าแพลตฟอร์ม NVIDIA Vera Rubin ยังขยายขีดความสามารถนี้ด้วยการเพิ่มแบนด์วิดท์ NVLink และพลังประมวลผลภายในเครือข่ายเป็นสองเท่าเมื่อสถาปัตยกรรมโมเดลมีการพัฒนา เครือข่ายฮาร์ดแวร์และสแต็กการสื่อสารซอฟต์แวร์ก็จะพัฒนาไปพร้อมกัน แนวทางการพัฒนาแบบ Extreme Co-Design นี้ต้องการการทำงานร่วมกันอย่างใกล้ชิดตลอดทั้งสแต็ก ซึ่งไม่สามารถทำซ้ำได้ด้วยแนวทางการพัฒนาแบบแยกhttps://developer.nvidia.com/blog/nvidia-nvlink-the-scale-up-network-for-ai-factories/