NVIDIA NVLink Fusion: ยกระดับโครงสร้างพื้นฐาน AI ด้วย NVHBM สู่ยุคใหม่

NVIDIA NVLink Fusion: ยกระดับโครงสร้างพื้นฐาน AI ด้วย NVHBM สู่ยุคใหม่ในโลกของปัญญาประดิษฐ์ (AI) ที่มีการพัฒนาอย่างไม่หยุดยั้ง โมเดล AI ที่ใหญ่ขึ้นและมีความซับซ้อนในการประมวลผลสูงขึ้นกลายเป็นเรื่องปกติ เหล่าผู้ให้บริการคลาวด์รายใหญ่ (Hyperscalers) และบริษัทที่เน้น AI เป็นหลัก (AI-native companies) กำลังเผชิญกับความต้องการพลังประมวลผลที่สูงลิ่ว จึงต้องมองหาโซลูชันใหม่ๆ เพื่อตอบโจทย์ความท้าทายนี้ หนึ่งในนั้นคือการพัฒนาตัวเร่งความเร็ว AI แบบกำหนดเอง (Custom AI Accelerators หรือ XPUs) ซึ่งจำเป็นต้องอาศัยหน่วยความจำความเร็วสูง (High-Bandwidth Memory - HBM) ที่เพียงพอ พื้นที่ซิลิคอนสำหรับการประมวลผลที่มากขึ้น การจ่ายไฟที่มีประสิทธิภาพ และห่วงโซ่อุปทานที่แข็งแกร่ง รวมถึงสถาปัตยกรรมระดับแร็ค (Rack-scale architecture) สำหรับการติดตั้งในศูนย์ข้อมูลNVIDIA NVLink Fusion คือเทคโนโลยีและ IP ที่เป็นตัวเชื่อมต่อสำคัญ ซึ่งช่วยให้ผู้ให้บริการคลาวด์และบริษัท AI สามารถนำ XPUs และ CPUs ที่ออกแบบเอง มาผสานรวมเข้ากับแพลตฟอร์ม AI ของ NVIDIA ได้อย่างง่ายดาย โดยใช้ประโยชน์จากสแต็กเทคโนโลยี Scale-up และ Scale-out รวมถึงสถาปัตยกรรม MGX ระดับแร็ค เพื่อลดความซับซ้อนในการพัฒนาและติดตั้ง เพิ่มประสิทธิภาพ และเร่งเวลาในการนำโซลูชัน AI ออกสู่ตลาดNVHBM: หน่วยความจำประสิทธิภาพสูงเพื่อ AIภายในระดับแพ็คเกจ (Package level) นั้น NVHBM (NVIDIA High Bandwidth Memory) เข้ามาเสริมสถาปัตยกรรมแบบรวมศูนย์นี้ NVHBM เป็นเทคโนโลยีฐานหน่วยความจำ HBM แบบกำหนดเอง ที่ได้รับการออกแบบและตรวจสอบร่วมกับผู้ผลิตหน่วยความจำชั้นนำ เพื่อเพิ่มแบนด์วิดท์หน่วยความจำ (Memory bandwidth) ให้สูงขึ้น ประหยัดพื้นที่ และลดการใช้พลังงาน ซึ่งการปรับปรุงเหล่านี้จะช่วยให้ XPUs แบบกำหนดเองสามารถรองรับโมเดลที่ใหญ่ขึ้น อ่านข้อมูล KV cache ได้เร็วขึ้น และปรับปรุงประสิทธิภาพทั้งการฝึก (Training) และการอนุมาน (Inference) ขนาดใหญ่ทำไมแบนด์วิดท์, พื้นที่ Die และพลังงาน จึงเป็นหัวใจของการออกแบบตัวเร่งความเร็ว AIการฝึก (Training), การอนุมาน (Inference) และเวิร์กโหลด AI แบบ Agentic ต้องการการเข้าถึงน้ำหนักโมเดล (Model weights), KV cache และข้อมูล Activation อย่างต่อเนื่อง เมื่อระบบ AI ขยายขนาดจากตัวเร่งความเร็วเดี่ยวๆ ไปสู่โดเมนประมวลผลระดับแร็ค แพ็คเกจของตัวเร่งความเร็วต้องสมดุลระหว่าง Logic การประมวลผล, การจ่ายไฟ, การออกแบบระบายความร้อน และหน่วยความจำแบนด์วิดท์สูงHBM ช่วยให้แบนด์วิดท์หน่วยความจำที่จำเป็นอยู่ใกล้กับตัวเร่งความเร็ว แต่การรับรองเทคโนโลยีหน่วยความจำชั้นนำ การรวมแพ็คเกจ และการตรวจสอบ อาจกลายเป็นคอขวดสำหรับโปรแกรมตัวเร่งความเร็วแบบกำหนดเอง ด้วย NVLink Fusion ลูกค้าจะสามารถเข้าถึงฐาน Die ของ NVHBM ที่ได้รับการตรวจสอบแล้วกับผู้ผลิตหน่วยความจำชั้นนำ ซึ่งช่วยลดปัญหาคอขวดในการรวมระบบและการรับรองคอขวดแบนด์วิดท์หน่วยความจำในตัวเร่งความเร็ว AI ยุคใหม่ประสิทธิภาพของตัวเร่งความเร็ว AI ขึ้นอยู่กับความสม่ำเสมอในการส่งข้อมูลไปยังเอนจิ้นประมวลผล ความเร็ว HBM ที่สูงขึ้นจะเพิ่มแบนด์วิดท์หน่วยความจำที่ใช้งานได้ภายในงบประมาณแพ็คเกจที่กำหนด ปรับปรุงความสามารถในการรองรับส่วนที่ต้องการแบนด์วิดท์สูงของการฝึกและการอนุมาน NVHBM สามารถให้แบนด์วิดท์หน่วยความจำ สูงขึ้นถึง 30% ต่อสแต็ก เมื่อเทียบกับ HBM4e มาตรฐาน สำหรับเวิร์กโหลด AI ที่มีข้อจำกัดด้านหน่วยความจำหรือบางส่วนของหน่วยความจำ นั่นหมายถึงการใช้ประโยชน์จากตัวเร่งความเร็วได้ดีขึ้นและมี Throughput สูงขึ้น ซึ่งสามารถเพิ่ม Throughput ต่อผู้ใช้ในระหว่างการอนุมานโมเดลขนาดใหญ่ได้ โดยการย้ายข้อมูลระหว่าง HBM และคอร์ประมวลผลได้เร็วขึ้น เพื่อให้เอนจิ้นประมวลผลทำงานได้อย่างต่อเนื่องในขณะที่ NVHBM เพิ่มแบนด์วิดท์หน่วยความจำภายในตัวเร่งความเร็วแต่ละตัว NVLink Fusion จะเชื่อมต่อตัวเร่งความเร็วเข้าด้วยกันในโดเมนที่ใหญ่ขึ้น เพื่อให้เวิร์กโหลดสามารถใช้ประโยชน์จากการประมวลผลและหน่วยความจำแบบกระจายได้อย่างมีประสิทธิภาพมากขึ้นโดเมน Scale-up นี้มีความสำคัญอย่างยิ่งเมื่อใช้เทคนิคการกำหนดเส้นทางขั้นสูง เช่น Expert Parallelism (EP) หรือ WideEP ในสถานการณ์เหล่านี้ ผู้เชี่ยวชาญ (Experts) ที่แตกต่างกันจะอยู่บน GPU คนละตัว และต้องการการซิงโครไนซ์ความเร็วสูงที่ราบรื่นทั่วทั้งแร็ค NVIDIA NVLink ซึ่งเป็นเครือข่าย Scale-up สำหรับโรงงาน AI จะถ่ายโอน Activations และ Hidden States ระหว่างผู้เชี่ยวชาญ และช่วยซิงโครไนซ์แคชแบบกระจายทั่วทั้งเครือข่าย Scale-up NVHBM ช่วยลดปัญหาข้อมูลขาดแคลน (Data starvation) โดยการรักษาเอนจิ้นประมวลผลในเครื่องให้ได้รับข้อมูลอย่างสม่ำเสมอพื้นที่แพ็คเกจที่มากขึ้น เพิ่มความยืดหยุ่นสำหรับซิลิคอน AI แบบกำหนดเอง ทุกตารางมิลลิเมตรมีความสำคัญ นักออกแบบตัวเร่งความเร็วต้องตัดสินใจว่าจะจัดสรรพื้นที่เท่าใดให้กับเอนจิ้นเมทริกซ์ (Matrix engines), หน่วยเวกเตอร์ (Vector units), SRAM บนชิป (On-chip SRAM), ลำดับชั้นแคช (Cache hierarchy), Logic ควบคุม (Control logic), อินเทอร์เฟซหน่วยความจำ (Memory interfaces), เครือข่ายบนชิป (Network-on-chip) และการเชื่อมต่อ Scale-up การใช้งานหน่วยความจำแบบกำหนดเองสามารถช่วยลดภาระการออกแบบและแพ็คเกจที่เกี่ยวข้องกับการเข้าถึง HBM ทำให้มีพื้นที่ว่างสำหรับความสามารถเฉพาะของเวิร์กโหลดเมื่อเวิร์กโหลด AI มีความหลากหลายมากขึ้น พื้นที่ Die เพิ่มเติมนี้จะช่วยให้ผู้ให้บริการคลาวด์มีความยืดหยุ่นมากขึ้นในการปรับแต่ง XPUs สำหรับการให้บริการ Inference, ระบบแนะนำ (Recommendation systems), ไปป์ไลน์แบบ Multimodal หรือเวิร์กโหลดการฝึกภายใน การลดพื้นที่ที่จำเป็นสำหรับอินเทอร์เฟซหน่วยความจำ NVHBM ช่วยให้นักพัฒนาสามารถจัดสรรพื้นที่ชิปส่วนใหญ่ให้กับประสิทธิภาพได้โดยตรงการประหยัดพื้นที่ส่วนใหญ่เกิดจากการออกแบบ Physical Memory Interface (PHY) ใหม่ HBM มาตรฐานใช้การเชื่อมต่ออินเทอร์เฟซที่กว้างขึ้น ซึ่งเพิ่มพื้นที่แพ็คเกจโดยรวม NVHBM ใช้ฐาน Die แบบกำหนดเองที่ปรับให้เหมาะสมกับประสิทธิภาพ โดยมีข้อกำหนดพื้นที่ I/O ที่ลดลง ซึ่งทำได้โดยการย้าย Memory Controller เข้าไปใน 3D HBM stack และรวม PHY แบบกำหนดเองเมื่อเทียบกับมาตรฐาน JEDEC HBM4e การออกแบบนี้จะ ลดพื้นที่ PHY และส่วนสนับสนุนลงได้ถึง 67% อินเทอร์เฟซที่แคบลงยังช่วยให้การ Routing Interposer ง่ายขึ้น ทำให้มีพื้นที่ซิลิคอนที่ใช้งานได้เพิ่มขึ้นถึง 80% ทั่วทั้ง Layoutดังที่แสดงในรูปภาพ การลดขนาดการเชื่อมต่ออินเทอร์เฟซหน่วยความจำช่วยให้ AI Compute Die ตรงกลางขยายเข้าไปในพื้นที่ที่ว่างขึ้น การกู้คืนพื้นที่นี้ทำให้มี พื้นที่ซิลิคอนหลักเพิ่มขึ้นถึง 30% สำหรับการประมวลผลหรือคุณสมบัติอื่นๆ พื้นที่ซิลิคอนเพิ่มเติมช่วยให้นักออกแบบ XPU สามารถเพิ่มความสามารถภายในพื้นที่แพ็คเกจที่กำหนดได้การประหยัดพลังงานเพื่อการขยายขนาดอย่างมีประสิทธิภาพพลังงานเป็นหนึ่งในข้อจำกัดที่ยากที่สุดในโครงสร้างพื้นฐาน AI ยุคใหม่ พลังงาน HBM มีส่วนช่วยในงบประมาณพลังงานของตัวเร่งความเร็ว, การออกแบบระบายความร้อนของแพ็คเกจ, ขอบเขตพลังงานของแร็ค และแผนการระบายความร้อนของศูนย์ข้อมูล NVHBM ช่วยให้ การใช้พลังงาน HBM ลดลง 15% เมื่อเทียบกับ HBM4e มาตรฐาน ซึ่งสร้าง Headroom ด้านพลังงานและความร้อนเพิ่มเติมสำหรับการประมวลผลการประหยัดพลังงานมีความสำคัญในหลายระดับ ที่ระดับ XPU การใช้พลังงาน HBM ที่ต่ำลงสามารถปรับปรุงประสิทธิภาพต่อวัตต์ (Performance per watt) และสร้างพื้นที่สำหรับการประมวลผลที่มากขึ้น หรือการใช้งานที่สูงขึ้นอย่างต่อเนื่อง ที่ระดับแร็ค สามารถช่วยลดแรงกดดันต่อระบบจ่ายไฟและระบบระบายความร้อน ที่ระดับโรงงาน AI การลดพลังงานของระบบหน่วยความจำเพียงเล็กน้อย เมื่อรวมกันในตัวเร่งความเร็วหลายพันตัว สามารถสร้างผลกระทบได้อย่างมาก เมื่อรวมกันทั่วทั้งศูนย์ข้อมูล 1 กิกะวัตต์ ที่ใช้ XPUs ขนาด 2,000 วัตต์ การประหยัดพลังงานสามารถรองรับ XPUs เพิ่มเติมได้ถึง 15,000 ตัว ใน Headroom ของพลังประมวลผลประโยชน์นี้มีความสำคัญอย่างยิ่งสำหรับการอนุมานโมเดลขนาดใหญ่ XPUs ต้องอ่านน้ำหนักโมเดลและข้อมูล KV-cache ซ้ำๆ ในขณะที่ให้บริการผู้ใช้ด้วย Latency ต่ำและ Throughput สูง การลดพลังงานที่ใช้ในการย้ายข้อมูลดังกล่าว สามารถช่วยรองรับการอนุมานที่เร็วขึ้นสำหรับโมเดลขนาดใหญ่, ขนาด Batch ที่ใหญ่ขึ้น และการใช้พลังงานที่ติดตั้งได้อย่างมีประสิทธิภาพมากขึ้นการรวม NVLink Fusion กับ NVHBM ในระดับแร็คNVHBM ช่วยเพิ่มประสิทธิภาพและประสิทธิภาพของ XPU ในระดับชิป NVLink Fusion ช่วยให้ผู้ให้บริการคลาวด์และบริษัท AI สามารถเชื่อมต่อ XPU ของตนเข้ากับส่วนที่เหลือของแพลตฟอร์ม AI ของ NVIDIA ด้วยการรวมการเพิ่มแบนด์วิดท์หน่วยความจำ 30%, พื้นที่ Die เพิ่มขึ้น 25% และการประหยัดพลังงาน HBM 15% การปรับปรุงสถาปัตยกรรมที่ออกแบบร่วมกันเหล่านี้ ส่งผลให้ ประสิทธิภาพโดยรวมแบบ End-to-end ต่อ XPU เพิ่มขึ้นถึง 30%การเชื่อมต่อนี้ทำได้ผ่าน NVLink Fusion chiplet ซึ่งเป็นสะพานเชื่อมระหว่าง XPUs แบบกำหนดเองและ NVLink fabric เชื่อมต่อ XPUs ทั้งหมดในแร็คให้เป็นโดเมน Scale-up เดียว NVLink ซึ่งอยู่ในรุ่นที่หกแล้ว เป็นเครือข่าย Scale-up ที่สร้างขึ้นโดยเฉพาะสำหรับโรงงาน AI เพียงแห่งเดียว ที่นำเสนอประสิทธิภาพชั้นนำและความทนทานอัจฉริยะ ส่วนต้นน้ำ (Upstream) XPUs สามารถเชื่อมต่อกับ CPUs ผ่าน NVLink-C2C ได้ผู้ที่นำ NVLink Fusion ไปใช้ สามารถรวม XPUs และ CPUs แบบกำหนดเองเข้ากับสแต็กเทคโนโลยี Scale-up และ Scale-out ของ NVIDIA และ Ecosystem เพื่อลดความซับซ้อนในการพัฒนาและติดตั้ง เพิ่มประสิทธิภาพ และเร่งเวลาในการนำโรงงาน AI แบบกึ่งกำหนดเองออกสู่ตลาด และด้วยการสร้างมาตรฐานบนสถาปัตยกรรมแบบรวมศูนย์เดียว NVLink Fusion ช่วยให้การดำเนินงานทั่วทั้งศูนย์ข้อมูลง่ายขึ้น เปิดใช้งานการจัดสรรความจุของศูนย์ข้อมูลได้อย่างยืดหยุ่น และช่วยให้ XPUs AI แบบกำหนดเองสามารถผสานรวมกับ GPUs สำหรับการประมวลผลแบบ Heterogeneous ได้ระยะต่อไปของซิลิคอน AI แบบกำหนดเองNVLink Fusion มอบรากฐาน Scale-up ที่เป็นมาตรฐานสำหรับ GPUs, XPUs และ CPUs แบบกำหนดเอง, เครือข่าย และซอฟต์แวร์ระดับแร็ค NVHBM เสริมรากฐานนั้นด้วยประสิทธิภาพหน่วยความจำที่สูงขึ้น, ความหนาแน่นของการประมวลผล, ประสิทธิภาพพลังงาน HBM และความยืดหยุ่นของห่วงโซ่อุปทานสำหรับตัวเร่งความเร็วรุ่นต่อไป เทคโนโลยีเหล่านี้ช่วยให้พันธมิตรมีเส้นทางที่ตรงยิ่งขึ้นจากการออกแบบตัวเร่งความเร็ว AI แบบกำหนดเอง ไปสู่การติดตั้งระดับแร็คและการผลิตในปริมาณมากเรียนรู้เพิ่มเติมเกี่ยวกับ NVLink Fusion และการนำ NVHBM ไปใช้ในอุตสาหกรรม#NVIDIA #NVLinkFusion #NVHBM #AI #Infrastructure #Technologyhttps://developer.nvidia.com/blog/nvidia-nvlink-fusion-brings-nvhbm-to-next-generation-ai-infrastructure/