เปิดมิติใหม่ AI Agent: NVIDIA Vera Rubin NVL72 โชว์ศักยภาพเหนือชั้นบนผลทดสอบ MLPerf Endpoints v1.0 🚀

ในยุคที่ระบบปัญญาประดิษฐ์หรือ AI เริ่มก้าวสู่การทำงานแบบอัตโนมัติที่มีความซับซ้อนมากขึ้น หรือที่เรียกว่า Agentic Workloads ความต้องการด้านระบบประมวลผลอินฟอเรนซ์ (Inference Systems) ก็เพิ่มสูงขึ้นตามไปด้วย เนื่องจาก AI Agent จำเป็นต้องเก็บบันทึกบทสนทนาย้อนหลังหลายเทิร์น พร้อมทั้งสร้างเหตุผล (Reasoning) เรียกใช้เครื่องมือ (Tool Calls) และตอบกลับผู้ใช้งานไปพร้อมกัน

ล่าสุดผลการทดสอบประสิทธิภาพจาก MLPerf Endpoints v1.0 ได้เผยให้เห็นความก้าวหน้าครั้งสำคัญของฮาร์ดแวร์ยุคใหม่ โดยระบบ NVIDIA Vera Rubin NVL72 สามารถสร้างมาตรฐานใหม่ในการประมวลผลสำหรับ AI Agent ได้อย่างโดดเด่น

💡 ทำไมระบบประมวลผลสำหรับ AI Agent ถึงท้าทายกว่าเดิม?

การทำงานของ AI Agent ในปัจจุบันมีความแตกต่างจากการแชททั่วไปอย่างมาก เนื่องจากมีลักษณะการทำงานที่ซับซ้อน เช่น

  • การสะสมประวัติการสนทนาที่ยาวนานขึ้นเรื่อยๆ ในแต่ละรอบการทำงาน
  • การประมวลผลชุดคำสั่ง เวิร์กโฟลว์ระดับองค์กร และคำนิยามของเครื่องมือต่างๆ ที่ต้องเรียกใช้ร่วมกัน
  • การรักษาสสมดุลระหว่างความสามารถในการรองรับผู้ใช้งานจำนวนมาก (Throughput) และความรวดเร็วในการตอบสนอง (Interactivity)

การทดสอบของ MLPerf Endpoints v1.0 จึงเข้ามามีบทบาทสำคัญในการประเมินประสิทธิภาพจุดนี้ ผ่านเวิร์กโฟลว์การเขียนโค้ดและงานระดับองค์กร เพื่อตรวจสอบว่าความเร็วที่เพิ่มขึ้นยังคงรักษาคุณภาพและความถูกต้องของโมเดลไว้ได้หรือไม่

⚡ เจาะลึกผลงานเด่น: ประสิทธิภาพสูงกว่าเดิมถึง 10 เท่าต่อกิโลวัตต์

จากการทดสอบระบุว่า NVIDIA Vera Rubin NVL72 สามารถส่งมอบปริมาณงาน (Throughput) ได้มากกว่า 10 เท่าต่อนิดหน่วยพลังงานกิโลวัตต์ เมื่อเทียบกับระบบรุ่นก่อนอย่าง NVIDIA GB300 NVL72 ที่เกณฑ์มาตรฐานความเร็วในการตอบสนองเท่ากันที่ 50 โทเค็นต่อวินาทีต่อผู้ใช้

เมื่อทดสอบกับโมเดลหลากหลายประเภท ไม่ว่าจะเป็น Kimi K3, DeepSeek-V4.1-Flash และ Qwen3.6-35B-A3B พบข้อสังเกตที่น่าสนใจดังนี้:

  • ให้ปริมาณงานต่อกิโลวัตต์สูงขึ้นถึง 5 ถึง 10 เท่า
  • เพิ่มความเร็วในการโต้ตอบแบบ end-to-end ได้ดีขึ้น 3 ถึง 5 เท่าภายใต้ระดับความหนาแน่นของผู้ใช้งานที่เท่ากัน

ประสิทธิภาพที่สูงขึ้นนี้ช่วยให้องค์กรต่างๆ สามารถรัน AI Agent จำนวนมากพร้อมกันได้ภายใต้กรอบพลังงานเดิม พร้อมทั้งช่วยลดอาการหน่วงและรอคอยของผู้ใช้งานลงได้

🛠️ เบื้องหลังความสำเร็จด้วยฮาร์ดแวร์และซอฟต์แวร์สุดล้ำ

ความสำเร็จครั้งนี้ไม่ได้มาจากฮาร์ดแวร์เพียงอย่างเดียว แต่เป็นการทำงานร่วมกันระหว่างการออกแบบสถาปัตยกรรมชิปและซอฟต์แวร์จัดการที่มีประสิทธิภาพ:

  1. หน่วยความจำ HBM4 และ Tensor Cores: ช่วยให้การเข้าถึงน้ำหนักของโมเดล (Model Weights) และสถานะการสนทนารวดเร็วยิ่งขึ้น พร้อมเร่งความเร็วในการคำนวณเมทริกซ์
  2. NVLink รุ่นที่ 6: รองรับการสื่อสารและการรับส่งข้อมูลระหว่างหน่วยประมวลผล GPU ได้อย่างไร้รอยต่อ
  3. เทคนิคการเสิร์ฟแบบตระหนักรู้บริบท (Context-Aware Serving): เช่น การทำ Prefix caching, การนำสถานะกลับมาใช้ซ้ำ (State Reuse) และระบบจัดเส้นทาง NVIDIA Dynamo ช่วยลดการคำนวณที่ซ้ำซ้อนและกระจายโหลดได้อย่างสมดุล
  4. การปรับแต่งเคอร์เนลเฉพาะรุ่น: เช่น การใช้ MegaMoE ของ DeepSeek และการทำนายแบบ multi-token ของ Qwen ช่วยลดการเคลื่อนย้ายข้อมูลและขั้นตอนการถอดรหัสที่ไม่จำเป็น

📌 สรุปภาพรวมอนาคตของ AI Agent

ผลการทดสอบจาก MLPerf Endpoints v1.0 ถือเป็นเครื่องยืนยันว่าการพัฒนาโครงสร้างพื้นฐานที่ผสานการทำงานร่วมกันทั้งฮาร์ดแวร์ สถาปัตยกรรมระบบ และซอฟต์แวร์จัดการ คือกุญแจสำคัญที่จะช่วยปลดล็อกข้อจำกัดของ AI Agent ยุคใหม่ ทำให้สามารถรองรับผู้ใช้งานจำนวนมหาศาลได้อย่างมีประสิทธิภาพและประหยัดพลังงานมากยิ่งขึ้น

#NVIDIA #VeraRubin #MLPerf #AIAgents #InferencePerformance

ขอบคุณ แหล่งข้อมูล
https://developer.nvidia.com/blog/nvidia-vera-rubin-nvl72-leads-agentic-inference-performance-on-mlperf-endpoints-v1-0/

เปิดมิติใหม่ AI Agent: NVIDIA Vera Rubin NVL72 โชว์ศักยภาพเหนือชั้นบนผลทดสอบ MLPerf Endpoints v1.0 🚀ในยุคที่ระบบปัญญาประดิษฐ์หรือ AI เริ่มก้าวสู่การทำงานแบบอัตโนมัติที่มีความซับซ้อนมากขึ้น หรือที่เรียกว่า Agentic Workloads ความต้องการด้านระบบประมวลผลอินฟอเรนซ์ (Inference Systems) ก็เพิ่มสูงขึ้นตามไปด้วย เนื่องจาก AI Agent จำเป็นต้องเก็บบันทึกบทสนทนาย้อนหลังหลายเทิร์น พร้อมทั้งสร้างเหตุผล (Reasoning) เรียกใช้เครื่องมือ (Tool Calls) และตอบกลับผู้ใช้งานไปพร้อมกันล่าสุดผลการทดสอบประสิทธิภาพจาก MLPerf Endpoints v1.0 ได้เผยให้เห็นความก้าวหน้าครั้งสำคัญของฮาร์ดแวร์ยุคใหม่ โดยระบบ NVIDIA Vera Rubin NVL72 สามารถสร้างมาตรฐานใหม่ในการประมวลผลสำหรับ AI Agent ได้อย่างโดดเด่น💡 ทำไมระบบประมวลผลสำหรับ AI Agent ถึงท้าทายกว่าเดิม?การทำงานของ AI Agent ในปัจจุบันมีความแตกต่างจากการแชททั่วไปอย่างมาก เนื่องจากมีลักษณะการทำงานที่ซับซ้อน เช่นการสะสมประวัติการสนทนาที่ยาวนานขึ้นเรื่อยๆ ในแต่ละรอบการทำงานการประมวลผลชุดคำสั่ง เวิร์กโฟลว์ระดับองค์กร และคำนิยามของเครื่องมือต่างๆ ที่ต้องเรียกใช้ร่วมกันการรักษาสสมดุลระหว่างความสามารถในการรองรับผู้ใช้งานจำนวนมาก (Throughput) และความรวดเร็วในการตอบสนอง (Interactivity)การทดสอบของ MLPerf Endpoints v1.0 จึงเข้ามามีบทบาทสำคัญในการประเมินประสิทธิภาพจุดนี้ ผ่านเวิร์กโฟลว์การเขียนโค้ดและงานระดับองค์กร เพื่อตรวจสอบว่าความเร็วที่เพิ่มขึ้นยังคงรักษาคุณภาพและความถูกต้องของโมเดลไว้ได้หรือไม่⚡ เจาะลึกผลงานเด่น: ประสิทธิภาพสูงกว่าเดิมถึง 10 เท่าต่อกิโลวัตต์จากการทดสอบระบุว่า NVIDIA Vera Rubin NVL72 สามารถส่งมอบปริมาณงาน (Throughput) ได้มากกว่า 10 เท่าต่อนิดหน่วยพลังงานกิโลวัตต์ เมื่อเทียบกับระบบรุ่นก่อนอย่าง NVIDIA GB300 NVL72 ที่เกณฑ์มาตรฐานความเร็วในการตอบสนองเท่ากันที่ 50 โทเค็นต่อวินาทีต่อผู้ใช้เมื่อทดสอบกับโมเดลหลากหลายประเภท ไม่ว่าจะเป็น Kimi K3, DeepSeek-V4.1-Flash และ Qwen3.6-35B-A3B พบข้อสังเกตที่น่าสนใจดังนี้:ให้ปริมาณงานต่อกิโลวัตต์สูงขึ้นถึง 5 ถึง 10 เท่าเพิ่มความเร็วในการโต้ตอบแบบ end-to-end ได้ดีขึ้น 3 ถึง 5 เท่าภายใต้ระดับความหนาแน่นของผู้ใช้งานที่เท่ากันประสิทธิภาพที่สูงขึ้นนี้ช่วยให้องค์กรต่างๆ สามารถรัน AI Agent จำนวนมากพร้อมกันได้ภายใต้กรอบพลังงานเดิม พร้อมทั้งช่วยลดอาการหน่วงและรอคอยของผู้ใช้งานลงได้🛠️ เบื้องหลังความสำเร็จด้วยฮาร์ดแวร์และซอฟต์แวร์สุดล้ำความสำเร็จครั้งนี้ไม่ได้มาจากฮาร์ดแวร์เพียงอย่างเดียว แต่เป็นการทำงานร่วมกันระหว่างการออกแบบสถาปัตยกรรมชิปและซอฟต์แวร์จัดการที่มีประสิทธิภาพ:หน่วยความจำ HBM4 และ Tensor Cores: ช่วยให้การเข้าถึงน้ำหนักของโมเดล (Model Weights) และสถานะการสนทนารวดเร็วยิ่งขึ้น พร้อมเร่งความเร็วในการคำนวณเมทริกซ์NVLink รุ่นที่ 6: รองรับการสื่อสารและการรับส่งข้อมูลระหว่างหน่วยประมวลผล GPU ได้อย่างไร้รอยต่อเทคนิคการเสิร์ฟแบบตระหนักรู้บริบท (Context-Aware Serving): เช่น การทำ Prefix caching, การนำสถานะกลับมาใช้ซ้ำ (State Reuse) และระบบจัดเส้นทาง NVIDIA Dynamo ช่วยลดการคำนวณที่ซ้ำซ้อนและกระจายโหลดได้อย่างสมดุลการปรับแต่งเคอร์เนลเฉพาะรุ่น: เช่น การใช้ MegaMoE ของ DeepSeek และการทำนายแบบ multi-token ของ Qwen ช่วยลดการเคลื่อนย้ายข้อมูลและขั้นตอนการถอดรหัสที่ไม่จำเป็น📌 สรุปภาพรวมอนาคตของ AI Agentผลการทดสอบจาก MLPerf Endpoints v1.0 ถือเป็นเครื่องยืนยันว่าการพัฒนาโครงสร้างพื้นฐานที่ผสานการทำงานร่วมกันทั้งฮาร์ดแวร์ สถาปัตยกรรมระบบ และซอฟต์แวร์จัดการ คือกุญแจสำคัญที่จะช่วยปลดล็อกข้อจำกัดของ AI Agent ยุคใหม่ ทำให้สามารถรองรับผู้ใช้งานจำนวนมหาศาลได้อย่างมีประสิทธิภาพและประหยัดพลังงานมากยิ่งขึ้น#NVIDIA #VeraRubin #MLPerf #AIAgents #InferencePerformancehttps://developer.nvidia.com/blog/nvidia-vera-rubin-nvl72-leads-agentic-inference-performance-on-mlperf-endpoints-v1-0/
Shared content
DEVELOPER.NVIDIA.COM
NVIDIA Vera Rubin NVL72 Leads Agentic Inference Performance on MLPerf Endpoints v1.0
Agentic workloads are demanding more from inference systems. AI agents carry growing conversation histories across turns and generate a mix of reasoning, tool calls, and responses.
5 Comentários 0 Compartilhamentos 1KB Visualizações 0 Anterior