NVIDIA Vera CPU: ขุมพลังใหม่ เร่งสปีด AI Factory ให้ทำงานฉลาดและเร็วขึ้น 🚀

NVIDIA Vera CPU: ขุมพลังใหม่ เร่งสปีด AI Factory ให้ทำงานฉลาดและเร็วขึ้น 🚀ในโลกของปัญญาประดิษฐ์ (AI) ที่พัฒนาไปอย่างรวดเร็ว ระบบ AI แบบ Agentic กำลังเข้ามามีบทบาทสำคัญ ระบบเหล่านี้เปรียบเสมือน "ตัวแทน" อัจฉริยะที่สามารถเปลี่ยนการคิดวิเคราะห์ของโมเดล AI ให้กลายเป็นการกระทำจริง ผ่านกระบวนการทำงานหลายขั้นตอนที่ซับซ้อน ตั้งแต่การอนุมาน (inference), การใช้เครื่องมือ (tool use), การประมวลผลโค้ด (code execution), การดึงข้อมูล (retrieval), การจัดการลำดับงาน (orchestration) ไปจนถึงการจัดการผลลัพธ์ (result handling)เมื่อระบบ Agentic เหล่านี้เริ่มขยายขนาดและทำงานอย่างหนัก ประสิทธิภาพไม่ได้ขึ้นอยู่กับพลังการประมวลผลของ GPU เพียงอย่างเดียว แต่ยังรวมถึงการทำงานของ CPU ที่อยู่ระหว่างขั้นตอนต่างๆ ของโมเดล AI ด้วย CPU มีหน้าที่สำคัญในการขับเคลื่อนให้ GPU และ AI Factory โดยรวมทำงานได้อย่างเต็มประสิทธิภาพสูงสุดทำไม CPU ถึงสำคัญต่อ AI Agentic?CPU เป็นหัวใจสำคัญที่อยู่บนเส้นทางวิกฤต (critical path) ของการคิดวิเคราะห์ (reasoning), เวลาตอบสนอง (response time) และการเรียนรู้ (learning) ของ AI Agentic เนื่องจาก CPU เป็นผู้ประมวลผลงานที่อยู่ระหว่างขั้นตอนของโมเดล AI ไม่ว่าจะเป็น:การประเมินผลภายในสภาพแวดล้อมที่ถูกจำกัด (sandboxed evaluations)การเรียกใช้เครื่องมือ (tool calls)การประมวลผลโค้ด (code execution)การจัดการข้อมูล (data processing)การประสานงาน KV-cache (KV-cache coordination)การจัดการผลลัพธ์ (result handling)สำหรับ AI Agentic แล้ว ประสิทธิภาพต่อคอร์เมื่อใช้งานเต็มซ็อกเก็ต (sustained per-core performance under full socket load) ถือเป็นตัวชี้วัดที่สำคัญอย่างยิ่ง ไม่ว่าซ็อกเก็ตจะเต็มไปด้วยการทำงานพร้อมกันหลายอย่าง เช่น sandboxes, tools, simulations, orchestration tasks และ data services แต่ละ Agent หรือ RL workflow ก็ยังคงต้องอาศัยขั้นตอนแบบต่อเนื่องที่ต้องทำให้เสร็จก่อนที่ขั้นตอนต่อไปจะเริ่มขึ้น การมีคอร์ประมวลผลมากขึ้นช่วยเพิ่มการทำงานแบบขนาน (parallelism) ในแต่ละ workflow ในขณะที่คอร์ที่เร็วขึ้นจะช่วยกำหนดว่าแต่ละ workflow จะดำเนินไปได้เร็วแค่ไหนหากการประมวลผลฝั่ง CPU ช้าลง จะส่งผลกระทบต่อ GPU ใน 3 รูปแบบหลัก:Reinforcement Learning (RL) ได้รับการประเมินผลที่มีประโยชน์น้อยลงต่อรอบการทำงาน ทำให้เวลาในการฝึก (time-to-train) นานขึ้นการให้บริการผู้ใช้แต่ละรายใช้เวลานานขึ้นKV-cache ถูกลบออก และ GPU สูญเสียความได้เปรียบจากการประมวลผลของแคช (cached context)NVIDIA Vera CPU: ปลดล็อกศักยภาพ AI AgenticNVIDIA Vera CPU ได้รับการออกแบบมาเพื่อแก้ไขปัญหาคอขวดเหล่านี้ และเพิ่มประสิทธิภาพของ AI Factory ให้ถึงขีดสุด ด้วยสถาปัตยกรรมที่ล้ำสมัยและคุณสมบัติที่ตอบโจทย์การใช้งาน AI Agentic โดยเฉพาะ1. สร้าง Agent ที่ฉลาดและมีประสิทธิภาพยิ่งขึ้น 🧠ในกระบวนการ Reinforcement Learning (RL) ที่มีการโต้ตอบและรับส่งข้อมูลระหว่าง GPU และ CPU อย่างต่อเนื่อง การสร้างข้อมูลประสบการณ์ (experience data) หรือที่เรียกว่า environment rollouts หรือ simulations เป็นส่วนสำคัญที่ต้องอาศัยการประมวลผลเชิงตรรกะแบบต่อเนื่องเมื่อโปรเซสเซอร์เกิดการหยุดชะงัก (stall) ในระหว่างกระบวนการ rollout ที่มีการทำงานแบบขนานสูง จะส่งผลกระทบต่อทั้ง pipeline การฝึกอบรม โปรเซสเซอร์ที่ช้าลงหมายถึงจำนวน environment steps ที่เสร็จสมบูรณ์ต่อวินาทีลดลง ซึ่งส่งผลต่อคุณภาพของการอัปเดตโมเดล หรือที่เรียกว่า gradientsNVIDIA Vera CPU ที่มี Olympus core ถูกออกแบบมาเพื่อรับมือกับงาน CPU ที่ต้องประมวลผลแบบต่อเนื่องและมีการแตกแขนง (branch-heavy) ซึ่งเป็นลักษณะเด่นของ RL และการทำงานของ Agent โดยเฉพาะ ด้วยคอร์ที่ทำงานเร็วขึ้นถึง 1.8 เท่า ทำให้ Vera CPU สามารถประเมินผลได้สูงสุดถึง 85% ในกรอบเวลาเดียวกัน เมื่อเทียบกับ CPU พื้นฐานที่ทำได้เพียง 45% การส่งมอบ RL feedback ที่มากขึ้นนี้ ช่วยให้ GPU ประมวลผล gradients ที่แม่นยำยิ่งขึ้น เร่งความเร็วในการบรรลุเป้าหมาย (convergence) และสร้างโมเดลที่ฉลาดขึ้น2. ให้บริการผู้ใช้ได้มากขึ้นต่อชั่วโมง GPU 🧑‍💻เมื่อเปลี่ยนจากการฝึกอบรมแบบออฟไลน์ไปสู่การใช้งาน Agentic แบบสดใหม่ที่ต้องมีการโต้ตอบจริง ตัวชี้วัดหลักจะเปลี่ยนจากการเน้นที่ throughput ไปสู่ ความหน่วง (latency) ที่แม่นยำและคาดการณ์ได้ ในสภาพแวดล้อมเหล่านี้ AI Agent จะทำงานอย่างอิสระเพื่อตอบคำถามที่ซับซ้อนของผู้ใช้ ผ่านการดำเนินการเป็นลำดับขั้นเพื่อให้การตอบสนองเหล่านี้รวดเร็วในระดับสเกล ความหน่วงเฉลี่ยต่ำเพียงอย่างเดียวไม่เพียงพอ Agent ต้องการความหน่วงที่คาดการณ์ได้ แม้ในขณะที่ซ็อกเก็ตกำลังประมวลผล sandbox, services และ data processing tasks จำนวนมากVera CPU ถูกออกแบบมาเพื่อลดผลกระทบจากความหน่วงเมื่อใช้งานหนัก โดยใช้ monolithic compute die ที่มี 88 Olympus cores ทำให้หลีกเลี่ยงปัญหาคอขวดที่มักเกิดขึ้นในดีไซน์แบบ multi-chiplet CPU ผนวกกับ unified cache ขนาดใหญ่ และ NVIDIA Scalable Coherency Fabric (SCF) ทำให้ข้อมูลเคลื่อนที่ภายในระบบได้อย่างราบรื่นและสม่ำเสมอ การออกแบบที่มุ่งเน้น Agentic นี้ ทำให้ Vera CPU มี peak loaded latency ต่ำกว่า CPU x86 ถึง 40% ช่วยลด tail latency และทำให้การตอบสนองของเครื่องมือเป็นไปตามกำหนดเวลาอย่างเคร่งครัดนอกจากนี้ Agent ยังต้องการ memory bandwidth มหาศาล การทำงานพร้อมกันของ sandbox, tool calls, retrieval operations, database queries และ data-processing tasks หลายพันรายการ ต้องเคลื่อนย้ายชุดข้อมูลขนาดใหญ่ที่มีลักษณะไม่สม่ำเสมอ พร้อมทั้งรักษาสถานะ (state), บริบท (context) และผลลัพธ์ของแต่ละ Agent ให้ใกล้กับคอร์ประมวลผล Vera CPU ใช้ LPDDR5x ที่ประหยัดพลังงาน ให้ total memory bandwidth สูงสุดถึง 1.2 TB/s และ สูงสุด 14 GB/s ต่อคอร์ ซึ่งมากกว่า 3 เท่า ของ per-core memory bandwidth เมื่อเทียบกับ CPU data center แบบดั้งเดิม โดยใช้พลังงานน้อยกว่าครึ่งหนึ่ง ช่วยให้ Agent สามารถรักษา throughput ได้แม้ในขณะที่ทุกคอร์ทำงานเต็มที่3. เพิ่มประสิทธิภาพการประมวลผล GPU สูงสุดต่อเซสชัน ⚡ในการอนุมานของ Agentic นั้น GPU ไม่ได้ทำงานต่อเนื่องเป็นชุดเดียว เซสชันเดียวอาจประกอบด้วยขั้นตอนโมเดลหลายขั้นตอน สลับกับการเรียกใช้เครื่องมือ, การประมวลผลโค้ด, การดึงข้อมูล หรือการประเมินผลภายใน sandbox ที่ฝั่ง CPUในศูนย์ข้อมูลที่มีการใช้งานเต็มที่ GPU จะไม่รอระหว่างช่องว่างเหล่านี้ ในขณะที่ CPU กำลังทำงาน มันจะรับคำขอและบริบทที่ใช้งานอยู่ใหม่ๆ เมื่อคำขอสะสมมากขึ้น KV cache ของ trace เดิมก็จะยิ่งยากที่จะรักษาให้อยู่ในตำแหน่งเดิมCPU ที่ช้าลงจะเพิ่มช่องว่างระหว่างขั้นตอนการประมวลผลของ GPU ทำให้ระบบมีแนวโน้มที่จะต้องลบ KV cache ของคำขอเดิมออกจากหน่วยความจำ GPU เพื่อให้มีพื้นที่สำหรับผู้ใช้อื่นที่พร้อมจะทำงาน เมื่อ tool call เสร็จสมบูรณ์ GPU อาจต้องสร้างบริบทก่อนหน้าขึ้นใหม่โดยการประมวลผลลำดับก่อนหน้าอีกครั้งเป็น input prompt ขนาดใหญ่ แทนที่จะกลับมาทำงานจากสถานะที่แคชไว้Vera CPU ช่วยบีบอัดส่วนที่เป็นฝั่ง CPU ของ trace การทำงานที่เร็วขึ้นของเครื่องมือ (tool execution), ประสิทธิภาพต่อคอร์ที่สูงขึ้นเมื่อใช้งานหนัก, memory bandwidth ที่สูง และ latency ที่คาดการณ์ได้ ช่วยลดระยะเวลาที่ Agent ต้องรอระหว่างขั้นตอนของ GPU ทำให้มีโอกาสน้อยลงที่ KV cache จะถูกลบออก และช่วยให้บริบทที่ใช้งานอยู่ยังคงอยู่ใน HBM ได้มากขึ้น ลดความจำเป็นในการสร้างสถานะก่อนหน้าขึ้นใหม่ผ่านการประมวลผลซ้ำที่ใช้ทรัพยากรสูงผลลัพธ์คือ GPU ใช้เวลากับการสร้างโทเคน (token generation) ที่มีประโยชน์มากขึ้น แทนที่จะเป็นการสร้างบริบทใหม่ ทำให้ประสิทธิภาพของ CPU กลายเป็นปัจจัยโดยตรงต่อประสิทธิภาพของ GPU ในระบบ Agentic ที่มีการใช้งานหนาแน่นก้าวสู่อนาคตของ AI FactoriesNVIDIA Vera CPU รวบรวมขีดความสามารถของ CPU ที่สำคัญที่สุดสำหรับ AI Factories แบบ Agentic ไว้ด้วยกัน ทั้งประสิทธิภาพต่อคอร์ที่สม่ำเสมอเมื่อใช้งานเต็มซ็อกเก็ต, ความหน่วงที่ต่ำและคาดการณ์ได้เมื่อใช้งานหนัก, memory bandwidth มหาศาล และการเคลื่อนย้ายข้อมูลที่มีประสิทธิภาพในระดับสเกลเมื่อ AI Agent พัฒนาไปสู่สเกลที่ใหญ่ขึ้น CPU จะไม่ใช่เพียงโครงสร้างพื้นฐานเบื้องหลังอีกต่อไป แต่จะกลายเป็น ตัวขับเคลื่อนโดยตรง ของ throughput ของ AI Factory, ความสามารถในการตอบสนอง และประสิทธิภาพของ GPU ด้วยการลดการหยุดชะงัก, จำกัดการประมวลผลซ้ำ และช่วยให้ระบบโดยรวมยังคงทำงานได้อย่างมีประสิทธิภาพภายใต้ภาระงานหนัก NVIDIA Vera CPU จึงถูกสร้างขึ้นมาเพื่อเพิ่มประสิทธิภาพสูงสุดให้กับ AI Factories ยุคใหม่หากต้องการทราบว่าขีดความสามารถเหล่านี้ส่งผลต่อประสิทธิภาพจริงอย่างไร สามารถศึกษาข้อมูลเพิ่มเติมเกี่ยวกับ Vera CPU, NVIDIA Vera Rubin NVL72 และ การทดสอบประสิทธิภาพ Vera CPU โดย Phoronix ได้*ประสิทธิภาพสัมพัทธ์อ้างอิงตามข้อมูลที่วัดได้ และอาจมีการเปลี่ยนแปลง NVIDIA Vera CPU พร้อม LPDDR5X ประสิทธิภาพเทียบกับ CPU x86 รุ่นล่าสุดhttps://developer.nvidia.com/blog/nvidia-vera-cpu-boosts-ai-factory-throughput-to-accelerate-agentic-workloads/