nvidia developer
Recent Updates
  • ทำความรู้จัก NVIDIA Cosmos Data Factory ทางเลือกใหม่ในการสร้างชุดข้อมูล AI เชิงกายภาพ

    การพัฒนาโมเดลปัญญาประดิษฐ์ระดับโลกหรือ World Model จำเป็นต้องอาศัยชุดข้อมูลฝึกอบรมที่มีคุณภาพสูงและมีความหลากหลาย แต่ในความเป็นจริง การเก็บรวบรวมข้อมูลสถานการณ์หายาก เหตุการณ์ในเวลากลางคืน หรือกรณีท้าทายอื่นๆ มักมีต้นทุนสูงและใช้เวลานาน อีกทั้งการแปลงข้อมูลดิบให้พร้อมใช้งานยังมีความซับซ้อน เนื่องจากต้องใช้เครื่องมือและกระบวนการจัดการที่หลากหลาย

    เทคโนโลยีเพื่อการสร้างชุดข้อมูลสำหรับ Physical AI

    เพื่อช่วยให้นักพัฒนาสามารถสร้างชุดข้อมูลฝึกอบรมที่มีคุณภาพและหลากหลายในสเกลที่ใหญ่ขึ้นสำหรับ Physical AI ทาง NVIDIA ได้พัฒนาแพลตฟอร์มแบบเปิดอย่าง NVIDIA Cosmos ขึ้นมา ซึ่งเป็นศูนย์รวมของโมเดล ฟรมเวิร์ก และทักษะต่างๆ สำหรับการพัฒนา World Model โดยมีส่วนประกอบสำคัญคือ NVIDIA Cosmos Data Factory (CDF) ซึ่งรวบรวมบลูพริ้นต์แบบคลาวด์เนทีฟและทักษะย่อยที่ช่วยเร่งกระบวนการคัดกรอง ประมวลผล และสร้างข้อมูลสังเคราะห์ได้อย่างมีประสิทธิภาพ

    5 กรณีการใช้งานหลักในการสร้างชุดข้อมูลฝึกอบรม

    แพลตฟอร์มนี้รองรับการทำงานในหลากหลายรูปแบบเพื่อให้ครอบคลุมความต้องการของนักพัฒนา

    • การสร้างสถานการณ์จำลองสำหรับการขับขี่: ช่วยค้นหาฐานข้อมูลวิดีโอการขับขี่ขนาดใหญ่และสร้างชุดข้อมูลใหม่สำหรับการฝึกอบรมยานพาหนะอัตโนมัติ
    • การปรับแต่งแอตทริบิวต์รูปภาพ: สร้างความหลากหลายให้กับภาพบุคคล เช่น การเปลี่ยนประเภทเสื้อผ้า เครื่องประดับ หรือสี เพื่อการค้นหาและระบุตัวตน
    • การปรับปรุงวิดีโอตามสภาพแวดล้อม: แปลงฟุตเทจที่มีอยู่ให้รองรับสภาพอากาศ แสง และสภาพแวดล้อมที่แตกต่างกันโดยยังคงโครงสร้างฉากเดิมไว้
    • การสร้างวิดีโอเหตุการณ์หายาก: จำลองเหตุการณ์ที่เกิดขึ้นได้ยาก เช่น ไฟไหม้ หรืออุบัติเหตุ เพื่อใช้เป็นข้อมูลฝึกอบรมโดยไม่ต้องรอให้เกิดเหตุการณ์จริง
    • การสร้างภาพความบกพร่องสำหรับการตรวจสอบด้วยภาพ: จำลองความผิดปกติบนชิ้นส่วนต่างๆ เช่น แผงวงจรพิมพ์ หรือพื้นผิวโลหะ จากภาพต้นแบบที่สะอาด

    สรุปแนวทางการใช้งาน

    การนำเครื่องมือช่วยจัดการและสร้างข้อมูลสังเคราะห์เข้ามามีส่วนร่วม ช่วยให้ทีมนักพัฒนาสามารถเปลี่ยนความท้าทายในการรวบรวมข้อมูลที่ทำได้ยาก ให้กลายเป็นกระบวนการทำงานที่มีความยืดหยุ่นและช่วยประหยัดเวลาได้อย่างมีประสิทธิภาพ เหมาะสำหรับผู้ที่ต้องการยกระดับการพัฒนาโมเดล AI ในยุคปัจจุบันให้รวดเร็วยิ่งขึ้น

    #AI #MachineLearning #NVIDIA #TechTrends #DataFactory

    ขอบคุณ แหล่งข้อมูล
    https://developer.nvidia.com/blog/build-training-ready-physical-ai-datasets-with-two-prompts-in-nvidia-cosmos/

    ทำความรู้จัก NVIDIA Cosmos Data Factory ทางเลือกใหม่ในการสร้างชุดข้อมูล AI เชิงกายภาพการพัฒนาโมเดลปัญญาประดิษฐ์ระดับโลกหรือ World Model จำเป็นต้องอาศัยชุดข้อมูลฝึกอบรมที่มีคุณภาพสูงและมีความหลากหลาย แต่ในความเป็นจริง การเก็บรวบรวมข้อมูลสถานการณ์หายาก เหตุการณ์ในเวลากลางคืน หรือกรณีท้าทายอื่นๆ มักมีต้นทุนสูงและใช้เวลานาน อีกทั้งการแปลงข้อมูลดิบให้พร้อมใช้งานยังมีความซับซ้อน เนื่องจากต้องใช้เครื่องมือและกระบวนการจัดการที่หลากหลายเทคโนโลยีเพื่อการสร้างชุดข้อมูลสำหรับ Physical AIเพื่อช่วยให้นักพัฒนาสามารถสร้างชุดข้อมูลฝึกอบรมที่มีคุณภาพและหลากหลายในสเกลที่ใหญ่ขึ้นสำหรับ Physical AI ทาง NVIDIA ได้พัฒนาแพลตฟอร์มแบบเปิดอย่าง NVIDIA Cosmos ขึ้นมา ซึ่งเป็นศูนย์รวมของโมเดล ฟรมเวิร์ก และทักษะต่างๆ สำหรับการพัฒนา World Model โดยมีส่วนประกอบสำคัญคือ NVIDIA Cosmos Data Factory (CDF) ซึ่งรวบรวมบลูพริ้นต์แบบคลาวด์เนทีฟและทักษะย่อยที่ช่วยเร่งกระบวนการคัดกรอง ประมวลผล และสร้างข้อมูลสังเคราะห์ได้อย่างมีประสิทธิภาพ5 กรณีการใช้งานหลักในการสร้างชุดข้อมูลฝึกอบรมแพลตฟอร์มนี้รองรับการทำงานในหลากหลายรูปแบบเพื่อให้ครอบคลุมความต้องการของนักพัฒนาการสร้างสถานการณ์จำลองสำหรับการขับขี่: ช่วยค้นหาฐานข้อมูลวิดีโอการขับขี่ขนาดใหญ่และสร้างชุดข้อมูลใหม่สำหรับการฝึกอบรมยานพาหนะอัตโนมัติการปรับแต่งแอตทริบิวต์รูปภาพ: สร้างความหลากหลายให้กับภาพบุคคล เช่น การเปลี่ยนประเภทเสื้อผ้า เครื่องประดับ หรือสี เพื่อการค้นหาและระบุตัวตนการปรับปรุงวิดีโอตามสภาพแวดล้อม: แปลงฟุตเทจที่มีอยู่ให้รองรับสภาพอากาศ แสง และสภาพแวดล้อมที่แตกต่างกันโดยยังคงโครงสร้างฉากเดิมไว้การสร้างวิดีโอเหตุการณ์หายาก: จำลองเหตุการณ์ที่เกิดขึ้นได้ยาก เช่น ไฟไหม้ หรืออุบัติเหตุ เพื่อใช้เป็นข้อมูลฝึกอบรมโดยไม่ต้องรอให้เกิดเหตุการณ์จริงการสร้างภาพความบกพร่องสำหรับการตรวจสอบด้วยภาพ: จำลองความผิดปกติบนชิ้นส่วนต่างๆ เช่น แผงวงจรพิมพ์ หรือพื้นผิวโลหะ จากภาพต้นแบบที่สะอาดสรุปแนวทางการใช้งานการนำเครื่องมือช่วยจัดการและสร้างข้อมูลสังเคราะห์เข้ามามีส่วนร่วม ช่วยให้ทีมนักพัฒนาสามารถเปลี่ยนความท้าทายในการรวบรวมข้อมูลที่ทำได้ยาก ให้กลายเป็นกระบวนการทำงานที่มีความยืดหยุ่นและช่วยประหยัดเวลาได้อย่างมีประสิทธิภาพ เหมาะสำหรับผู้ที่ต้องการยกระดับการพัฒนาโมเดล AI ในยุคปัจจุบันให้รวดเร็วยิ่งขึ้น#AI #MachineLearning #NVIDIA #TechTrends #DataFactoryhttps://developer.nvidia.com/blog/build-training-ready-physical-ai-datasets-with-two-prompts-in-nvidia-cosmos/
    Shared content
    DEVELOPER.NVIDIA.COM
    Build Training-Ready Physical AI Datasets with Two Prompts in NVIDIA Cosmos
    World model accuracy starts with high-quality, diverse training datasets. Yet capturing rare defects, nighttime incidents, and other challenging scenarios is costly and time-consuming.
    6 Comments 0 Shares 176 Views 0 Reviews
  • ทำความรู้จัก NVIDIA Vera Rubin NVL72 ก้าวกระโดดครั้งใหญ่ในวงการ AI กับผลทดสอบ MLPerf v6.1 🚀

    โลกของปัญญาประดิษฐ์หรือ AI กำลังพัฒนาไปอย่างรวดเร็ว โดยเฉพาะเมื่อโมเดลและเอเจนต์มีความซับซ้อนมากขึ้น การลดเวลาในการฝึกฝนโมเดล (Time-to-Train) จึงกลายเป็นหัวใจสำคัญที่ช่วยให้นักพัฒนาสามารถทดลองและปรับปรุงระบบได้อย่างรวดเร็ว ล่าสุดการทดสอบมาตรฐาน MLPerf Training v6.1 ได้เผยให้เห็นการเปิดตัวครั้งสำคัญของสถาปัตยกรรมใหม่อย่าง NVIDIA Vera Rubin NVL72 ที่สร้างสถิติและประสิทธิภาพอันน่าทึ่ง 💡

    จุดเด่นและผลงานระดับเรคคอร์ดของ Vera Rubin NVL72 📌

    การปรากฏตัวครั้งแรกในการทดสอบ MLPerf Training v6.1 สถาปัตยกรรม Vera Rubin NVL72 สามารถทำเวลาในการฝึกฝนโมเดลได้เร็วที่สุดถึง 6 จาก 7 เบนช์มาร์ก โดยให้ประสิทธิภาพต่อ GPU สูงกว่ารุ่นเดิมอย่างเห็นได้ชัด

    • ⚡ ประสิทธิภาพเหนือกว่า: ทำความเร็วได้สูงกว่าสถาปัตยกรรมรุ่นก่อนหน้าอย่างสม่ำเสมอ และก้าวกระโดดอย่างเด่นชัดในงานประมวลผลที่มีความซับซ้อนสูง
    • 📈 ความเร็วในโมเดล DeepSeek-V3: สำหรับโมเดล Mixture-of-Experts ขนาดใหญ่ Vera Rubin NVL72 สามารถฝึกฝนโมเดล DeepSeek-V3 671B สำเร็จภายในเวลาเพียง 4.14 นาที เมื่อใช้ 1,024 GPUs ซึ่งช่วยลดเวลาลงครึ่งหนึ่งเมื่อเทียบกับรุ่นก่อนหน้าในสเกลเดียวกัน
    • 🔄 รองรับงาน Reinforcement Learning ยุคใหม่: โดดเด่นในเบนช์มาร์ก Qwen 3.5 397B GRPO ซึ่งเป็นการฝึกอบรมเชิงเสริมแรงสำหรับ Agentic AI รองรับการทำงานร่วมกับอินฟิเรนซ์แบ็กเอนด์ที่หลากหลาย เช่น TensorRT-LLM และ vLLM

    สถาปัตยกรรมเครือข่ายและระบบระบายความร้อนที่ออกแบบมาเพื่อ AI 🛠️

    เบื้องหลังประสิทธิภาพอันทรงพลังนี้มาจากการออกแบบฮาร์ดแวร์และระบบเครือข่ายที่เชื่อมต่อถึงกันอย่างลงตัว

    • การเชื่อมต่อภายในชั้นเยี่ยม: ภายในชั้นวาง (Rack) เชื่อมต่อ GPU 72 ตัวและ CPU 36 ตัวเข้าด้วยกันผ่าน NVLink 6 แบบสไปน์ทองแดง มอบแบนด์วิดท์สูงถึง 3.6 TB/s ต่อ GPU ช่วยให้การรับส่งข้อมูลระหว่างผู้เชี่ยวชาญในโมเดล MoE ทำได้อย่างราบรื่น
    • ความสามารถในการขยายขนาด: รองรับการขยายสเกลได้อย่างมีประสิทธิภาพ โดยรักษาความเสถียรและประสิทธิภาพการขยายตัว (Scaling Efficiency) ไว้ได้สูงกว่า 97% เมื่อขยายจาก 256 สู่ 1,024 GPUs
    • การทำงานร่วมกันระหว่าง GPU และ Vera CPU: สำหรับงานจำลองสภาพแวดล้อมเพื่อฝึกฝน AI เอเจนต์ Vera CPU มีส่วนสำคัญในการรันสภาพแวดล้อมพร้อมกันนับหมื่นรายการ เพื่อป้อนข้อมูลป้อนกลับให้กับตัวเร่งความเร็วได้อย่างต่อเนื่อง

    ซอฟต์แวร์ที่เติบโตและปรับปรุงอย่างต่อเนื่อง 🔍

    ความสำเร็จของ Vera Rubin ไม่ได้มาจากฮาร์ดแวร์เพียงอย่างเดียว แต่ยังขับเคลื่อนด้วยชุดซอฟต์แวร์จาก NVIDIA เช่น NeMo Framework และ PyTorch ที่ช่วยให้ระบบมีความพร้อมใช้งานในระดับสากล นอกจากนี้ การปรับปรุงซอฟต์แวร์อย่างต่อเนื่องยังช่วยเพิ่มศักยภาพรีดเร้นประสิทธิภาพของฮาร์ดแวร์ให้สูงขึ้นได้เรื่อย ๆ แม้จะติดตั้งใช้งานไปแล้วก็ตาม ⭐

    สรุปภาพรวมความพร้อมใช้งานจริง 📌

    การเปิดตัวครั้งนี้สะท้อนให้เห็นว่าเทคโนโลยีโครงสร้างพื้นฐานสำหรับ AI ในปัจจุบัน ไม่เพียงแต่เน้นเรื่องความเร็วในการประมวลผลเท่านั้น แต่ยังมุ่งเน้นไปที่ความพร้อมของระบบนิเวศซอฟต์แวร์ ความเสถียรในการขยายสเกลระดับใหญ่ และความคุ้มค่าระยะยาวในการพัฒนาโมเดลปัญญาประดิษฐ์ยุคใหม่ให้ก้าวไปอีกขั้น

    #NVIDIA #VeraRubin #AI #MLPerf #MachineLearning #TechNews

    ขอบคุณ แหล่งข้อมูล
    https://developer.nvidia.com/blog/nvidia-vera-rubin-nvl72-achieves-up-to-2x-blackwell-ultra-performance-in-mlperf-training-v6-1/

    ทำความรู้จัก NVIDIA Vera Rubin NVL72 ก้าวกระโดดครั้งใหญ่ในวงการ AI กับผลทดสอบ MLPerf v6.1 🚀โลกของปัญญาประดิษฐ์หรือ AI กำลังพัฒนาไปอย่างรวดเร็ว โดยเฉพาะเมื่อโมเดลและเอเจนต์มีความซับซ้อนมากขึ้น การลดเวลาในการฝึกฝนโมเดล (Time-to-Train) จึงกลายเป็นหัวใจสำคัญที่ช่วยให้นักพัฒนาสามารถทดลองและปรับปรุงระบบได้อย่างรวดเร็ว ล่าสุดการทดสอบมาตรฐาน MLPerf Training v6.1 ได้เผยให้เห็นการเปิดตัวครั้งสำคัญของสถาปัตยกรรมใหม่อย่าง NVIDIA Vera Rubin NVL72 ที่สร้างสถิติและประสิทธิภาพอันน่าทึ่ง 💡จุดเด่นและผลงานระดับเรคคอร์ดของ Vera Rubin NVL72 📌การปรากฏตัวครั้งแรกในการทดสอบ MLPerf Training v6.1 สถาปัตยกรรม Vera Rubin NVL72 สามารถทำเวลาในการฝึกฝนโมเดลได้เร็วที่สุดถึง 6 จาก 7 เบนช์มาร์ก โดยให้ประสิทธิภาพต่อ GPU สูงกว่ารุ่นเดิมอย่างเห็นได้ชัด⚡ ประสิทธิภาพเหนือกว่า: ทำความเร็วได้สูงกว่าสถาปัตยกรรมรุ่นก่อนหน้าอย่างสม่ำเสมอ และก้าวกระโดดอย่างเด่นชัดในงานประมวลผลที่มีความซับซ้อนสูง📈 ความเร็วในโมเดล DeepSeek-V3: สำหรับโมเดล Mixture-of-Experts ขนาดใหญ่ Vera Rubin NVL72 สามารถฝึกฝนโมเดล DeepSeek-V3 671B สำเร็จภายในเวลาเพียง 4.14 นาที เมื่อใช้ 1,024 GPUs ซึ่งช่วยลดเวลาลงครึ่งหนึ่งเมื่อเทียบกับรุ่นก่อนหน้าในสเกลเดียวกัน🔄 รองรับงาน Reinforcement Learning ยุคใหม่: โดดเด่นในเบนช์มาร์ก Qwen 3.5 397B GRPO ซึ่งเป็นการฝึกอบรมเชิงเสริมแรงสำหรับ Agentic AI รองรับการทำงานร่วมกับอินฟิเรนซ์แบ็กเอนด์ที่หลากหลาย เช่น TensorRT-LLM และ vLLMสถาปัตยกรรมเครือข่ายและระบบระบายความร้อนที่ออกแบบมาเพื่อ AI 🛠️เบื้องหลังประสิทธิภาพอันทรงพลังนี้มาจากการออกแบบฮาร์ดแวร์และระบบเครือข่ายที่เชื่อมต่อถึงกันอย่างลงตัวการเชื่อมต่อภายในชั้นเยี่ยม: ภายในชั้นวาง (Rack) เชื่อมต่อ GPU 72 ตัวและ CPU 36 ตัวเข้าด้วยกันผ่าน NVLink 6 แบบสไปน์ทองแดง มอบแบนด์วิดท์สูงถึง 3.6 TB/s ต่อ GPU ช่วยให้การรับส่งข้อมูลระหว่างผู้เชี่ยวชาญในโมเดล MoE ทำได้อย่างราบรื่นความสามารถในการขยายขนาด: รองรับการขยายสเกลได้อย่างมีประสิทธิภาพ โดยรักษาความเสถียรและประสิทธิภาพการขยายตัว (Scaling Efficiency) ไว้ได้สูงกว่า 97% เมื่อขยายจาก 256 สู่ 1,024 GPUsการทำงานร่วมกันระหว่าง GPU และ Vera CPU: สำหรับงานจำลองสภาพแวดล้อมเพื่อฝึกฝน AI เอเจนต์ Vera CPU มีส่วนสำคัญในการรันสภาพแวดล้อมพร้อมกันนับหมื่นรายการ เพื่อป้อนข้อมูลป้อนกลับให้กับตัวเร่งความเร็วได้อย่างต่อเนื่องซอฟต์แวร์ที่เติบโตและปรับปรุงอย่างต่อเนื่อง 🔍ความสำเร็จของ Vera Rubin ไม่ได้มาจากฮาร์ดแวร์เพียงอย่างเดียว แต่ยังขับเคลื่อนด้วยชุดซอฟต์แวร์จาก NVIDIA เช่น NeMo Framework และ PyTorch ที่ช่วยให้ระบบมีความพร้อมใช้งานในระดับสากล นอกจากนี้ การปรับปรุงซอฟต์แวร์อย่างต่อเนื่องยังช่วยเพิ่มศักยภาพรีดเร้นประสิทธิภาพของฮาร์ดแวร์ให้สูงขึ้นได้เรื่อย ๆ แม้จะติดตั้งใช้งานไปแล้วก็ตาม ⭐สรุปภาพรวมความพร้อมใช้งานจริง 📌การเปิดตัวครั้งนี้สะท้อนให้เห็นว่าเทคโนโลยีโครงสร้างพื้นฐานสำหรับ AI ในปัจจุบัน ไม่เพียงแต่เน้นเรื่องความเร็วในการประมวลผลเท่านั้น แต่ยังมุ่งเน้นไปที่ความพร้อมของระบบนิเวศซอฟต์แวร์ ความเสถียรในการขยายสเกลระดับใหญ่ และความคุ้มค่าระยะยาวในการพัฒนาโมเดลปัญญาประดิษฐ์ยุคใหม่ให้ก้าวไปอีกขั้น#NVIDIA #VeraRubin #AI #MLPerf #MachineLearning #TechNewshttps://developer.nvidia.com/blog/nvidia-vera-rubin-nvl72-achieves-up-to-2x-blackwell-ultra-performance-in-mlperf-training-v6-1/
    Shared content
    DEVELOPER.NVIDIA.COM
    NVIDIA Vera Rubin NVL72 Achieves up to 2x Blackwell Ultra Performance in MLPerf Training v6.1
    As AI agents tackle increasingly complex workflows, reducing time-to-train is critical for rapidly iterating on both models and the agents they power. MLPerf Training v6.1 marks the debut of the…
    2 Comments 0 Shares 765 Views 0 Reviews
  • การผสานรวมระบบประมวลผลควอนตัม (QPU) เข้ากับศูนย์ซูเปอร์คอมพิวเตอร์ผ่าน Slurm HRES Plugins 💡

    การพัฒนาทางเทคโนโลยีในปัจจุบันกำลังก้าวไปสู่ยุคใหม่ เมื่อหน่วยประมวลผลควอนตัม หรือ QPU (Quantum Processing Unit) เริ่มถูกนำมาติดตั้งร่วมกับระบบซูเปอร์คอมพิวเตอร์หรือ High-Performance Computing (HPC) ในภูมิภาคต่างๆ ทั่วโลก เพื่อเพิ่มขีดความสามารถในการทำวิจัยทางวิทยาศาสตร์ การสร้างแบบจำลองสภาพอากาศ และงานด้านวิศวกรรมที่ซับซ้อน

    ทำไมระบบจัดสรรงานแบบเดิมถึงยังไม่ตอบโจทย์ QPU ⚠️

    ในอดีต การนำ QPU เข้ามาใช้งานร่วมกับคลัสเตอร์คอมพิวเตอร์มักพบข้อจำกัด เนื่องจากระบบจัดการทรัพยากรแบบเดิมอย่าง Generic Resources (GRES) ที่ใช้จัดการ GPU ถูกออกแบบมาให้ผูกติดอยู่กับโหนดประมวลผลเดี่ยวๆ ทำให้เกิดปัญหาในกรณีที่โหนดนั้นเกิดความขัดข้อง

    นอกจากนี้ การใช้ระบบไลเซนส์ร่วมกับปลั๊กอินเสริมก็ยังมีข้อจำกัดหลายประการ เช่น การปล่อยให้โหนดคอมพิวเตอร์ต้องรอคอยอย่างไร ประโยชน์ในระหว่างที่ระบบควอนตัมกำลังประมวลผล ความยุ่งยากในการรองรับ QPU หลายตัวพร้อมกัน และความเสี่ยงที่ระบบอาจติดขัดเมื่อมีการอัปเดตซอฟต์แวร์

    ทางออกใหม่ด้วย Slurm 26.11 และ HRES Plugins 🛠️

    เพื่อแก้ปัญหาดังกล่าว Slurm 26.11 ได้แนะนำระบบ Hierarchical Resources (HRES) plugins ซึ่งเข้ามาช่วยจำลองให้ QPU กลายเป็นทรัพยากรระดับคลัสเตอร์ที่สามารถจัดสรรได้อย่างเป็นธรรมชาติ โดยแบ่งการทำงานออกเป็นส่วนสำคัญ ดังนี้

    • การจำลองทรัพยากรแบบลำดับชั้น: HRES ช่วยเชื่อมโยง QPU เข้ากับกลุ่มโหนดที่ได้รับอนุญาตให้ใช้งานได้โดยตรง ผ่านการกำหนดค่าในไฟล์กลาง
    • การใช้งานผ่าน Lua Plugin: ช่วยให้การพัฒนาชุดคำสั่งควบคุมและตรวจสอบสถานะมีความยืดหยุ่น สามารถอัปเดตได้โดยไม่ต้องแก้ไขโค้ดหลักของ Slurm
    • การตรวจสอบสุขภาพระบบอัตโนมัติ: มีระบบเช็กความพร้อมของอุปกรณ์อย่างสม่ำเสมอ เพื่อป้องกันการส่งคิวงานไปยัง QPU ในช่วงที่กำลังซ่อมบำรุงหรือปรับเทียบค่า

    บทบาทของมิดิลพาร์และชุมชนโอเพนซอร์ส 📌

    การเชื่อมต่อระหว่างระบบ HPC และควอนตัมคอมพิวเตอร์จะอาศัยระบบมิดิลพาร์ (Middleware) เป็นตัวกลางในการสื่อสาร โดยในปัจจุบันมีชุมชนโอเพนซอร์สอย่าง QRMI และ QDMI ที่ได้พัฒนา HRES plugins ออกมาเพื่อช่วยให้ผู้ดูแลระบบสามารถเชื่อมโยงคลัสเตอร์ Slurm เข้ากับคอมพิวเตอร์ควอนตัมจากหลากหลายผู้ให้บริการได้อย่างราบรื่น

    สรุปภาพรวมของการยกระดับสู่ไฮบริดซูเปอร์คอมพิวเตอร์ ⭐

    การผสานรวม QPU เข้ากับซูเปอร์คอมพิวเตอร์ผ่าน HRES plugins ถือเป็นก้าวสำคัญที่ช่วยให้การเข้าใช้งานระบบควอนตัมมีความคุ้นเคยและง่ายดายสำหรับนักวิจัย เปรียบเสมือนการเพิ่มตัวเร่งความเร็วตัวใหม่เข้าไปในระบบโครงสร้างพื้นฐานเดิม ช่วยให้การขับเคลื่อนงานวิจัยระดับสูงเป็นไปได้อย่างมีประสิทธิภาพและยืดหยุ่นยิ่งขึ้นในอนาคต

    #เทคโนโลยีควอนตัม #Supercomputer #HPC #Slurm #AIและเทคโนโลยี

    ขอบคุณ แหล่งข้อมูล
    https://developer.nvidia.com/blog/integrating-qpus-into-supercomputing-centers-using-slurm-hres-plugins/

    การผสานรวมระบบประมวลผลควอนตัม (QPU) เข้ากับศูนย์ซูเปอร์คอมพิวเตอร์ผ่าน Slurm HRES Plugins 💡การพัฒนาทางเทคโนโลยีในปัจจุบันกำลังก้าวไปสู่ยุคใหม่ เมื่อหน่วยประมวลผลควอนตัม หรือ QPU (Quantum Processing Unit) เริ่มถูกนำมาติดตั้งร่วมกับระบบซูเปอร์คอมพิวเตอร์หรือ High-Performance Computing (HPC) ในภูมิภาคต่างๆ ทั่วโลก เพื่อเพิ่มขีดความสามารถในการทำวิจัยทางวิทยาศาสตร์ การสร้างแบบจำลองสภาพอากาศ และงานด้านวิศวกรรมที่ซับซ้อนทำไมระบบจัดสรรงานแบบเดิมถึงยังไม่ตอบโจทย์ QPU ⚠️ในอดีต การนำ QPU เข้ามาใช้งานร่วมกับคลัสเตอร์คอมพิวเตอร์มักพบข้อจำกัด เนื่องจากระบบจัดการทรัพยากรแบบเดิมอย่าง Generic Resources (GRES) ที่ใช้จัดการ GPU ถูกออกแบบมาให้ผูกติดอยู่กับโหนดประมวลผลเดี่ยวๆ ทำให้เกิดปัญหาในกรณีที่โหนดนั้นเกิดความขัดข้องนอกจากนี้ การใช้ระบบไลเซนส์ร่วมกับปลั๊กอินเสริมก็ยังมีข้อจำกัดหลายประการ เช่น การปล่อยให้โหนดคอมพิวเตอร์ต้องรอคอยอย่างไร ประโยชน์ในระหว่างที่ระบบควอนตัมกำลังประมวลผล ความยุ่งยากในการรองรับ QPU หลายตัวพร้อมกัน และความเสี่ยงที่ระบบอาจติดขัดเมื่อมีการอัปเดตซอฟต์แวร์ทางออกใหม่ด้วย Slurm 26.11 และ HRES Plugins 🛠️เพื่อแก้ปัญหาดังกล่าว Slurm 26.11 ได้แนะนำระบบ Hierarchical Resources (HRES) plugins ซึ่งเข้ามาช่วยจำลองให้ QPU กลายเป็นทรัพยากรระดับคลัสเตอร์ที่สามารถจัดสรรได้อย่างเป็นธรรมชาติ โดยแบ่งการทำงานออกเป็นส่วนสำคัญ ดังนี้การจำลองทรัพยากรแบบลำดับชั้น: HRES ช่วยเชื่อมโยง QPU เข้ากับกลุ่มโหนดที่ได้รับอนุญาตให้ใช้งานได้โดยตรง ผ่านการกำหนดค่าในไฟล์กลางการใช้งานผ่าน Lua Plugin: ช่วยให้การพัฒนาชุดคำสั่งควบคุมและตรวจสอบสถานะมีความยืดหยุ่น สามารถอัปเดตได้โดยไม่ต้องแก้ไขโค้ดหลักของ Slurmการตรวจสอบสุขภาพระบบอัตโนมัติ: มีระบบเช็กความพร้อมของอุปกรณ์อย่างสม่ำเสมอ เพื่อป้องกันการส่งคิวงานไปยัง QPU ในช่วงที่กำลังซ่อมบำรุงหรือปรับเทียบค่าบทบาทของมิดิลพาร์และชุมชนโอเพนซอร์ส 📌การเชื่อมต่อระหว่างระบบ HPC และควอนตัมคอมพิวเตอร์จะอาศัยระบบมิดิลพาร์ (Middleware) เป็นตัวกลางในการสื่อสาร โดยในปัจจุบันมีชุมชนโอเพนซอร์สอย่าง QRMI และ QDMI ที่ได้พัฒนา HRES plugins ออกมาเพื่อช่วยให้ผู้ดูแลระบบสามารถเชื่อมโยงคลัสเตอร์ Slurm เข้ากับคอมพิวเตอร์ควอนตัมจากหลากหลายผู้ให้บริการได้อย่างราบรื่นสรุปภาพรวมของการยกระดับสู่ไฮบริดซูเปอร์คอมพิวเตอร์ ⭐การผสานรวม QPU เข้ากับซูเปอร์คอมพิวเตอร์ผ่าน HRES plugins ถือเป็นก้าวสำคัญที่ช่วยให้การเข้าใช้งานระบบควอนตัมมีความคุ้นเคยและง่ายดายสำหรับนักวิจัย เปรียบเสมือนการเพิ่มตัวเร่งความเร็วตัวใหม่เข้าไปในระบบโครงสร้างพื้นฐานเดิม ช่วยให้การขับเคลื่อนงานวิจัยระดับสูงเป็นไปได้อย่างมีประสิทธิภาพและยืดหยุ่นยิ่งขึ้นในอนาคต#เทคโนโลยีควอนตัม #Supercomputer #HPC #Slurm #AIและเทคโนโลยีhttps://developer.nvidia.com/blog/integrating-qpus-into-supercomputing-centers-using-slurm-hres-plugins/
    Shared content
    DEVELOPER.NVIDIA.COM
    Integrating QPUs into Supercomputing Centers Using Slurm HRES Plugins
    Quantum processors are being integrated into supercomputing centers worldwide. National programs in North America, Europe, and Asia are driving the installation of quantum processing units (QPUs)…
    5 Comments 0 Shares 1K Views 0 Reviews
  • การออกแบบ Sparse Attention ร่วมกับฮาร์ดแวร์เพื่อเพิ่มประสิทธิภาพโมเดลภาษาในบริบทขนาดยาว 💡

    ในยุคที่โมเดลปัญญาประดิษฐ์ต้องรองรับงานที่มีบริบทขนาดยาวขึ้นเรื่อย ๆ ไม่ว่าจะเป็นการประมวลผลเอกสารหลายร้อยหน้า โค้ดโปรแกรมขนาดใหญ่ หรือระบบงานเอเจนต์ (Agentic Workloads) ส่งผลให้ความยาวของคอนเทนต์หรือ Token พุ่งสูงจากหลักหมื่นสู่หลักแสน

    เมื่อความยาวของบริบทเพิ่มขึ้นอย่างมหาศาล ระบบ Attention แบบดั้งเดิม (Dense Attention) จะกลายเป็นส่วนที่มีต้นทุนการประมวลผลสูงที่สุด เนื่องจากต้องคำนวณคะแนนระหว่างทุก Query และทุก Key ส่งผลให้ใช้เวลาและทรัพยากรอย่างมาก แนวทางแก้ไขระดับโมเดลที่ได้รับความสนใจจึงเป็นการใช้ Sparse Attention เพื่อลดภาระการประมวลผล แต่การออกแบบระบบนี้ให้ทำงานร่วมกับฮาร์ดแวร์ GPU ได้อย่างเต็มประสิทธิภาพนั้นมีรายละเอียดเชิงลึกที่ต้องคำนึงถึง


    ทำไม Sparse Attention ถึงเป็นกุญแจสำคัญสำหรับบริบทขนาดยาว 📌

    Sparse Attention เป็นเทคนิคที่จำกัดให้แต่ละ Query สนใจ (Attend) เฉพาะ Key กลุ่มย่อยที่มีความเกี่ยวข้องสูงที่สุด แทนที่จะตรวจจับทุก Key ในบริบททั้งหมด ซึ่งช่วยลดทั้งพลังในการคำนวณและปริมาณการรับส่งข้อมูลในหน่วยความจำได้อย่างมีประสิทธิภาพ

    อย่างไรก็ตาม ต้นทุนการค้นหา Key เหล่านั้นไม่ได้หายไปไหน แต่มันถูกย้ายไปยังส่วนที่เรียกว่า Indexer ซึ่งยังคงต้องประมวลผลข้อมูลกุญแจทั้งหมด กระบวนการทำงานของ Sparse Attention จึงแบ่งออกเป็น 3 ขั้นตอนหลัก ดังนี้ครับ

    1. Indexer: ทำหน้าที่ให้คะแนน Key ทุกตัวในระบบ
    2. Top-k Selection: คัดเลือกคะแนนที่สูงที่สุดจำนวน \(k\) อันดับ
    3. Core Attention: ประมวลผล Softhead Attention เฉพาะบน Key และ Value ที่ถูกคัดเลือกไว้

    แนวทางและข้อแนะนำในการออกแบบ Indexer ให้เข้ากับฮาร์ดแวร์ 🛠️

    การปรับแต่ง Indexer เพื่อให้รีดประสิทธิภาพจาก Tensor Core ของ NVIDIA ออกมาได้สูงสุด มีแนวทางสำคัญที่นักพัฒนาสามารถนำไปประยุกต์ใช้ได้ดังนี้ครับ

    • ควบคุมสัดส่วนกลุ่มและความยาวการคาดเดา: ควบคุมค่า Group ขนาด \(G\) และจำนวน Token จากการทำ Speculative Decoding รวมกันให้อยู่ภายใน 1 Tensor Core tile (ประมาณ 200 แถว หรือ 256 แถวเมื่อใช้ FP16 epilogue) เพื่อป้องกันไม่ให้ Kernel ต้องเรียกทำงานเพิ่มโดยไม่จำเป็น
    • ใช้งาน FP16 สำหรับ Epilogue และการสะสมผลลัพธ์: การรันส่วน Epilogue และการสะสมค่าในรูปแบบ FP16 จะช่วยเพิ่มความเร็วและปริมาณงานที่ทำได้ (Throughput) โดยต้องรักษาระดับการสเกล QK ให้อยู่ในช่วงที่เหมาะสม
    • เลือกใช้ Key Head จำนวนน้อย: การกำหนดจำนวน Key Head เป็น 1 พร้อมกับการลดทอนข้ามหัว (Cross-head reduction) จะช่วยเขียนผลลัพธ์เพียง 1 Logit ต่อ Key ซึ่งช่วยเลี่ยงการเติบโตของเวลาประมวลผลแบบเชิงเส้นในช่วง Decode
    • กำหนดขนาด Head (Hsz) ให้เหมาะสม: การกำหนดขนาด Head Dimension ที่ 128 หรือ 256 ช่วยสร้างความสมดุลระหว่างการใช้งาน Tensor Core และปริมาณการรับส่งข้อมูลในหน่วยความจำ
    • ลดจำนวน Key ที่ต้องให้คะแนน: ใช้เทคนิคการบีบอัด (Compression), การทำ Hierarchical Indexing หรือการแชร์ Index ระหว่างเลเยอร์ เพื่อลดภาระการทำงานโดยรวมลง

    สิ่งที่ควรคำนึงถึงในการประมวลผล Top-k 🔍

    นอกเหนือจากตัว Indexer แล้ว กระบวนการ Top-k เพื่อคัดเลือก Logit สูงสุดยังเป็นอีกหนึ่งจุดสำคัญ การเพิ่มจำนวน Key ที่นำมาพิจารณาจะส่งผลต่อต้นทุนการประมวลผลโดยตรง แต่ในทางกลับกัน การเพิ่มจำนวนตัวเลือก \(k\) กลับใช้ทรัพยากรเพิ่มขึ้นเพียงเล็กน้อยเท่านั้น

    ดังนั้น วิธีการลดต้นทุนที่ดีที่สุดจึงเป็นการลดจำนวน Key ที่ Indexer ต้องให้คะแนนตั้งแต่ต้นทาง ควบคู่ไปกับการใช้เทคนิคการประมวลผลขั้นสูง เช่น การใช้ผลลัพธ์จากขั้นตอนก่อนหน้ามาเป็นค่าคาดเดา (Guess) เพื่อเร่งความเร็วในการตรวจสอบในขั้นตอนถัดไป


    สรุปภาพรวมของการพัฒนาโมเดลบริบทขนาดยาว 📌

    การออกแบบ Sparse Attention ที่มีประสิทธิภาพสูงสุด ไม่ได้พึ่งพาแค่โครงสร้างทางคณิตศาสตร์เพียงอย่างเดียว แต่ต้องอาศัยความเข้าใจในการทำงานร่วมกับฮาร์ดแวร์ GPU การบริหารจัดการทรัพยากรในส่วนของ Indexer และการเลือกใช้เทคนิคการลดจำนวน Key อย่างเหมาะสม จะช่วยให้ระบบสามารถประมวลผลบริบทขนาดยาวได้อย่างรวดเร็วและประหยัดพลังงานมากยิ่งขึ้น

    #AI #MachineLearning #NVIDIA #Developer #TechTrends

    ขอบคุณ แหล่งข้อมูล
    https://developer.nvidia.com/blog/co-designing-sparse-attention-for-efficient-long-context-inference/

    การออกแบบ Sparse Attention ร่วมกับฮาร์ดแวร์เพื่อเพิ่มประสิทธิภาพโมเดลภาษาในบริบทขนาดยาว 💡ในยุคที่โมเดลปัญญาประดิษฐ์ต้องรองรับงานที่มีบริบทขนาดยาวขึ้นเรื่อย ๆ ไม่ว่าจะเป็นการประมวลผลเอกสารหลายร้อยหน้า โค้ดโปรแกรมขนาดใหญ่ หรือระบบงานเอเจนต์ (Agentic Workloads) ส่งผลให้ความยาวของคอนเทนต์หรือ Token พุ่งสูงจากหลักหมื่นสู่หลักแสนเมื่อความยาวของบริบทเพิ่มขึ้นอย่างมหาศาล ระบบ Attention แบบดั้งเดิม (Dense Attention) จะกลายเป็นส่วนที่มีต้นทุนการประมวลผลสูงที่สุด เนื่องจากต้องคำนวณคะแนนระหว่างทุก Query และทุก Key ส่งผลให้ใช้เวลาและทรัพยากรอย่างมาก แนวทางแก้ไขระดับโมเดลที่ได้รับความสนใจจึงเป็นการใช้ Sparse Attention เพื่อลดภาระการประมวลผล แต่การออกแบบระบบนี้ให้ทำงานร่วมกับฮาร์ดแวร์ GPU ได้อย่างเต็มประสิทธิภาพนั้นมีรายละเอียดเชิงลึกที่ต้องคำนึงถึงทำไม Sparse Attention ถึงเป็นกุญแจสำคัญสำหรับบริบทขนาดยาว 📌Sparse Attention เป็นเทคนิคที่จำกัดให้แต่ละ Query สนใจ (Attend) เฉพาะ Key กลุ่มย่อยที่มีความเกี่ยวข้องสูงที่สุด แทนที่จะตรวจจับทุก Key ในบริบททั้งหมด ซึ่งช่วยลดทั้งพลังในการคำนวณและปริมาณการรับส่งข้อมูลในหน่วยความจำได้อย่างมีประสิทธิภาพอย่างไรก็ตาม ต้นทุนการค้นหา Key เหล่านั้นไม่ได้หายไปไหน แต่มันถูกย้ายไปยังส่วนที่เรียกว่า Indexer ซึ่งยังคงต้องประมวลผลข้อมูลกุญแจทั้งหมด กระบวนการทำงานของ Sparse Attention จึงแบ่งออกเป็น 3 ขั้นตอนหลัก ดังนี้ครับIndexer: ทำหน้าที่ให้คะแนน Key ทุกตัวในระบบTop-k Selection: คัดเลือกคะแนนที่สูงที่สุดจำนวน \(k\) อันดับCore Attention: ประมวลผล Softhead Attention เฉพาะบน Key และ Value ที่ถูกคัดเลือกไว้แนวทางและข้อแนะนำในการออกแบบ Indexer ให้เข้ากับฮาร์ดแวร์ 🛠️การปรับแต่ง Indexer เพื่อให้รีดประสิทธิภาพจาก Tensor Core ของ NVIDIA ออกมาได้สูงสุด มีแนวทางสำคัญที่นักพัฒนาสามารถนำไปประยุกต์ใช้ได้ดังนี้ครับควบคุมสัดส่วนกลุ่มและความยาวการคาดเดา: ควบคุมค่า Group ขนาด \(G\) และจำนวน Token จากการทำ Speculative Decoding รวมกันให้อยู่ภายใน 1 Tensor Core tile (ประมาณ 200 แถว หรือ 256 แถวเมื่อใช้ FP16 epilogue) เพื่อป้องกันไม่ให้ Kernel ต้องเรียกทำงานเพิ่มโดยไม่จำเป็นใช้งาน FP16 สำหรับ Epilogue และการสะสมผลลัพธ์: การรันส่วน Epilogue และการสะสมค่าในรูปแบบ FP16 จะช่วยเพิ่มความเร็วและปริมาณงานที่ทำได้ (Throughput) โดยต้องรักษาระดับการสเกล QK ให้อยู่ในช่วงที่เหมาะสมเลือกใช้ Key Head จำนวนน้อย: การกำหนดจำนวน Key Head เป็น 1 พร้อมกับการลดทอนข้ามหัว (Cross-head reduction) จะช่วยเขียนผลลัพธ์เพียง 1 Logit ต่อ Key ซึ่งช่วยเลี่ยงการเติบโตของเวลาประมวลผลแบบเชิงเส้นในช่วง Decodeกำหนดขนาด Head (Hsz) ให้เหมาะสม: การกำหนดขนาด Head Dimension ที่ 128 หรือ 256 ช่วยสร้างความสมดุลระหว่างการใช้งาน Tensor Core และปริมาณการรับส่งข้อมูลในหน่วยความจำลดจำนวน Key ที่ต้องให้คะแนน: ใช้เทคนิคการบีบอัด (Compression), การทำ Hierarchical Indexing หรือการแชร์ Index ระหว่างเลเยอร์ เพื่อลดภาระการทำงานโดยรวมลงสิ่งที่ควรคำนึงถึงในการประมวลผล Top-k 🔍นอกเหนือจากตัว Indexer แล้ว กระบวนการ Top-k เพื่อคัดเลือก Logit สูงสุดยังเป็นอีกหนึ่งจุดสำคัญ การเพิ่มจำนวน Key ที่นำมาพิจารณาจะส่งผลต่อต้นทุนการประมวลผลโดยตรง แต่ในทางกลับกัน การเพิ่มจำนวนตัวเลือก \(k\) กลับใช้ทรัพยากรเพิ่มขึ้นเพียงเล็กน้อยเท่านั้นดังนั้น วิธีการลดต้นทุนที่ดีที่สุดจึงเป็นการลดจำนวน Key ที่ Indexer ต้องให้คะแนนตั้งแต่ต้นทาง ควบคู่ไปกับการใช้เทคนิคการประมวลผลขั้นสูง เช่น การใช้ผลลัพธ์จากขั้นตอนก่อนหน้ามาเป็นค่าคาดเดา (Guess) เพื่อเร่งความเร็วในการตรวจสอบในขั้นตอนถัดไปสรุปภาพรวมของการพัฒนาโมเดลบริบทขนาดยาว 📌การออกแบบ Sparse Attention ที่มีประสิทธิภาพสูงสุด ไม่ได้พึ่งพาแค่โครงสร้างทางคณิตศาสตร์เพียงอย่างเดียว แต่ต้องอาศัยความเข้าใจในการทำงานร่วมกับฮาร์ดแวร์ GPU การบริหารจัดการทรัพยากรในส่วนของ Indexer และการเลือกใช้เทคนิคการลดจำนวน Key อย่างเหมาะสม จะช่วยให้ระบบสามารถประมวลผลบริบทขนาดยาวได้อย่างรวดเร็วและประหยัดพลังงานมากยิ่งขึ้น#AI #MachineLearning #NVIDIA #Developer #TechTrendshttps://developer.nvidia.com/blog/co-designing-sparse-attention-for-efficient-long-context-inference/
    Shared content
    DEVELOPER.NVIDIA.COM
    Co-Designing Sparse Attention for Efficient Long-Context Inference
    Agentic workloads, long documents, and large codebases are pushing context lengths from tens of thousands of tokens to hundreds of thousands. At those lengths, attention becomes the most expensive…
    5 Comments 0 Shares 1K Views 0 Reviews
  • เปิดมิติใหม่ AI Agent: NVIDIA Vera Rubin NVL72 โชว์ศักยภาพเหนือชั้นบนผลทดสอบ MLPerf Endpoints v1.0 🚀

    ในยุคที่ระบบปัญญาประดิษฐ์หรือ AI เริ่มก้าวสู่การทำงานแบบอัตโนมัติที่มีความซับซ้อนมากขึ้น หรือที่เรียกว่า Agentic Workloads ความต้องการด้านระบบประมวลผลอินฟอเรนซ์ (Inference Systems) ก็เพิ่มสูงขึ้นตามไปด้วย เนื่องจาก AI Agent จำเป็นต้องเก็บบันทึกบทสนทนาย้อนหลังหลายเทิร์น พร้อมทั้งสร้างเหตุผล (Reasoning) เรียกใช้เครื่องมือ (Tool Calls) และตอบกลับผู้ใช้งานไปพร้อมกัน

    ล่าสุดผลการทดสอบประสิทธิภาพจาก MLPerf Endpoints v1.0 ได้เผยให้เห็นความก้าวหน้าครั้งสำคัญของฮาร์ดแวร์ยุคใหม่ โดยระบบ NVIDIA Vera Rubin NVL72 สามารถสร้างมาตรฐานใหม่ในการประมวลผลสำหรับ AI Agent ได้อย่างโดดเด่น

    💡 ทำไมระบบประมวลผลสำหรับ AI Agent ถึงท้าทายกว่าเดิม?

    การทำงานของ AI Agent ในปัจจุบันมีความแตกต่างจากการแชททั่วไปอย่างมาก เนื่องจากมีลักษณะการทำงานที่ซับซ้อน เช่น

    • การสะสมประวัติการสนทนาที่ยาวนานขึ้นเรื่อยๆ ในแต่ละรอบการทำงาน
    • การประมวลผลชุดคำสั่ง เวิร์กโฟลว์ระดับองค์กร และคำนิยามของเครื่องมือต่างๆ ที่ต้องเรียกใช้ร่วมกัน
    • การรักษาสสมดุลระหว่างความสามารถในการรองรับผู้ใช้งานจำนวนมาก (Throughput) และความรวดเร็วในการตอบสนอง (Interactivity)

    การทดสอบของ MLPerf Endpoints v1.0 จึงเข้ามามีบทบาทสำคัญในการประเมินประสิทธิภาพจุดนี้ ผ่านเวิร์กโฟลว์การเขียนโค้ดและงานระดับองค์กร เพื่อตรวจสอบว่าความเร็วที่เพิ่มขึ้นยังคงรักษาคุณภาพและความถูกต้องของโมเดลไว้ได้หรือไม่

    ⚡ เจาะลึกผลงานเด่น: ประสิทธิภาพสูงกว่าเดิมถึง 10 เท่าต่อกิโลวัตต์

    จากการทดสอบระบุว่า NVIDIA Vera Rubin NVL72 สามารถส่งมอบปริมาณงาน (Throughput) ได้มากกว่า 10 เท่าต่อนิดหน่วยพลังงานกิโลวัตต์ เมื่อเทียบกับระบบรุ่นก่อนอย่าง NVIDIA GB300 NVL72 ที่เกณฑ์มาตรฐานความเร็วในการตอบสนองเท่ากันที่ 50 โทเค็นต่อวินาทีต่อผู้ใช้

    เมื่อทดสอบกับโมเดลหลากหลายประเภท ไม่ว่าจะเป็น Kimi K3, DeepSeek-V4.1-Flash และ Qwen3.6-35B-A3B พบข้อสังเกตที่น่าสนใจดังนี้:

    • ให้ปริมาณงานต่อกิโลวัตต์สูงขึ้นถึง 5 ถึง 10 เท่า
    • เพิ่มความเร็วในการโต้ตอบแบบ end-to-end ได้ดีขึ้น 3 ถึง 5 เท่าภายใต้ระดับความหนาแน่นของผู้ใช้งานที่เท่ากัน

    ประสิทธิภาพที่สูงขึ้นนี้ช่วยให้องค์กรต่างๆ สามารถรัน AI Agent จำนวนมากพร้อมกันได้ภายใต้กรอบพลังงานเดิม พร้อมทั้งช่วยลดอาการหน่วงและรอคอยของผู้ใช้งานลงได้

    🛠️ เบื้องหลังความสำเร็จด้วยฮาร์ดแวร์และซอฟต์แวร์สุดล้ำ

    ความสำเร็จครั้งนี้ไม่ได้มาจากฮาร์ดแวร์เพียงอย่างเดียว แต่เป็นการทำงานร่วมกันระหว่างการออกแบบสถาปัตยกรรมชิปและซอฟต์แวร์จัดการที่มีประสิทธิภาพ:

    1. หน่วยความจำ HBM4 และ Tensor Cores: ช่วยให้การเข้าถึงน้ำหนักของโมเดล (Model Weights) และสถานะการสนทนารวดเร็วยิ่งขึ้น พร้อมเร่งความเร็วในการคำนวณเมทริกซ์
    2. NVLink รุ่นที่ 6: รองรับการสื่อสารและการรับส่งข้อมูลระหว่างหน่วยประมวลผล GPU ได้อย่างไร้รอยต่อ
    3. เทคนิคการเสิร์ฟแบบตระหนักรู้บริบท (Context-Aware Serving): เช่น การทำ Prefix caching, การนำสถานะกลับมาใช้ซ้ำ (State Reuse) และระบบจัดเส้นทาง NVIDIA Dynamo ช่วยลดการคำนวณที่ซ้ำซ้อนและกระจายโหลดได้อย่างสมดุล
    4. การปรับแต่งเคอร์เนลเฉพาะรุ่น: เช่น การใช้ MegaMoE ของ DeepSeek และการทำนายแบบ multi-token ของ Qwen ช่วยลดการเคลื่อนย้ายข้อมูลและขั้นตอนการถอดรหัสที่ไม่จำเป็น

    📌 สรุปภาพรวมอนาคตของ AI Agent

    ผลการทดสอบจาก MLPerf Endpoints v1.0 ถือเป็นเครื่องยืนยันว่าการพัฒนาโครงสร้างพื้นฐานที่ผสานการทำงานร่วมกันทั้งฮาร์ดแวร์ สถาปัตยกรรมระบบ และซอฟต์แวร์จัดการ คือกุญแจสำคัญที่จะช่วยปลดล็อกข้อจำกัดของ AI Agent ยุคใหม่ ทำให้สามารถรองรับผู้ใช้งานจำนวนมหาศาลได้อย่างมีประสิทธิภาพและประหยัดพลังงานมากยิ่งขึ้น

    #NVIDIA #VeraRubin #MLPerf #AIAgents #InferencePerformance

    ขอบคุณ แหล่งข้อมูล
    https://developer.nvidia.com/blog/nvidia-vera-rubin-nvl72-leads-agentic-inference-performance-on-mlperf-endpoints-v1-0/

    เปิดมิติใหม่ AI Agent: NVIDIA Vera Rubin NVL72 โชว์ศักยภาพเหนือชั้นบนผลทดสอบ MLPerf Endpoints v1.0 🚀ในยุคที่ระบบปัญญาประดิษฐ์หรือ AI เริ่มก้าวสู่การทำงานแบบอัตโนมัติที่มีความซับซ้อนมากขึ้น หรือที่เรียกว่า Agentic Workloads ความต้องการด้านระบบประมวลผลอินฟอเรนซ์ (Inference Systems) ก็เพิ่มสูงขึ้นตามไปด้วย เนื่องจาก AI Agent จำเป็นต้องเก็บบันทึกบทสนทนาย้อนหลังหลายเทิร์น พร้อมทั้งสร้างเหตุผล (Reasoning) เรียกใช้เครื่องมือ (Tool Calls) และตอบกลับผู้ใช้งานไปพร้อมกันล่าสุดผลการทดสอบประสิทธิภาพจาก MLPerf Endpoints v1.0 ได้เผยให้เห็นความก้าวหน้าครั้งสำคัญของฮาร์ดแวร์ยุคใหม่ โดยระบบ NVIDIA Vera Rubin NVL72 สามารถสร้างมาตรฐานใหม่ในการประมวลผลสำหรับ AI Agent ได้อย่างโดดเด่น💡 ทำไมระบบประมวลผลสำหรับ AI Agent ถึงท้าทายกว่าเดิม?การทำงานของ AI Agent ในปัจจุบันมีความแตกต่างจากการแชททั่วไปอย่างมาก เนื่องจากมีลักษณะการทำงานที่ซับซ้อน เช่นการสะสมประวัติการสนทนาที่ยาวนานขึ้นเรื่อยๆ ในแต่ละรอบการทำงานการประมวลผลชุดคำสั่ง เวิร์กโฟลว์ระดับองค์กร และคำนิยามของเครื่องมือต่างๆ ที่ต้องเรียกใช้ร่วมกันการรักษาสสมดุลระหว่างความสามารถในการรองรับผู้ใช้งานจำนวนมาก (Throughput) และความรวดเร็วในการตอบสนอง (Interactivity)การทดสอบของ MLPerf Endpoints v1.0 จึงเข้ามามีบทบาทสำคัญในการประเมินประสิทธิภาพจุดนี้ ผ่านเวิร์กโฟลว์การเขียนโค้ดและงานระดับองค์กร เพื่อตรวจสอบว่าความเร็วที่เพิ่มขึ้นยังคงรักษาคุณภาพและความถูกต้องของโมเดลไว้ได้หรือไม่⚡ เจาะลึกผลงานเด่น: ประสิทธิภาพสูงกว่าเดิมถึง 10 เท่าต่อกิโลวัตต์จากการทดสอบระบุว่า NVIDIA Vera Rubin NVL72 สามารถส่งมอบปริมาณงาน (Throughput) ได้มากกว่า 10 เท่าต่อนิดหน่วยพลังงานกิโลวัตต์ เมื่อเทียบกับระบบรุ่นก่อนอย่าง NVIDIA GB300 NVL72 ที่เกณฑ์มาตรฐานความเร็วในการตอบสนองเท่ากันที่ 50 โทเค็นต่อวินาทีต่อผู้ใช้เมื่อทดสอบกับโมเดลหลากหลายประเภท ไม่ว่าจะเป็น Kimi K3, DeepSeek-V4.1-Flash และ Qwen3.6-35B-A3B พบข้อสังเกตที่น่าสนใจดังนี้:ให้ปริมาณงานต่อกิโลวัตต์สูงขึ้นถึง 5 ถึง 10 เท่าเพิ่มความเร็วในการโต้ตอบแบบ end-to-end ได้ดีขึ้น 3 ถึง 5 เท่าภายใต้ระดับความหนาแน่นของผู้ใช้งานที่เท่ากันประสิทธิภาพที่สูงขึ้นนี้ช่วยให้องค์กรต่างๆ สามารถรัน AI Agent จำนวนมากพร้อมกันได้ภายใต้กรอบพลังงานเดิม พร้อมทั้งช่วยลดอาการหน่วงและรอคอยของผู้ใช้งานลงได้🛠️ เบื้องหลังความสำเร็จด้วยฮาร์ดแวร์และซอฟต์แวร์สุดล้ำความสำเร็จครั้งนี้ไม่ได้มาจากฮาร์ดแวร์เพียงอย่างเดียว แต่เป็นการทำงานร่วมกันระหว่างการออกแบบสถาปัตยกรรมชิปและซอฟต์แวร์จัดการที่มีประสิทธิภาพ:หน่วยความจำ HBM4 และ Tensor Cores: ช่วยให้การเข้าถึงน้ำหนักของโมเดล (Model Weights) และสถานะการสนทนารวดเร็วยิ่งขึ้น พร้อมเร่งความเร็วในการคำนวณเมทริกซ์NVLink รุ่นที่ 6: รองรับการสื่อสารและการรับส่งข้อมูลระหว่างหน่วยประมวลผล GPU ได้อย่างไร้รอยต่อเทคนิคการเสิร์ฟแบบตระหนักรู้บริบท (Context-Aware Serving): เช่น การทำ Prefix caching, การนำสถานะกลับมาใช้ซ้ำ (State Reuse) และระบบจัดเส้นทาง NVIDIA Dynamo ช่วยลดการคำนวณที่ซ้ำซ้อนและกระจายโหลดได้อย่างสมดุลการปรับแต่งเคอร์เนลเฉพาะรุ่น: เช่น การใช้ MegaMoE ของ DeepSeek และการทำนายแบบ multi-token ของ Qwen ช่วยลดการเคลื่อนย้ายข้อมูลและขั้นตอนการถอดรหัสที่ไม่จำเป็น📌 สรุปภาพรวมอนาคตของ AI Agentผลการทดสอบจาก MLPerf Endpoints v1.0 ถือเป็นเครื่องยืนยันว่าการพัฒนาโครงสร้างพื้นฐานที่ผสานการทำงานร่วมกันทั้งฮาร์ดแวร์ สถาปัตยกรรมระบบ และซอฟต์แวร์จัดการ คือกุญแจสำคัญที่จะช่วยปลดล็อกข้อจำกัดของ AI Agent ยุคใหม่ ทำให้สามารถรองรับผู้ใช้งานจำนวนมหาศาลได้อย่างมีประสิทธิภาพและประหยัดพลังงานมากยิ่งขึ้น#NVIDIA #VeraRubin #MLPerf #AIAgents #InferencePerformancehttps://developer.nvidia.com/blog/nvidia-vera-rubin-nvl72-leads-agentic-inference-performance-on-mlperf-endpoints-v1-0/
    Shared content
    DEVELOPER.NVIDIA.COM
    NVIDIA Vera Rubin NVL72 Leads Agentic Inference Performance on MLPerf Endpoints v1.0
    Agentic workloads are demanding more from inference systems. AI agents carry growing conversation histories across turns and generate a mix of reasoning, tool calls, and responses.
    5 Comments 0 Shares 2K Views 0 Reviews
  • เร่งความเร็วการจำลอง Molecular Dynamics ให้มีประสิทธิภาพสูงขึ้นด้วย NVIDIA cuPotential 🚀

    การจำลองด้วยวิธี Molecular Dynamics (MD) ถือเป็นเครื่องมือสำคัญในงานวิจัยด้านฟิสิกส์ เคมี ชีววิทยา และวัสดุศาสตร์มาอย่างยาวนาน ด้วยโครงสร้างการคำนวณที่ต้องประเมินแรงระหว่างอะตอมจำนวนมากแบบขนาน ทำให้โปรแกรมจำลอง MD เป็นหนึ่งในกลุ่มแรก ๆ ที่ถูกนำมาพัฒนาให้รันบนหน่วยประมวลผลกราฟิก (GPU)

    แต่ในขณะที่เทคโนโลยีฮาร์ดแวร์พัฒนาไปอย่างรวดเร็ว การปรับแต่งเคอร์เนลและการรักษาความเข้ากันได้ระหว่างฮาร์ดแวร์ที่หลากหลายก็กลายเป็นความท้าทายสำหรับนักพัฒนาเช่นกัน

    ความท้าทายหลักในการจำลอง MD ยุคใหม่ 💡

    ในการจำลองด้วยฟอร์ซฟิลด์แบบคลาสสิก การประเมินปฏิกิริยาระยะไกลภายใต้เงื่อนไขขอบเขตแบบ périodique (Periodic Boundary Conditions) เช่น แรงไฟฟ้าสถิต (Electrostatics) และแรงกระจายตัว (Dispersion) มักเป็นคอขวดสำคัญด้านการคำนวณและวิศวกรรม

    NVIDIA cuPotential ถูกพัฒนาขึ้นมาเพื่อแก้ปัญหานี้โดยเฉพาะ ด้วยไลบรารีแบบโมดูลาร์ที่มาพร้อม C API ช่วยให้นักพัฒนาและผู้ใช้งานสามารถเลือกองค์ประกอบเฉพาะจากเลเยอร์ต่าง ๆ มาช่วยเร่งความเร็วเวิร์กโหลดได้อย่างยืดหยุ่น

    จุดเด่นและประโยชน์ของ NVIDIA cuPotential 📌

    • 🛠️ รองรับการทำงานร่วมกับ OpenMM: มีปลั๊กอินที่ออกแบบมาให้ใช้งานแทนที่ Nonbonded Force, Langevin Integrator และ Monte Carlo Barostat เดิมได้ทันทีโดยแทบไม่ต้องแก้โค้ด
    • ⚡ เพิ่มความเร็วแบบก้าวกระโดด: ผลการทดสอบบน GPU หลากหลายรุ่นตั้งแต่ T4 ไปจนถึงสถาปัตยกรรมรุ่นใหม่อย่าง NVIDIA RTX PRO 6000 Blackwell ช่วยเพิ่มความเร็วแบบ End-to-End ได้ถึง 2 ถึงมากกว่า 3 เท่า
    • 🎯 ความแม่นยำสูงและลดความคลาดเคลื่อน: พัฒนาร่วมกับ D. E. Shaw Research และ Flatiron Institute เพื่อใช้ฟังก์ชัน splitting และ spreading แบบ C2 continuous ช่วยลดความคลาดเคลื่อนของพลังงาน (Energy Drift) ลงได้หลายร้อยเท่าเมื่อเทียบกับการตั้งค่า PME แบบเดิม

    การนำไปใช้งานและการประเมินประสิทธิภาพ 🔍

    ไลบรารี cuPotential ประกอบด้วยสองส่วนหลัก ได้แก่ ไลบรารีแกนกลางและปลั๊กอินสำหรับ OpenMM ซึ่งสามารถติดตั้งผ่านสภาพแวดล้อม Conda บนระบบ Linux ได้อย่างสะดวก

    จากการทดสอบระบบขนาดตั้งแต่ 24,000 ไปจนถึง 400,000 อะตอม พบว่าช่วยยกระดับประสิทธิภาพการทำงานได้อย่างชัดเจน พร้อมทั้งรักษาความแม่นยำของแรงและพลังงานให้อยู่ในเกณฑ์ที่ยอดเยี่ยม เหมาะสำหรับนักวิจัยและนักพัฒนาที่ต้องการเพิ่มประสิทธิภาพการจำลองระบบชีวโมเลกุลและวัสดุศาสตร์

    #NVIDIA #MolecularDynamics #GPU #Simulation #TechNews

    ขอบคุณ แหล่งข้อมูล
    https://developer.nvidia.com/blog/accelerate-molecular-dynamics-simulations-with-accurate-flexible-primitives-using-nvidia-cupotential/

    เร่งความเร็วการจำลอง Molecular Dynamics ให้มีประสิทธิภาพสูงขึ้นด้วย NVIDIA cuPotential 🚀การจำลองด้วยวิธี Molecular Dynamics (MD) ถือเป็นเครื่องมือสำคัญในงานวิจัยด้านฟิสิกส์ เคมี ชีววิทยา และวัสดุศาสตร์มาอย่างยาวนาน ด้วยโครงสร้างการคำนวณที่ต้องประเมินแรงระหว่างอะตอมจำนวนมากแบบขนาน ทำให้โปรแกรมจำลอง MD เป็นหนึ่งในกลุ่มแรก ๆ ที่ถูกนำมาพัฒนาให้รันบนหน่วยประมวลผลกราฟิก (GPU)แต่ในขณะที่เทคโนโลยีฮาร์ดแวร์พัฒนาไปอย่างรวดเร็ว การปรับแต่งเคอร์เนลและการรักษาความเข้ากันได้ระหว่างฮาร์ดแวร์ที่หลากหลายก็กลายเป็นความท้าทายสำหรับนักพัฒนาเช่นกันความท้าทายหลักในการจำลอง MD ยุคใหม่ 💡ในการจำลองด้วยฟอร์ซฟิลด์แบบคลาสสิก การประเมินปฏิกิริยาระยะไกลภายใต้เงื่อนไขขอบเขตแบบ périodique (Periodic Boundary Conditions) เช่น แรงไฟฟ้าสถิต (Electrostatics) และแรงกระจายตัว (Dispersion) มักเป็นคอขวดสำคัญด้านการคำนวณและวิศวกรรมNVIDIA cuPotential ถูกพัฒนาขึ้นมาเพื่อแก้ปัญหานี้โดยเฉพาะ ด้วยไลบรารีแบบโมดูลาร์ที่มาพร้อม C API ช่วยให้นักพัฒนาและผู้ใช้งานสามารถเลือกองค์ประกอบเฉพาะจากเลเยอร์ต่าง ๆ มาช่วยเร่งความเร็วเวิร์กโหลดได้อย่างยืดหยุ่นจุดเด่นและประโยชน์ของ NVIDIA cuPotential 📌🛠️ รองรับการทำงานร่วมกับ OpenMM: มีปลั๊กอินที่ออกแบบมาให้ใช้งานแทนที่ Nonbonded Force, Langevin Integrator และ Monte Carlo Barostat เดิมได้ทันทีโดยแทบไม่ต้องแก้โค้ด⚡ เพิ่มความเร็วแบบก้าวกระโดด: ผลการทดสอบบน GPU หลากหลายรุ่นตั้งแต่ T4 ไปจนถึงสถาปัตยกรรมรุ่นใหม่อย่าง NVIDIA RTX PRO 6000 Blackwell ช่วยเพิ่มความเร็วแบบ End-to-End ได้ถึง 2 ถึงมากกว่า 3 เท่า🎯 ความแม่นยำสูงและลดความคลาดเคลื่อน: พัฒนาร่วมกับ D. E. Shaw Research และ Flatiron Institute เพื่อใช้ฟังก์ชัน splitting และ spreading แบบ C2 continuous ช่วยลดความคลาดเคลื่อนของพลังงาน (Energy Drift) ลงได้หลายร้อยเท่าเมื่อเทียบกับการตั้งค่า PME แบบเดิมการนำไปใช้งานและการประเมินประสิทธิภาพ 🔍ไลบรารี cuPotential ประกอบด้วยสองส่วนหลัก ได้แก่ ไลบรารีแกนกลางและปลั๊กอินสำหรับ OpenMM ซึ่งสามารถติดตั้งผ่านสภาพแวดล้อม Conda บนระบบ Linux ได้อย่างสะดวกจากการทดสอบระบบขนาดตั้งแต่ 24,000 ไปจนถึง 400,000 อะตอม พบว่าช่วยยกระดับประสิทธิภาพการทำงานได้อย่างชัดเจน พร้อมทั้งรักษาความแม่นยำของแรงและพลังงานให้อยู่ในเกณฑ์ที่ยอดเยี่ยม เหมาะสำหรับนักวิจัยและนักพัฒนาที่ต้องการเพิ่มประสิทธิภาพการจำลองระบบชีวโมเลกุลและวัสดุศาสตร์#NVIDIA #MolecularDynamics #GPU #Simulation #TechNewshttps://developer.nvidia.com/blog/accelerate-molecular-dynamics-simulations-with-accurate-flexible-primitives-using-nvidia-cupotential/
    Shared content
    DEVELOPER.NVIDIA.COM
    Accelerate Molecular Dynamics Simulations with Accurate, Flexible Primitives Using NVIDIA cuPotential
    Molecular dynamics (MD) is an indispensable tool across physics, chemistry, biology, and materials science. Owing to its arithmetic structure, particularly the parallel evaluation of many atom-pair…
    2 Comments 0 Shares 2K Views 0 Reviews
  • แนวทางการปรับแต่งโมเดล NVIDIA Nemotron สำหรับงานวิจัยทางวิทยาศาสตร์

    การขับเคลื่อนงานวิจัยทางวิทยาศาสตร์ในปัจจุบันมีความก้าวหน้าอย่างมากด้วยการใช้งานเอเจนต์ปัญญาประดิษฐ์ (Agentic AI) ที่ช่วยนักวิจัยวางแผนงาน ดำเนินการจำลอง และประเมินผลลัพธ์ได้อย่างแม่นยำ อย่างไรก็ตาม ความท้าทายสำคัญคือความถูกต้องและประสิทธิภาพในการประมวลผล ซึ่งการปรับแต่งโมเดลให้เข้ากับโดเมนเฉพาะทางจึงเป็นหัวใจสำคัญในการเพิ่มความแม่นยำให้กับงานวิจัย

    ทำความรู้จักโมเดลและเครื่องมือสนับสนุน

    ชุดเครื่องมือและโมเดลสำหรับงานวิทยาศาสตร์ได้รับการออกแบบมาเพื่อเร่งประสิทธิภาพของเวิร์กโฟลว์ โดยมีองค์ประกอบสำคัญที่ช่วยสนับสนุนการทำงาน:

    • Nemotron 3.5 Super VL: โมเดลแบบมัลติโมเดลแบบเปิดที่ให้ความแม่นยำสูงในระดับแนวหน้าบนเกณฑ์มาตรฐานทางวิทยาศาสตร์ พร้อมความเร็วในการประมวลผลโค้ดทางวิทยาศาสตร์
    • NVIDIA Nemotron Litmus-Bench V2.0: ชุดข้อมูลและเกณฑ์มาตรฐานด้านการใช้เหตุผลทางเคมี เพื่อประเมินแบบจำลอง AI บนคุณสมบัติของโมเลกุล
    • NVIDIA NeMo Gym และ NeMo RL: เครื่องมือสำหรับสร้างสภาพแวดล้อมการเรียนรู้เสริมแรง (Reinforcement Learning) และโครงสร้างพื้นฐานในการปรับแต่งโมเดล

    ขั้นตอนการสร้างสภาพแวดล้อมการเรียนรู้เสริมแรง

    การปรับแต่งโมเดลเริ่มต้นจากการนำข้อมูลการทดลองที่มีอยู่ เช่น สตริง SMILES และเงื่อนไขปฏิกิริยา มาจัดรูปแบบใหม่ให้อยู่ในรูปแบบคู่คำถามและคำตอบ โดยใช้ความจริงจากการทดลอง (Ground Truth) เป็นตัวตรวจสอบเพื่อกำหนดคะแนนรางวัล (Reward)

    ในตัวอย่างการทำนายการเผาผลาญยา (Drug-Metabolism Prediction) ระบบจะประเมินผลลัพธ์ผ่านการเปรียบเทียบรอยนิ้วมือโมเลกุล (Molecular Fingerprints) ด้วยค่า Tanimoto Similarity ซึ่งช่วยให้โมเดลเรียนรู้และปรับปรุงการคาดการณ์ได้อย่างแม่นยำยิ่งขึ้น

    การฝึกอบรมและการใช้เทคนิค Distillation เพื่อเพิ่มประสิทธิภาพ

    เมื่อมีสภาพแวดล้อมที่พร้อมแล้ว สามารถยกระดับความสามารถของโมเดลได้ผ่านแนวทางหลักๆ ดัง,นี้:

    • การเรียนรู้เสริมแรงโดยตรง (Direct RL): ปรับแต่งโมเดลด้วยเทคนิค Group Relative Policy Optimization (GRPO) ร่วมกับ Low-Rank Adapters (LoRA) ซึ่งช่วยให้โมเดลได้รับผลป้อนกลับที่แม่นยำจากการประเมินผลอัตโนมัติ
    • การใช้เทคนิค Distillation เป็นจุดเริ่มต้น (Warm-Start): ในกรณีที่ต้องการเร่งการลู่เข้าของโมเดล สามารถใช้โมเดลขนาดใหญ่กว่าอย่าง Claude Sonnet 5.5 สร้างรอยนิ้วมือเหตุผลที่มีคุณภาพสูง เพื่อใช้ฝึกอบรมโมเดลเริ่มต้นก่อนเข้าสู่กระบวนการเรียนรู้เสริมแรง

    สรุปแนวทางการนำไปประยุกต์ใช้

    การปรับแต่งโมเดลให้เข้ากับบริบทเฉพาะทางช่วยให้นักวิจัยสามารถเปลี่ยนบันทึกการทดลองให้อยู่ในรูปแบบที่โมเดลเรียนรู้ได้ ผ่านการประเมินผลที่แม่นยำและการใช้โครงสร้างการเรียนรู้ที่เหมาะสม การเริ่มต้นจากงานที่มีขอบเขตชัดเจนและการตรวจสอบวิธีให้คะแนนอย่างรวดเร็ว จะช่วยวางรากฐานที่แข็งแกร่งสำหรับการพัฒนาเอเจนต์วิทยาศาสตร์ที่มีประสิทธิภาพในอนาคต

    #AI #MachineLearning #NVIDIA #DataScience #Research

    ขอบคุณ แหล่งข้อมูล
    https://developer.nvidia.com/blog/post-training-nvidia-nemotron-to-increase-accuracy-in-your-scientific-domain/

    แนวทางการปรับแต่งโมเดล NVIDIA Nemotron สำหรับงานวิจัยทางวิทยาศาสตร์การขับเคลื่อนงานวิจัยทางวิทยาศาสตร์ในปัจจุบันมีความก้าวหน้าอย่างมากด้วยการใช้งานเอเจนต์ปัญญาประดิษฐ์ (Agentic AI) ที่ช่วยนักวิจัยวางแผนงาน ดำเนินการจำลอง และประเมินผลลัพธ์ได้อย่างแม่นยำ อย่างไรก็ตาม ความท้าทายสำคัญคือความถูกต้องและประสิทธิภาพในการประมวลผล ซึ่งการปรับแต่งโมเดลให้เข้ากับโดเมนเฉพาะทางจึงเป็นหัวใจสำคัญในการเพิ่มความแม่นยำให้กับงานวิจัยทำความรู้จักโมเดลและเครื่องมือสนับสนุนชุดเครื่องมือและโมเดลสำหรับงานวิทยาศาสตร์ได้รับการออกแบบมาเพื่อเร่งประสิทธิภาพของเวิร์กโฟลว์ โดยมีองค์ประกอบสำคัญที่ช่วยสนับสนุนการทำงาน:Nemotron 3.5 Super VL: โมเดลแบบมัลติโมเดลแบบเปิดที่ให้ความแม่นยำสูงในระดับแนวหน้าบนเกณฑ์มาตรฐานทางวิทยาศาสตร์ พร้อมความเร็วในการประมวลผลโค้ดทางวิทยาศาสตร์NVIDIA Nemotron Litmus-Bench V2.0: ชุดข้อมูลและเกณฑ์มาตรฐานด้านการใช้เหตุผลทางเคมี เพื่อประเมินแบบจำลอง AI บนคุณสมบัติของโมเลกุลNVIDIA NeMo Gym และ NeMo RL: เครื่องมือสำหรับสร้างสภาพแวดล้อมการเรียนรู้เสริมแรง (Reinforcement Learning) และโครงสร้างพื้นฐานในการปรับแต่งโมเดลขั้นตอนการสร้างสภาพแวดล้อมการเรียนรู้เสริมแรงการปรับแต่งโมเดลเริ่มต้นจากการนำข้อมูลการทดลองที่มีอยู่ เช่น สตริง SMILES และเงื่อนไขปฏิกิริยา มาจัดรูปแบบใหม่ให้อยู่ในรูปแบบคู่คำถามและคำตอบ โดยใช้ความจริงจากการทดลอง (Ground Truth) เป็นตัวตรวจสอบเพื่อกำหนดคะแนนรางวัล (Reward)ในตัวอย่างการทำนายการเผาผลาญยา (Drug-Metabolism Prediction) ระบบจะประเมินผลลัพธ์ผ่านการเปรียบเทียบรอยนิ้วมือโมเลกุล (Molecular Fingerprints) ด้วยค่า Tanimoto Similarity ซึ่งช่วยให้โมเดลเรียนรู้และปรับปรุงการคาดการณ์ได้อย่างแม่นยำยิ่งขึ้นการฝึกอบรมและการใช้เทคนิค Distillation เพื่อเพิ่มประสิทธิภาพเมื่อมีสภาพแวดล้อมที่พร้อมแล้ว สามารถยกระดับความสามารถของโมเดลได้ผ่านแนวทางหลักๆ ดัง,นี้:การเรียนรู้เสริมแรงโดยตรง (Direct RL): ปรับแต่งโมเดลด้วยเทคนิค Group Relative Policy Optimization (GRPO) ร่วมกับ Low-Rank Adapters (LoRA) ซึ่งช่วยให้โมเดลได้รับผลป้อนกลับที่แม่นยำจากการประเมินผลอัตโนมัติการใช้เทคนิค Distillation เป็นจุดเริ่มต้น (Warm-Start): ในกรณีที่ต้องการเร่งการลู่เข้าของโมเดล สามารถใช้โมเดลขนาดใหญ่กว่าอย่าง Claude Sonnet 5.5 สร้างรอยนิ้วมือเหตุผลที่มีคุณภาพสูง เพื่อใช้ฝึกอบรมโมเดลเริ่มต้นก่อนเข้าสู่กระบวนการเรียนรู้เสริมแรงสรุปแนวทางการนำไปประยุกต์ใช้การปรับแต่งโมเดลให้เข้ากับบริบทเฉพาะทางช่วยให้นักวิจัยสามารถเปลี่ยนบันทึกการทดลองให้อยู่ในรูปแบบที่โมเดลเรียนรู้ได้ ผ่านการประเมินผลที่แม่นยำและการใช้โครงสร้างการเรียนรู้ที่เหมาะสม การเริ่มต้นจากงานที่มีขอบเขตชัดเจนและการตรวจสอบวิธีให้คะแนนอย่างรวดเร็ว จะช่วยวางรากฐานที่แข็งแกร่งสำหรับการพัฒนาเอเจนต์วิทยาศาสตร์ที่มีประสิทธิภาพในอนาคต#AI #MachineLearning #NVIDIA #DataScience #Researchhttps://developer.nvidia.com/blog/post-training-nvidia-nemotron-to-increase-accuracy-in-your-scientific-domain/
    Shared content
    DEVELOPER.NVIDIA.COM
    Post-Training NVIDIA Nemotron to Increase Accuracy in Your Scientific Domain
    Agentic AI is reshaping scientific research and innovation. Researchers communicate complex scientific hypotheses in natural language and let autonomous agents independently plan tasks…
    4 Comments 0 Shares 2K Views 0 Reviews
  • เร่งความเร็วการอัปเดตน้ำหนักโมเดลในการฝึก Reinforcement Learning ด้วยเทคโนโลยี Reshard Collective 🚀

    ในการฝึกโมเดลภาษาขนาดใหญ่ด้วยวิธี Reinforcement Learning (RL) ขั้นตอนหลังการฝึกหรือ Post-training ถือเป็นกระบวนการสำคัญที่ต้องสร้างชุดข้อมูลการฝึก (Training Trajectories) แบบเรียลไทม์ผ่านการทำอินฟิวเรชัน (Inference) ด้วยโมเดลนโยบายปัจจุบัน เพื่อให้การทำงานมีประสิทธิภาพสูงสุด ระบบส่วนใหญ่จึงนิยมแยกทรัพยากรระหว่างการฝึกและการทำอินฟิวเรชันออกจากกันอย่างอิสระบน GPU หลายตัว 💡

    แม้ว่าตัวโมเดลจะได้รับการอัปเดตพารามิเตอร์เฉพาะบนกลุ่ม GPU สำหรับฝึกเท่านั้น แต่ระบบก็จำเป็นต้องดึงข้อมูลน้ำหนักล่าสุดมาอัปเดตบนฝั่ง GPU สำหรับอินฟิวเรชันอยู่เป็นประจำ กระบวนการถ่ายโอนน้ำหนักนี้เรียกว่า Refit ซึ่งมีความซับซ้อนสูงเนื่องจากขนาดโมเดลที่ใหญ่โตระดับหลายล้านล้านพารามิเตอร์


    ความท้าทายในการอัปเดตน้ำหนักโมเดลแบบเดิม ⚠️

    วิธีการอัปเดตน้ำหนักแบบดั้งเดิมมักใช้แนวทางแบบ Gather-and-Broadcast ซึ่งมีขั้นตอนหลักดังนี้:

    1. GPU ฝั่งฝึกจะทำการรวมชิ้นส่วนพารามิเตอร์ (All-gather) เข้าด้วยกันเพื่อสร้างเป็นพารามิเตอร์ฉบับสมบูรณ์
    2. ส่งข้อมูลพารามิเตอร์ทั้งหมดนั้นกระจายไปยัง GPU ฝั่งอินฟิวเรชัน (Broadcast)
    3. GPU แต่ละตัวฝั่งอินฟิวเรชันจะเลือกเก็บเฉพาะส่วนที่จำเป็นตามรูปแบบการจัดวาง (Layout) ของตนเอง

    แม้ว่าวิธีนี้จะช่วยให้การย้ายข้อมูลระหว่างเลย์เอาต์ที่แตกต่างกันทำได้ง่าย แต่ก็ทำให้เกิดปัญหาการรับส่งข้อมูลซ้ำซ้อน เพราะ GPU ฝั่งอินฟิวเรชันบางตัวต้องรับข้อมูลทั้งหมดแม้ว่าจะต้องการใช้เพียงแค่บางส่วนเท่านั้น โดยในโมเดลขนาดใหญ่ยุคปัจจุบัน ปริมาณข้อมูลที่ต้องรับส่งรวมกันอาจสูงถึงราว 10 เทราไบต์ต่อการอัปเดตหนึ่งครั้ง ซึ่งกลายเป็นคอขวดสำคัญที่ทำให้ระบบเสียเวลาไปกับการสื่อสารข้อมูลจำนวนมาก 📌


    พลิกโฉมการอัปเดตด้วยแนวคิด DTensor-to-DTensor 🛠️

    เพื่อแก้ปัญหาดังกล่าว ทีมพัฒนาจึงได้ปรับมุมมองใหม่โดยเน้นหลักการโอนถ่ายข้อมูลน้ำหนักเฉพาะส่วนที่จำเป็นจริงๆ เท่านั้น (Theoretical Minimum Data) ด้วยการนำอาบสแตรกต์ DTensor (Distributed Tensor) จาก PyTorch มาใช้เป็นแกนกลาง

    การแปลงปัญหาให้เป็นการถ่ายโอนแบบ DTensor-to-DTensor ช่วยให้ระบบสามารถระบุรายละเอียดของแหล่งกำเนิดข้อมูล (Source) และปลายทาง (Destination) ได้อย่างแม่นยำ ไม่ว่ารูปแบบการกระจายตัวของข้อมูลบน GPU (Parallelism Mappings) จะแตกต่างกันอย่างไรก็ตาม ข้อมูลจะถูกจัดสรรและเคลื่อนย้ายผ่านคำสั่งรวมที่เรียกว่า Reshard Collective ซึ่งออกแบบมาเพื่อจัดการรูปแบบการสื่อสารนี้โดยเฉพาะ 🔍


    การทำงานของ NCCL M2N Reshard เพื่อประสิทธิภาพสูงสุด ⭐

    NCCL M2N Reshard ซึ่งเป็นซอฟต์แวร์ต้นแบบประเภทโอเพนซอร์ส ช่วยปลดล็อกการใช้งานแบนด์วิดท์เครือข่ายได้อย่างเต็มที่ผ่านกระบวนการทำงานที่ชาญฉลาด:

    • คำนวณจุดตัดของข้อมูล: วิเคราะห์หาขอบเขตที่แน่นอนระหว่างชิ้นส่วนข้อมูลต้นทางและปลายทาง
    • จัดกลุ่มผ่าน NVLink: จัดกลุ่มอุปกรณ์จำลองภายในโดเมน NVLink เพื่อกระจายข้อมูลให้เท่าๆ กัน ลดการรับส่งข้อมูลซ้ำซ้อนผ่านเครือข่ายหลัก
    • การทำงานคู่ขนาน: ดำเนินการรับส่งข้อมูลผ่านเครือข่ายพร้อมๆ กับการแลกเปลี่ยนข้อมูลภายใน NVLink (Pipelining) ช่วยซ่อนเวลาแฝงและทำให้แต่ละชิ้นส่วนข้อมูลได้รับแบนด์วิดท์เครือข่ายอย่างเต็มที่

    จากการทดสอบบนระบบ NVIDIA DGX H100 และ DGX GB200 ผ่านโครงสร้างพื้นฐาน NeMo RL พบว่าเทคโนโลยี Reshard ช่วยเพิ่มความเร็วในการอัปเดตน้ำหนัก (Refit Speedup) ได้สูงถึง 2.7 ถึง 5.7 เท่า เมื่อเทียบกับวิธีเดิมในโมเดลขนาดใหญ่ เช่น Qwen และ DeepSeek 📊


    แนวทางแบบผสมผสานเพื่อความครอบคลุมในการใช้งาน 💡

    เนื่องจากความหลากหลายของเลย์เอาต์ในแต่ละเลเยอร์ของโมเดล การประยุกต์ใช้ Reshard กับทุกส่วนจึงอาจมีความซับซ้อน ทางทีมจึงได้พัฒนาสถาปัตยกรรมแบบผสมผสาน (Hybrid Approach) ขึ้นมา:

    • กลุ่มน้ำหนักหลัก: ใช้กระบวนการ Reshard กับน้ำหนักประเภท Feed-forward projection ซึ่งครอบคลุมพื้นที่ส่วนใหญ่ถึงประมาณ 95% ของพารามิเตอร์ทั้งหมดในบล็อก Transformer เพื่อเร่งความเร็วการส่งข้อมูลส่วนใหญ่
    • กลุ่มน้ำหนักเสริม: ใช้วิธี Gather-and-Broadcast แบบดั้งเดิมสำหรับน้ำหนักขนาดเล็กอื่นๆ (เช่น QKV projection หรือ Mamba weights) เพื่อรักษาความครอบคลุมในการทำงานของระบบโดยรวมให้เสถียร

    แนวทางนี้ช่วยผสานจุดเด่นด้านความเร็วของการรับส่งข้อมูลชิ้นใหญ่ เข้ากับความยืดหยุ่นในการรองรับโครงสร้างโมเดลที่หลากหลายได้อย่างลงตัว เหมาะสำหรับการพัฒนาและปรับแต่งโมเดลปัญญาประดิษฐ์ในอนาคตให้มีประสิทธิภาพสูงยิ่งขึ้น

    #AI #MachineLearning #DeepLearning #NVIDIA #TechTrends

    ขอบคุณ แหล่งข้อมูล
    https://developer.nvidia.com/blog/accelerating-reinforcement-learning-weight-refit-with-the-reshard-collective/

    เร่งความเร็วการอัปเดตน้ำหนักโมเดลในการฝึก Reinforcement Learning ด้วยเทคโนโลยี Reshard Collective 🚀ในการฝึกโมเดลภาษาขนาดใหญ่ด้วยวิธี Reinforcement Learning (RL) ขั้นตอนหลังการฝึกหรือ Post-training ถือเป็นกระบวนการสำคัญที่ต้องสร้างชุดข้อมูลการฝึก (Training Trajectories) แบบเรียลไทม์ผ่านการทำอินฟิวเรชัน (Inference) ด้วยโมเดลนโยบายปัจจุบัน เพื่อให้การทำงานมีประสิทธิภาพสูงสุด ระบบส่วนใหญ่จึงนิยมแยกทรัพยากรระหว่างการฝึกและการทำอินฟิวเรชันออกจากกันอย่างอิสระบน GPU หลายตัว 💡แม้ว่าตัวโมเดลจะได้รับการอัปเดตพารามิเตอร์เฉพาะบนกลุ่ม GPU สำหรับฝึกเท่านั้น แต่ระบบก็จำเป็นต้องดึงข้อมูลน้ำหนักล่าสุดมาอัปเดตบนฝั่ง GPU สำหรับอินฟิวเรชันอยู่เป็นประจำ กระบวนการถ่ายโอนน้ำหนักนี้เรียกว่า Refit ซึ่งมีความซับซ้อนสูงเนื่องจากขนาดโมเดลที่ใหญ่โตระดับหลายล้านล้านพารามิเตอร์ความท้าทายในการอัปเดตน้ำหนักโมเดลแบบเดิม ⚠️วิธีการอัปเดตน้ำหนักแบบดั้งเดิมมักใช้แนวทางแบบ Gather-and-Broadcast ซึ่งมีขั้นตอนหลักดังนี้:GPU ฝั่งฝึกจะทำการรวมชิ้นส่วนพารามิเตอร์ (All-gather) เข้าด้วยกันเพื่อสร้างเป็นพารามิเตอร์ฉบับสมบูรณ์ส่งข้อมูลพารามิเตอร์ทั้งหมดนั้นกระจายไปยัง GPU ฝั่งอินฟิวเรชัน (Broadcast)GPU แต่ละตัวฝั่งอินฟิวเรชันจะเลือกเก็บเฉพาะส่วนที่จำเป็นตามรูปแบบการจัดวาง (Layout) ของตนเองแม้ว่าวิธีนี้จะช่วยให้การย้ายข้อมูลระหว่างเลย์เอาต์ที่แตกต่างกันทำได้ง่าย แต่ก็ทำให้เกิดปัญหาการรับส่งข้อมูลซ้ำซ้อน เพราะ GPU ฝั่งอินฟิวเรชันบางตัวต้องรับข้อมูลทั้งหมดแม้ว่าจะต้องการใช้เพียงแค่บางส่วนเท่านั้น โดยในโมเดลขนาดใหญ่ยุคปัจจุบัน ปริมาณข้อมูลที่ต้องรับส่งรวมกันอาจสูงถึงราว 10 เทราไบต์ต่อการอัปเดตหนึ่งครั้ง ซึ่งกลายเป็นคอขวดสำคัญที่ทำให้ระบบเสียเวลาไปกับการสื่อสารข้อมูลจำนวนมาก 📌พลิกโฉมการอัปเดตด้วยแนวคิด DTensor-to-DTensor 🛠️เพื่อแก้ปัญหาดังกล่าว ทีมพัฒนาจึงได้ปรับมุมมองใหม่โดยเน้นหลักการโอนถ่ายข้อมูลน้ำหนักเฉพาะส่วนที่จำเป็นจริงๆ เท่านั้น (Theoretical Minimum Data) ด้วยการนำอาบสแตรกต์ DTensor (Distributed Tensor) จาก PyTorch มาใช้เป็นแกนกลางการแปลงปัญหาให้เป็นการถ่ายโอนแบบ DTensor-to-DTensor ช่วยให้ระบบสามารถระบุรายละเอียดของแหล่งกำเนิดข้อมูล (Source) และปลายทาง (Destination) ได้อย่างแม่นยำ ไม่ว่ารูปแบบการกระจายตัวของข้อมูลบน GPU (Parallelism Mappings) จะแตกต่างกันอย่างไรก็ตาม ข้อมูลจะถูกจัดสรรและเคลื่อนย้ายผ่านคำสั่งรวมที่เรียกว่า Reshard Collective ซึ่งออกแบบมาเพื่อจัดการรูปแบบการสื่อสารนี้โดยเฉพาะ 🔍การทำงานของ NCCL M2N Reshard เพื่อประสิทธิภาพสูงสุด ⭐NCCL M2N Reshard ซึ่งเป็นซอฟต์แวร์ต้นแบบประเภทโอเพนซอร์ส ช่วยปลดล็อกการใช้งานแบนด์วิดท์เครือข่ายได้อย่างเต็มที่ผ่านกระบวนการทำงานที่ชาญฉลาด:คำนวณจุดตัดของข้อมูล: วิเคราะห์หาขอบเขตที่แน่นอนระหว่างชิ้นส่วนข้อมูลต้นทางและปลายทางจัดกลุ่มผ่าน NVLink: จัดกลุ่มอุปกรณ์จำลองภายในโดเมน NVLink เพื่อกระจายข้อมูลให้เท่าๆ กัน ลดการรับส่งข้อมูลซ้ำซ้อนผ่านเครือข่ายหลักการทำงานคู่ขนาน: ดำเนินการรับส่งข้อมูลผ่านเครือข่ายพร้อมๆ กับการแลกเปลี่ยนข้อมูลภายใน NVLink (Pipelining) ช่วยซ่อนเวลาแฝงและทำให้แต่ละชิ้นส่วนข้อมูลได้รับแบนด์วิดท์เครือข่ายอย่างเต็มที่จากการทดสอบบนระบบ NVIDIA DGX H100 และ DGX GB200 ผ่านโครงสร้างพื้นฐาน NeMo RL พบว่าเทคโนโลยี Reshard ช่วยเพิ่มความเร็วในการอัปเดตน้ำหนัก (Refit Speedup) ได้สูงถึง 2.7 ถึง 5.7 เท่า เมื่อเทียบกับวิธีเดิมในโมเดลขนาดใหญ่ เช่น Qwen และ DeepSeek 📊แนวทางแบบผสมผสานเพื่อความครอบคลุมในการใช้งาน 💡เนื่องจากความหลากหลายของเลย์เอาต์ในแต่ละเลเยอร์ของโมเดล การประยุกต์ใช้ Reshard กับทุกส่วนจึงอาจมีความซับซ้อน ทางทีมจึงได้พัฒนาสถาปัตยกรรมแบบผสมผสาน (Hybrid Approach) ขึ้นมา:กลุ่มน้ำหนักหลัก: ใช้กระบวนการ Reshard กับน้ำหนักประเภท Feed-forward projection ซึ่งครอบคลุมพื้นที่ส่วนใหญ่ถึงประมาณ 95% ของพารามิเตอร์ทั้งหมดในบล็อก Transformer เพื่อเร่งความเร็วการส่งข้อมูลส่วนใหญ่กลุ่มน้ำหนักเสริม: ใช้วิธี Gather-and-Broadcast แบบดั้งเดิมสำหรับน้ำหนักขนาดเล็กอื่นๆ (เช่น QKV projection หรือ Mamba weights) เพื่อรักษาความครอบคลุมในการทำงานของระบบโดยรวมให้เสถียรแนวทางนี้ช่วยผสานจุดเด่นด้านความเร็วของการรับส่งข้อมูลชิ้นใหญ่ เข้ากับความยืดหยุ่นในการรองรับโครงสร้างโมเดลที่หลากหลายได้อย่างลงตัว เหมาะสำหรับการพัฒนาและปรับแต่งโมเดลปัญญาประดิษฐ์ในอนาคตให้มีประสิทธิภาพสูงยิ่งขึ้น#AI #MachineLearning #DeepLearning #NVIDIA #TechTrendshttps://developer.nvidia.com/blog/accelerating-reinforcement-learning-weight-refit-with-the-reshard-collective/
    Shared content
    DEVELOPER.NVIDIA.COM
    Accelerating Reinforcement Learning Weight Refit with the Reshard Collective
    During reinforcement learning (RL) post-training, training trajectories are generated on the fly by running inference with the current policy model. For training efficiency, it is common to run…
    2 Comments 0 Shares 3K Views 0 Reviews
  • เร่งความเร็วการสร้างภาพด้วย FLUX 3 Image Klein บน GPU NVIDIA Blackwell 💡

    การพัฒนาเครื่องมือออกแบบ โปรแกรมแก้ไขภาพ และระบบผลิตงานภาพกราฟิกด้วยโมเดล Diffusion สิ่งที่นักพัฒนาต้องเผชิญอยู่เสมอคือปัญหาเรื่องความหน่วงในการประมวลผล (Inference Latency) เนื่องจากการสร้างภาพหนึ่งภาพต้องผ่านขั้นตอนที่ซับซ้อนและใช้พารามิเตอร์จำนวนมาก โดยเฉพาะเมื่อต้องประมวลผลที่ความละเอียดสูง

    บทความนี้จะพาไปทำความรู้จักกับการปรับแต่งและเพิ่มประสิทธิภาพการทำงานของโมเดล FLUX 3 Image Klein บนสถาปัตยกรรม GPU NVIDIA Blackwell เพื่อให้การสร้างภาพมีความรวดเร็วและมีประสิทธิภาพมากยิ่งขึ้น 🚀

    ทำความรู้จักกับ FLUX 3 Image Klein

    FLUX 3 Image Klein จาก Black Forest Labs (BFL) เป็นโมเดลสำหรับสร้างและแก้ไขภาพที่ได้รับการฝึกฝนบน NVIDIA GB200 NVL72 และปรับแต่งมาเพื่อ GPU ของ NVIDIA โดยเฉพาะ โดยมีให้เลือกใช้งานทั้งแบบ Base และ distilled เพื่อให้เหมาะกับความต้องการด้านความเร็วและความคมชัดที่แตกต่างกัน

    โมเดลนี้ผสานการทำงานร่วมกับ Qwen3-VL-4B-Instruct สำหรับการประมวลผลข้อความ (Text Conditioning) ร่วมกับ Diffusion Transformer (DiT) และ Autoencoder เพื่อแปลงและจัดการข้อมูลภาพได้อย่างแม่นยำ

    แนวทางการเพิ่มประสิทธิภาพด้วย TensorRT LLM VisualGen 🛠️

    เพื่อให้การประมวลผลบน GPU NVIDIA Blackwell ทำงานได้อย่างเต็มศักยภาพ จึงมีการนำ TensorRT LLM VisualGen เข้ามาช่วยเร่งความเร็วผ่านเทคนิคต่างๆ ดังนี้

    • การใช้การควอนตาร์อยซ์แบบ NVFP4: ช่วยเพิ่มความเร็วในการสร้างภาพแบบ Text-to-Image (T2I) และ Image-to-Image (I2I) ให้สูงขึ้นกว่าเดิมเมื่อเทียบกับการประมวลผลแบบ BF16 ทั่วไป
    • การปรับแต่ง GEMM Kernels: ใช้ Kernel ที่ได้รับการปรับแต่งเป็นพิเศษเพื่อเร่งการคำนวณเมทริกซ์และลดเวลาในการประมวลผล
    • ระบบ Attention แบบประหยัดพลังงานและความเร็วสูง: เช่น การใช้ VC-Attention FP8 และ Sol-Attention ช่วยลดความหน่วงในส่วนของการคำนวณ Attention ซึ่งเป็นจุดคอขวดสำคัญที่ความละเอียดสูง
    • Cache-DiT สำหรับลดขั้นตอนซ้ำซ้อน: ช่วยนำผลลัพธ์ของ Transformer ในขั้นตอนก่อนหน้ากลับมาใช้ใหม่ ทำให้ลดเวลาการประมวลผลลงได้เกือบครึ่งหนึ่งโดยแทบไม่สูญเสียคุณภาพของภาพ
    • การประมวลผลแบบ Multi-GPU: รองรับการกระจายงานประมวลผลหลาย GPU พร้อมกัน เช่น การใช้งานบน NVIDIA DGX B200 ช่วยลดเวลาในการสร้างภาพลงได้อย่างมาก

    สรุปภาพรวม 📌

    การประยุกต์ใช้เทคนิคการปรับแต่งและรันไทม์ผ่าน TensorRT LLM VisualGen บนฮาร์ดแวร์ NVIDIA Blackwell ช่วยให้การใช้งานโมเดล FLUX 3 Image Klein มีความรวดเร็วและตอบโจทย์งานสร้างสรรค์ระดับมืออาชีพได้อย่างมีประสิทธิภาพ ไม่ว่าจะเป็นงานออกแบบกราฟิกหรือเวิร์กโฟลว์การผลิตสื่อวิดีโอและภาพถ่าย

    #NVIDIA #Blackwell #AI #ImageGeneration #TechUpdate

    ขอบคุณ แหล่งข้อมูล
    https://developer.nvidia.com/blog/speed-up-image-generation-with-flux-3-image-klein-on-nvidia-blackwell-gpus/

    เร่งความเร็วการสร้างภาพด้วย FLUX 3 Image Klein บน GPU NVIDIA Blackwell 💡การพัฒนาเครื่องมือออกแบบ โปรแกรมแก้ไขภาพ และระบบผลิตงานภาพกราฟิกด้วยโมเดล Diffusion สิ่งที่นักพัฒนาต้องเผชิญอยู่เสมอคือปัญหาเรื่องความหน่วงในการประมวลผล (Inference Latency) เนื่องจากการสร้างภาพหนึ่งภาพต้องผ่านขั้นตอนที่ซับซ้อนและใช้พารามิเตอร์จำนวนมาก โดยเฉพาะเมื่อต้องประมวลผลที่ความละเอียดสูงบทความนี้จะพาไปทำความรู้จักกับการปรับแต่งและเพิ่มประสิทธิภาพการทำงานของโมเดล FLUX 3 Image Klein บนสถาปัตยกรรม GPU NVIDIA Blackwell เพื่อให้การสร้างภาพมีความรวดเร็วและมีประสิทธิภาพมากยิ่งขึ้น 🚀ทำความรู้จักกับ FLUX 3 Image KleinFLUX 3 Image Klein จาก Black Forest Labs (BFL) เป็นโมเดลสำหรับสร้างและแก้ไขภาพที่ได้รับการฝึกฝนบน NVIDIA GB200 NVL72 และปรับแต่งมาเพื่อ GPU ของ NVIDIA โดยเฉพาะ โดยมีให้เลือกใช้งานทั้งแบบ Base และ distilled เพื่อให้เหมาะกับความต้องการด้านความเร็วและความคมชัดที่แตกต่างกันโมเดลนี้ผสานการทำงานร่วมกับ Qwen3-VL-4B-Instruct สำหรับการประมวลผลข้อความ (Text Conditioning) ร่วมกับ Diffusion Transformer (DiT) และ Autoencoder เพื่อแปลงและจัดการข้อมูลภาพได้อย่างแม่นยำแนวทางการเพิ่มประสิทธิภาพด้วย TensorRT LLM VisualGen 🛠️เพื่อให้การประมวลผลบน GPU NVIDIA Blackwell ทำงานได้อย่างเต็มศักยภาพ จึงมีการนำ TensorRT LLM VisualGen เข้ามาช่วยเร่งความเร็วผ่านเทคนิคต่างๆ ดังนี้การใช้การควอนตาร์อยซ์แบบ NVFP4: ช่วยเพิ่มความเร็วในการสร้างภาพแบบ Text-to-Image (T2I) และ Image-to-Image (I2I) ให้สูงขึ้นกว่าเดิมเมื่อเทียบกับการประมวลผลแบบ BF16 ทั่วไปการปรับแต่ง GEMM Kernels: ใช้ Kernel ที่ได้รับการปรับแต่งเป็นพิเศษเพื่อเร่งการคำนวณเมทริกซ์และลดเวลาในการประมวลผลระบบ Attention แบบประหยัดพลังงานและความเร็วสูง: เช่น การใช้ VC-Attention FP8 และ Sol-Attention ช่วยลดความหน่วงในส่วนของการคำนวณ Attention ซึ่งเป็นจุดคอขวดสำคัญที่ความละเอียดสูงCache-DiT สำหรับลดขั้นตอนซ้ำซ้อน: ช่วยนำผลลัพธ์ของ Transformer ในขั้นตอนก่อนหน้ากลับมาใช้ใหม่ ทำให้ลดเวลาการประมวลผลลงได้เกือบครึ่งหนึ่งโดยแทบไม่สูญเสียคุณภาพของภาพการประมวลผลแบบ Multi-GPU: รองรับการกระจายงานประมวลผลหลาย GPU พร้อมกัน เช่น การใช้งานบน NVIDIA DGX B200 ช่วยลดเวลาในการสร้างภาพลงได้อย่างมากสรุปภาพรวม 📌การประยุกต์ใช้เทคนิคการปรับแต่งและรันไทม์ผ่าน TensorRT LLM VisualGen บนฮาร์ดแวร์ NVIDIA Blackwell ช่วยให้การใช้งานโมเดล FLUX 3 Image Klein มีความรวดเร็วและตอบโจทย์งานสร้างสรรค์ระดับมืออาชีพได้อย่างมีประสิทธิภาพ ไม่ว่าจะเป็นงานออกแบบกราฟิกหรือเวิร์กโฟลว์การผลิตสื่อวิดีโอและภาพถ่าย#NVIDIA #Blackwell #AI #ImageGeneration #TechUpdatehttps://developer.nvidia.com/blog/speed-up-image-generation-with-flux-3-image-klein-on-nvidia-blackwell-gpus/
    Shared content
    DEVELOPER.NVIDIA.COM
    Speed Up Image Generation with FLUX 3 Image Klein on NVIDIA Blackwell GPUs
    When deploying diffusion models in design tools, image editors, and visual production workflows, developers must account for inference latency. Generating an image requires multiple sequential passes…
    5 Comments 0 Shares 2K Views 0 Reviews
  • สร้างระบบแขนกลไร้น้ำหนักด้วย NVIDIA Holoscan 5 และ Pinocchio 🦾

    การควบคุมแขนกลให้สามารถขยับตามมือเราได้อย่างนุ่มนวล โดยที่มอเตอร์ช่วยประคองน้ำหนักตัวมันเองไว้ถือเป็นพื้นฐานสำคัญในการพัฒนาหุ่นยนต์ที่ต้องทำงานร่วมกับมนุษย์ การทำระบบชดเชยแรงโน้มถ่วง (Gravity Compensation) ลักษณะนี้ช่วยให้เราสามารถประคองแขนกลไปมาได้อย่างอิสระเหมือนไม่มีน้ำหนัก 💡

    บทความนี้จะพาไปดูแนวทางการสร้างลูปควบคุมแรงโน้มถ่วงความหน่วงต่ำ (Low-Latency Control Loop) ด้วยแพลตฟอร์ม NVIDIA Holoscan 5 ร่วมกับไลบรารีคำนวณจลนศาสตร์ Pinocchio และแขนกลจาก Seeed Studio reBot Arm เพื่อให้ได้ระบบที่ตอบสนองได้รวดเร็วและแม่นยำ 🛠️

    ทำไมต้องใช้ NVIDIA Holoscan สำหรับงานควบคุมหุ่นยนต์ 📌

    ในงานควบคุมหุ่นยนต์ที่ต้องอ่านค่าและส่งคำสั่งด้วยความถี่สูง (เช่น 400 Hz หรือทุกๆ 2.5 มิลลิวินาที) ปัญหาเรื่องความหน่วง (Latency) และความแกว่งของเวลา (Jitter) มักเป็นอุปสรรคสำคัญที่ทำให้ระบบไม่เสถียร

    NVIDIA Holoscan 5 ถูกออกแบบมาเพื่อตอบโจทย์นี้โดยเฉพาะ ด้วยแนวคิดที่ช่วยลดขั้นตอนการทำงานข้ามเทรด (Cross-Thread Handoffs) และลดค่าใช้จ่ายด้านซอฟต์แวร์ที่ไม่จำเป็น ช่วยให้ชุดคำสั่งควบคุมทำงานได้อย่างต่อเนื่องบนเธรดเดียวกัน นอกจากนี้ยังรองรับการทำงานทั้งภาษา Python และ C++ บนฮาร์ดแวร์หลากหลาย เช่น Jetson Orin Nano, Jetson Thor และระบบ x86 Ubuntu 24.04

    โครงสร้างลูปควบคุม 3 ส่วนหลัก ⚙️

    การสร้างระบบชดเชยแรงโน้มถ่วงสามารถแบ่งการทำงานออกเป็น 3 ส่วนหลักผ่าน Holoscan Operators ดังนี้ครับ:

    1. อ่านสถานะข้อต่อ (JointStateSourceOp): ทำหน้าที่ขอสัญญาณนาฬิกาทุกๆ 2.5 มิลลิวินาที เพื่ออ่านค่าสถานะมอเตอร์ทั้ง 7 ตัวของแขนกลส่งต่อไปยังระบบ
    2. คำนวณแรงชดเชยแรงโน้มถ่วง (PinocchioGravityOp): รับค่าสถานะที่อ่านได้แล้วส่งต่อไปยังตัวคำนวณ Inverse Dynamics ของ Pinocchio เพื่อหาค่าแรงบิด (Torque) ที่ต้องใช้พยุงน้ำหนักตามตำแหน่งปัจจุบันของแขนกล
    3. ส่งคำสั่งไปยังมอเตอร์ (MotorCommandSinkOp): นำค่าแรงบิดที่คำนวณได้มารวมกับค่าความยืดหยุ่นและการหน่วง (Stiffness & Damping) ก่อนส่งชุดคำสั่งไปยังมอเตอร์ พร้อมระบบตรวจสอบความถูกต้องและระบบความปลอดภัย (Watchdog) ที่จะตัดการทำงานทันทีหากพบว่าข้อมูลขาดหาย

    การวัดและปรับแต่งประสิทธิภาพด้วย Nsight Systems 🔍

    ข้อดีอีกอย่างของการใช้ Holoscan คือการรองรับเครื่องมือวิเคราะห์ระบบอย่าง NVIDIA Nsight Systems ที่ช่วยให้เราตรวจสอบพฤติกรรมการทำงานของโค้ดได้ทันทีโดยไม่ต้องเขียนโปรแกรมจับเวลาเพิ่มเติม

    จากการทดสอบเปรียบเทียบการรันระบบในรูปแบบต่างๆ พบว่าการตั้งค่าพินพาร์ทิชันควบคุมเข้ากับซีพียูโดยตรง (Pinned Configuration) ร่วมกับการแยกทรัพยากรระบบ ช่วยลดความหน่วงในระดับเปอร์เซ็นไตล์ที่สูงมากๆ (p99.99) ลงได้อย่างมีนัยสำคัญ ช่วยให้การตอบสนองของแขนกลมีความราบรื่นและเสถียรยิ่งขึ้น


    คำถามที่พบบ่อย ❓

    ระบบชดเชยแรงโน้มถ่วงเหมาะกับงานประเภทไหนบ้าง

    คำตอบ: เหมาะสำหรับงานหุ่นยนต์ที่ต้องการความปลอดภัยในการทำงานร่วมกับมนุษย์ (Co-bots) งานประเภท Haptic รวมถึงเป็นพื้นฐานสำคัญสำหรับหุ่นยนต์ที่ต้องเรียนรู้ผ่านการสาธิต (Learning by Demonstration) และการหยิบจับวัตถุ

    ทำไมจึงต้องใช้ตัวกระตุ้นแบบ Quasi-Direct-Drive (QDD)

    คำตอบ: แขนกลที่ใช้มอเตอร์เกียร์ทดรอบสูงทั่วไปมักเหมาะกับการควบคุมตำแหน่งเท่านั้น แต่แอคทูเอเตอร์แบบ QDD จะให้แบนด์วิดท์แรงบิดที่สูง เหมาะสำหรับงานที่ต้องอาศัยการรับรู้แรงสัมผัสและการควบคุมแรงบิดโดยเฉพาะ

    เราสามารถเลือกใช้ภาษา Python หรือ C++ ในการพัฒนาได้บ้าง

    คำตอบ: สามารถทำได้ทั้งสองภาษา โดยเวอร์ชัน C++ จะช่วยให้ควบคุมการจัดสรรหน่วยความจำและระบบได้ละเอียดยิ่งขึ้น ขณะที่ Python ช่วยให้พัฒนาและประกอบชุดคำสั่งได้อย่างรวดเร็ว

    #RobotDevelopment #NVIDIAHoloscan #Robotics #TechInnovation #AIAndRobotics

    ขอบคุณ แหล่งข้อมูล
    https://developer.nvidia.com/blog/make-a-robot-arm-feel-weightless-with-nvidia-holoscan-5/

    สร้างระบบแขนกลไร้น้ำหนักด้วย NVIDIA Holoscan 5 และ Pinocchio 🦾การควบคุมแขนกลให้สามารถขยับตามมือเราได้อย่างนุ่มนวล โดยที่มอเตอร์ช่วยประคองน้ำหนักตัวมันเองไว้ถือเป็นพื้นฐานสำคัญในการพัฒนาหุ่นยนต์ที่ต้องทำงานร่วมกับมนุษย์ การทำระบบชดเชยแรงโน้มถ่วง (Gravity Compensation) ลักษณะนี้ช่วยให้เราสามารถประคองแขนกลไปมาได้อย่างอิสระเหมือนไม่มีน้ำหนัก 💡บทความนี้จะพาไปดูแนวทางการสร้างลูปควบคุมแรงโน้มถ่วงความหน่วงต่ำ (Low-Latency Control Loop) ด้วยแพลตฟอร์ม NVIDIA Holoscan 5 ร่วมกับไลบรารีคำนวณจลนศาสตร์ Pinocchio และแขนกลจาก Seeed Studio reBot Arm เพื่อให้ได้ระบบที่ตอบสนองได้รวดเร็วและแม่นยำ 🛠️ทำไมต้องใช้ NVIDIA Holoscan สำหรับงานควบคุมหุ่นยนต์ 📌ในงานควบคุมหุ่นยนต์ที่ต้องอ่านค่าและส่งคำสั่งด้วยความถี่สูง (เช่น 400 Hz หรือทุกๆ 2.5 มิลลิวินาที) ปัญหาเรื่องความหน่วง (Latency) และความแกว่งของเวลา (Jitter) มักเป็นอุปสรรคสำคัญที่ทำให้ระบบไม่เสถียรNVIDIA Holoscan 5 ถูกออกแบบมาเพื่อตอบโจทย์นี้โดยเฉพาะ ด้วยแนวคิดที่ช่วยลดขั้นตอนการทำงานข้ามเทรด (Cross-Thread Handoffs) และลดค่าใช้จ่ายด้านซอฟต์แวร์ที่ไม่จำเป็น ช่วยให้ชุดคำสั่งควบคุมทำงานได้อย่างต่อเนื่องบนเธรดเดียวกัน นอกจากนี้ยังรองรับการทำงานทั้งภาษา Python และ C++ บนฮาร์ดแวร์หลากหลาย เช่น Jetson Orin Nano, Jetson Thor และระบบ x86 Ubuntu 24.04โครงสร้างลูปควบคุม 3 ส่วนหลัก ⚙️การสร้างระบบชดเชยแรงโน้มถ่วงสามารถแบ่งการทำงานออกเป็น 3 ส่วนหลักผ่าน Holoscan Operators ดังนี้ครับ:อ่านสถานะข้อต่อ (JointStateSourceOp): ทำหน้าที่ขอสัญญาณนาฬิกาทุกๆ 2.5 มิลลิวินาที เพื่ออ่านค่าสถานะมอเตอร์ทั้ง 7 ตัวของแขนกลส่งต่อไปยังระบบคำนวณแรงชดเชยแรงโน้มถ่วง (PinocchioGravityOp): รับค่าสถานะที่อ่านได้แล้วส่งต่อไปยังตัวคำนวณ Inverse Dynamics ของ Pinocchio เพื่อหาค่าแรงบิด (Torque) ที่ต้องใช้พยุงน้ำหนักตามตำแหน่งปัจจุบันของแขนกลส่งคำสั่งไปยังมอเตอร์ (MotorCommandSinkOp): นำค่าแรงบิดที่คำนวณได้มารวมกับค่าความยืดหยุ่นและการหน่วง (Stiffness & Damping) ก่อนส่งชุดคำสั่งไปยังมอเตอร์ พร้อมระบบตรวจสอบความถูกต้องและระบบความปลอดภัย (Watchdog) ที่จะตัดการทำงานทันทีหากพบว่าข้อมูลขาดหายการวัดและปรับแต่งประสิทธิภาพด้วย Nsight Systems 🔍ข้อดีอีกอย่างของการใช้ Holoscan คือการรองรับเครื่องมือวิเคราะห์ระบบอย่าง NVIDIA Nsight Systems ที่ช่วยให้เราตรวจสอบพฤติกรรมการทำงานของโค้ดได้ทันทีโดยไม่ต้องเขียนโปรแกรมจับเวลาเพิ่มเติมจากการทดสอบเปรียบเทียบการรันระบบในรูปแบบต่างๆ พบว่าการตั้งค่าพินพาร์ทิชันควบคุมเข้ากับซีพียูโดยตรง (Pinned Configuration) ร่วมกับการแยกทรัพยากรระบบ ช่วยลดความหน่วงในระดับเปอร์เซ็นไตล์ที่สูงมากๆ (p99.99) ลงได้อย่างมีนัยสำคัญ ช่วยให้การตอบสนองของแขนกลมีความราบรื่นและเสถียรยิ่งขึ้นคำถามที่พบบ่อย ❓ระบบชดเชยแรงโน้มถ่วงเหมาะกับงานประเภทไหนบ้างคำตอบ: เหมาะสำหรับงานหุ่นยนต์ที่ต้องการความปลอดภัยในการทำงานร่วมกับมนุษย์ (Co-bots) งานประเภท Haptic รวมถึงเป็นพื้นฐานสำคัญสำหรับหุ่นยนต์ที่ต้องเรียนรู้ผ่านการสาธิต (Learning by Demonstration) และการหยิบจับวัตถุทำไมจึงต้องใช้ตัวกระตุ้นแบบ Quasi-Direct-Drive (QDD)คำตอบ: แขนกลที่ใช้มอเตอร์เกียร์ทดรอบสูงทั่วไปมักเหมาะกับการควบคุมตำแหน่งเท่านั้น แต่แอคทูเอเตอร์แบบ QDD จะให้แบนด์วิดท์แรงบิดที่สูง เหมาะสำหรับงานที่ต้องอาศัยการรับรู้แรงสัมผัสและการควบคุมแรงบิดโดยเฉพาะเราสามารถเลือกใช้ภาษา Python หรือ C++ ในการพัฒนาได้บ้างคำตอบ: สามารถทำได้ทั้งสองภาษา โดยเวอร์ชัน C++ จะช่วยให้ควบคุมการจัดสรรหน่วยความจำและระบบได้ละเอียดยิ่งขึ้น ขณะที่ Python ช่วยให้พัฒนาและประกอบชุดคำสั่งได้อย่างรวดเร็ว#RobotDevelopment #NVIDIAHoloscan #Robotics #TechInnovation #AIAndRoboticshttps://developer.nvidia.com/blog/make-a-robot-arm-feel-weightless-with-nvidia-holoscan-5/
    Shared content
    DEVELOPER.NVIDIA.COM
    Make a Robot Arm Feel Weightless with NVIDIA Holoscan 5
    Picture guiding a robot arm by hand while its motors supply just enough torque to support its weight and keep the robot upright. This simple interaction, a useful starting point for robots that learn…
    4 Comments 0 Shares 3K Views 0 Reviews
  • ทำความรู้จัก NVIDIA Kubernetes Engine (NVKE) และ NVIDIA Kubernetes Recipes (NVKR) โซลูชันใหม่สำหรับโครงสร้างพื้นฐาน GPU

    การจัดการโครงสร้างพื้นฐาน AI และระบบประมวลผลขนาดใหญ่ให้มีประสิทธิภาพถือเป็นโจทย์สำคัญสำหรับองค์กรในยุคปัจจุบัน ล่าสุด NVIDIA ได้เปิดตัวสองโครงการโอเพนซอร์สใหม่ ได้แก่ NVIDIA Kubernetes Engine (NVKE) และ NVIDIA Kubernetes Recipes (NVKR) ซึ่งออกแบบมาเพื่อช่วยสร้างและบริหารจัดการบริการ Kubernetes บนโครงสร้างพื้นฐาน GPU โดยเฉพาะ 💡

    จุดเด่นและแนวคิดการทำงานของ NVKE และ NVKR

    โครงการทั้งสองถูกพัฒนาขึ้นมาเพื่อแบ่งการทำงานออกเป็นส่วนของการจัดการคลัสเตอร์และการสร้างซอฟต์แวร์ที่สามารถทำซ้ำได้อย่างแม่นยำ โดยแต่ละส่วนมีหน้าที่สำคัญดังนี้

    • NVKR (NVIDIA Kubernetes Recipes): ทำหน้าที่สร้างอิมเมจของโหนด (Node Images) อิมเมจคอนเทนเนอร์ และแพ็กเกจต่างๆ จากแหล่งซอร์สโค้ดที่มีการกำหนดเวอร์ชันไว้อย่างชัดเจน ช่วยให้ทีมงานสามารถตรวจสอบและสร้างอิมเมจซ้ำได้ตามต้องการ 🛠️
    • NVKE (NVIDIA Kubernetes Engine): ทำหน้าที่นำออติเฟกต์จาก NVKR ไปใช้ในการเตรียมความพร้อมและจัดการคลัสเตอร์ Kubernetes ผ่าน REST API และคอนโทรลเลอร์ที่ทำงานบนแมเนจเมนต์คลัสเตอร์

    การทำงานร่วมกันตั้งแต่ระบบแบร์เมทัลจนถึงคลัสเตอร์ลูกค้า

    กระบวนการทำงานเริ่มต้นจากการใช้ NVKR สร้างอิมเมจและแพ็กเกจซอฟต์แวร์ที่ผ่านการตรวจสอบความถูกต้อง จากนั้นจึงใช้เครื่องมืออย่าง nvkectl เพื่อเริ่มสร้างซีดคลัสเตอร์ชั่วคราวบนโฮสต์ และประสานงานกับ NVIDIA Infra Controller (NICo) เพื่อดึงเซิร์ฟเวอร์ฮาร์ดแวร์มาประกอบกันเป็นแมเนจเมนต์คลัสเตอร์

    เมื่อแมเนจเมนต์คลัสเตอร์พร้อมแล้ว ระบบจะสามารถสร้างเวิร์กโหลดคลัสเตอร์ให้กับลูกค้าได้ โดยแต่ละคลัสเตอร์จะมี Control Plane และ Node Pools เป็นของตัวเอง พร้อมทั้งรองรับการตรวจสอบความปลอดภัยด้วย SPIFFE และการจัดเก็บข้อมูลการทำงานผ่านระบบ Telemetry ที่ใช้ OpenTelemetry

    พาร์ทเนอร์และสถานะการให้บริการในปัจจุบัน

    ปัจจุบันโครงการทั้งสองอยู่ในช่วง Public Preview ภายใต้สัญญาอนุญาตแบบ Apache 2.0 ซึ่งยังไม่แนะนำให้นำไปใช้กับงานในระบบจริง (Production) เนื่องจาก API และพฤติกรรมบางอย่างอาจมีการเปลี่ยนแปลงในอนาคต ⚠️

    อย่างไรก็ตาม มีผู้ให้บริการคลาวด์และพาร์ทเนอร์ชั้นนำหลายราย เช่น Firmus และ SK Telecom รวมถึงพาร์ทเนอร์ด้านเทคโนโลยีอย่าง Mirantis, Rafay, Spectro Cloud, OpenNebula Systems, vCluster และ Netris ที่กำลังบูรณาการเทคโนโลยีเหล่านี้เข้ากับแพลตฟอร์มของตนเพื่อรองรับงานประมวลผล AI ในอนาคต ⭐

    คำถามที่พบบ่อย

    NVKE และ NVKR เหมาะกับใคร

    เหมาะสำหรับองค์กร ผู้ดูแลระบบโครงสร้างพื้นฐาน และ AI Factories ที่ต้องการจัดการทรัพยากร GPU ผ่าน Kubernetes APIs และเครื่องมือที่คุ้นเคยโดยมีระบบอัตโนมัติคอยช่วยบริหารจัดการ

    สามารถทดลองใช้งานโดยไม่มี GPU ได้หรือไม่

    สามารถทำได้ โดยผู้สนใจสามารถเริ่มต้นทดลองใช้งานผ่าน Local Quickstart บนเครื่องคอมพิวเตอร์เดี่ยวเพื่อประเมินการทำงานเบื้องต้นได้ทันทีโดยไม่ต้องมีฮาร์ดแวร์ GPU

    #NVIDIA #Kubernetes #CloudNative #GPUInfrastructure #TechNews

    ขอบคุณ แหล่งข้อมูล
    https://developer.nvidia.com/blog/manage-kubernetes-clusters-for-gpu-infrastructure-with-nvidia-kubernetes-engine/

    ทำความรู้จัก NVIDIA Kubernetes Engine (NVKE) และ NVIDIA Kubernetes Recipes (NVKR) โซลูชันใหม่สำหรับโครงสร้างพื้นฐาน GPUการจัดการโครงสร้างพื้นฐาน AI และระบบประมวลผลขนาดใหญ่ให้มีประสิทธิภาพถือเป็นโจทย์สำคัญสำหรับองค์กรในยุคปัจจุบัน ล่าสุด NVIDIA ได้เปิดตัวสองโครงการโอเพนซอร์สใหม่ ได้แก่ NVIDIA Kubernetes Engine (NVKE) และ NVIDIA Kubernetes Recipes (NVKR) ซึ่งออกแบบมาเพื่อช่วยสร้างและบริหารจัดการบริการ Kubernetes บนโครงสร้างพื้นฐาน GPU โดยเฉพาะ 💡จุดเด่นและแนวคิดการทำงานของ NVKE และ NVKRโครงการทั้งสองถูกพัฒนาขึ้นมาเพื่อแบ่งการทำงานออกเป็นส่วนของการจัดการคลัสเตอร์และการสร้างซอฟต์แวร์ที่สามารถทำซ้ำได้อย่างแม่นยำ โดยแต่ละส่วนมีหน้าที่สำคัญดังนี้NVKR (NVIDIA Kubernetes Recipes): ทำหน้าที่สร้างอิมเมจของโหนด (Node Images) อิมเมจคอนเทนเนอร์ และแพ็กเกจต่างๆ จากแหล่งซอร์สโค้ดที่มีการกำหนดเวอร์ชันไว้อย่างชัดเจน ช่วยให้ทีมงานสามารถตรวจสอบและสร้างอิมเมจซ้ำได้ตามต้องการ 🛠️NVKE (NVIDIA Kubernetes Engine): ทำหน้าที่นำออติเฟกต์จาก NVKR ไปใช้ในการเตรียมความพร้อมและจัดการคลัสเตอร์ Kubernetes ผ่าน REST API และคอนโทรลเลอร์ที่ทำงานบนแมเนจเมนต์คลัสเตอร์การทำงานร่วมกันตั้งแต่ระบบแบร์เมทัลจนถึงคลัสเตอร์ลูกค้ากระบวนการทำงานเริ่มต้นจากการใช้ NVKR สร้างอิมเมจและแพ็กเกจซอฟต์แวร์ที่ผ่านการตรวจสอบความถูกต้อง จากนั้นจึงใช้เครื่องมืออย่าง nvkectl เพื่อเริ่มสร้างซีดคลัสเตอร์ชั่วคราวบนโฮสต์ และประสานงานกับ NVIDIA Infra Controller (NICo) เพื่อดึงเซิร์ฟเวอร์ฮาร์ดแวร์มาประกอบกันเป็นแมเนจเมนต์คลัสเตอร์เมื่อแมเนจเมนต์คลัสเตอร์พร้อมแล้ว ระบบจะสามารถสร้างเวิร์กโหลดคลัสเตอร์ให้กับลูกค้าได้ โดยแต่ละคลัสเตอร์จะมี Control Plane และ Node Pools เป็นของตัวเอง พร้อมทั้งรองรับการตรวจสอบความปลอดภัยด้วย SPIFFE และการจัดเก็บข้อมูลการทำงานผ่านระบบ Telemetry ที่ใช้ OpenTelemetryพาร์ทเนอร์และสถานะการให้บริการในปัจจุบันปัจจุบันโครงการทั้งสองอยู่ในช่วง Public Preview ภายใต้สัญญาอนุญาตแบบ Apache 2.0 ซึ่งยังไม่แนะนำให้นำไปใช้กับงานในระบบจริง (Production) เนื่องจาก API และพฤติกรรมบางอย่างอาจมีการเปลี่ยนแปลงในอนาคต ⚠️อย่างไรก็ตาม มีผู้ให้บริการคลาวด์และพาร์ทเนอร์ชั้นนำหลายราย เช่น Firmus และ SK Telecom รวมถึงพาร์ทเนอร์ด้านเทคโนโลยีอย่าง Mirantis, Rafay, Spectro Cloud, OpenNebula Systems, vCluster และ Netris ที่กำลังบูรณาการเทคโนโลยีเหล่านี้เข้ากับแพลตฟอร์มของตนเพื่อรองรับงานประมวลผล AI ในอนาคต ⭐คำถามที่พบบ่อยNVKE และ NVKR เหมาะกับใครเหมาะสำหรับองค์กร ผู้ดูแลระบบโครงสร้างพื้นฐาน และ AI Factories ที่ต้องการจัดการทรัพยากร GPU ผ่าน Kubernetes APIs และเครื่องมือที่คุ้นเคยโดยมีระบบอัตโนมัติคอยช่วยบริหารจัดการสามารถทดลองใช้งานโดยไม่มี GPU ได้หรือไม่สามารถทำได้ โดยผู้สนใจสามารถเริ่มต้นทดลองใช้งานผ่าน Local Quickstart บนเครื่องคอมพิวเตอร์เดี่ยวเพื่อประเมินการทำงานเบื้องต้นได้ทันทีโดยไม่ต้องมีฮาร์ดแวร์ GPU#NVIDIA #Kubernetes #CloudNative #GPUInfrastructure #TechNewshttps://developer.nvidia.com/blog/manage-kubernetes-clusters-for-gpu-infrastructure-with-nvidia-kubernetes-engine/
    Shared content
    DEVELOPER.NVIDIA.COM
    Manage Kubernetes Clusters for GPU Infrastructure with NVIDIA Kubernetes Engine
    NVIDIA is announcing two open source projects for building and operating managed Kubernetes services on GPU infrastructure—NVIDIA Kubernetes Engine (NVKE) and NVIDIA Kubernetes Recipes (NVKR).
    6 Comments 0 Shares 3K Views 0 Reviews
  • แปลงการเคลื่อนไหวของมนุษย์ให้หุ่นยนต์ฮิวแมนนอยด์เดินได้สมจริงด้วย NVIDIA SOMA Retargeter 🤖

    การสอนให้หุ่นยนต์ฮิวแมนนอยด์เคลื่อนไหวอย่างเป็นธรรมชาติถือเป็นความท้าทายสำคัญสำหรับนักพัฒนา การใช้ข้อมูลการเคลื่อนไหวของมนุษย์ (Human Motion Demonstration) เป็นจุดเริ่มต้นที่ดีเยี่ยม เพราะช่วยเก็บบันทึกจังหวะและความสอดคล้องของการเคลื่อนไหวในชีวิตประจำวันได้เป็นอย่างดี แต่เนื่องจากสัดส่วน โครงสร้างข้อต่อ และขีดจำกัดของร่างกายหุ่นยนต์กับมนุษย์มีความแตกต่างกัน ข้อมูลดังกล่าวจึงต้องผ่านกระบวนการปรับแต่งให้เหมาะสมเสียก่อน

    เครื่องมือโอเพนซอร์สอย่าง NVIDIA SOMA Retargeter จึงถูกพัฒนาขึ้นมาเพื่อตอบโจทย์นี้โดยเฉพาะ ช่วยให้การแปลงข้อมูลการเคลื่อนไหวของมนุษย์ให้เข้ากับสัดส่วนของหุ่นยนต์แต่ละรุ่นกลายเป็นเรื่องง่าย พร้อมทั้งรองรับการปรับแต่งและการนำไปใช้ต่อยอดในกระบวนการฝึกฝนหุ่นยนต์ต่อไป

    ทำไมการแปลงท่าทางมนุษย์ถึงสำคัญต่อหุ่นยนต์ 🦾

    ข้อมูลการเคลื่อนไหวของมนุษย์สามารถมาจากหลากหลายแหล่ง ไม่ว่าจะเป็นเซสชันจับ 3 มิติ วิดีโอ หรือแบบจำลองเชิง generative ซึ่งมักจะมีรูปแบบและโครงกระดูกที่แตกต่างกัน การใช้โครงร่างพื้นฐานร่วมกันผ่าน SOMA Skeleton ช่วยให้ระบบสามารถรับข้อมูลเข้ามาประมวลผลได้อย่างเป็นระบบ

    • 📌 ปรับสัดส่วนอัตโนมัติ: ระบบจะปรับเป้าหมายการเคลื่อนไหวให้เข้ากับสัดส่วนของหุ่นยนต์
    • 🛠️ แก้ปัญหา Inverse Kinematics: คำนวณหาตำแหน่งข้อต่อที่เหมาะสมโดยใช้เทคโนโลยีจาก Newton และ NVIDIA Warp
    • 💡 ขัดเกลาความแม่นยำ: มีฟังก์ชันปรับแก้การวางเท้า (Foot-plant correction) เพื่อลดปัญหาเท้าลากที่มักเกิดขึ้นระหว่างการเคลื่อนไหว

    แหล่งที่มาของข้อมูลการเคลื่อนไหว 📊

    นักพัฒนาสามารถเลือกดึงข้อมูลการเคลื่อนไหวได้จากหลายช่องทางเพื่อนำมาใช้เป็นต้นแบบ:

    • ข้อมูลจับการเคลื่อนไหว: ชุดข้อมูลอย่าง BONES-SEED ที่รวบรวมท่าทางของมนุษย์ไว้หลากหลาย
    • การแปลงจากวิดีโอ: เครื่องมืออย่าง GEM-X ที่ช่วยสร้างการเคลื่อนไหว 3 มิติทั้งตัวจากวิดีโอเดี่ยว
    • การสร้างท่าทางด้วย AI: โมเดลอย่าง Kimodo และ ARDY ที่ช่วยสร้างการเคลื่อนไหวจากข้อความหรือคำอธิบายท่าทางแบบเรียลไทม์

    ตัวอย่างการใช้งานจริงกับหุ่นยนต์ฮิวแมนนอยด์ 🔍

    ในเวอร์ชันอัปเดต SOMA Retargeter v0.2 มาพร้อมค่าเริ่มต้นและตัวอย่างการเคลื่อนไหวสำหรับหุ่นยนต์ฮิวแมนนอยด์ 5 รุ่น ได้แก่ Unitree G1, Unitree H2, Booster T1, AgiBot X2 Ultra และ AgiBot A3T3

    ผู้พัฒนาสามารถทดลองนำชุดข้อมูลการเดินจากตัวอย่างมาเปิดผ่านโปรแกรมดูภาพ (Viewer) ทำการแปลงสัดส่วน คำนวณค่า Inverse Kinematics และบันทึกผลลัพธ์ออกมาเป็นไฟล์ CSV ซึ่งเก็บข้อมูลตำแหน่งและมุมข้อต่อของหุ่นยนต์ในแต่ละเฟรม เพื่อนำไปใช้เป็นข้อมูลอ้างอิงในการเปรียบเทียบหรือนำเข้าสู่ขั้นตอนการเรียนรู้ของหุ่นยนต์ต่อไป

    การฝึกฝนและต่อยอดนโยบายการควบคุมหุ่นยนต์ 🚀

    เมื่อได้ข้อมูลวิถีการเคลื่อนไหวที่ผ่านการปรับแต่งแล้ว ขั้นตอนถัดไปคือการนำไปใช้ฝึกฝนโมเดลการควบคุม (Motion-tracking policy) ผ่านเวิร์กโฟลว์อย่าง SONIC หรือ ProtoMotions เพื่อประเมินความสามารถในการทรงตัว การสัมผัสพื้น และความแม่นยำในการเคลื่อนที่ภายในสภาพแวดล้อมจำลอง (Simulation) ก่อนนำไปใช้งานจริงบนตัวหุ่นยนต์ฮิวแมนนอยด์

    #AI #Robotics #Humanoid #NVIDIA #TechTrends

    ขอบคุณ แหล่งข้อมูล
    https://developer.nvidia.com/blog/adapt-human-motion-for-robots-with-nvidia-soma-retargeter/

    แปลงการเคลื่อนไหวของมนุษย์ให้หุ่นยนต์ฮิวแมนนอยด์เดินได้สมจริงด้วย NVIDIA SOMA Retargeter 🤖การสอนให้หุ่นยนต์ฮิวแมนนอยด์เคลื่อนไหวอย่างเป็นธรรมชาติถือเป็นความท้าทายสำคัญสำหรับนักพัฒนา การใช้ข้อมูลการเคลื่อนไหวของมนุษย์ (Human Motion Demonstration) เป็นจุดเริ่มต้นที่ดีเยี่ยม เพราะช่วยเก็บบันทึกจังหวะและความสอดคล้องของการเคลื่อนไหวในชีวิตประจำวันได้เป็นอย่างดี แต่เนื่องจากสัดส่วน โครงสร้างข้อต่อ และขีดจำกัดของร่างกายหุ่นยนต์กับมนุษย์มีความแตกต่างกัน ข้อมูลดังกล่าวจึงต้องผ่านกระบวนการปรับแต่งให้เหมาะสมเสียก่อนเครื่องมือโอเพนซอร์สอย่าง NVIDIA SOMA Retargeter จึงถูกพัฒนาขึ้นมาเพื่อตอบโจทย์นี้โดยเฉพาะ ช่วยให้การแปลงข้อมูลการเคลื่อนไหวของมนุษย์ให้เข้ากับสัดส่วนของหุ่นยนต์แต่ละรุ่นกลายเป็นเรื่องง่าย พร้อมทั้งรองรับการปรับแต่งและการนำไปใช้ต่อยอดในกระบวนการฝึกฝนหุ่นยนต์ต่อไปทำไมการแปลงท่าทางมนุษย์ถึงสำคัญต่อหุ่นยนต์ 🦾ข้อมูลการเคลื่อนไหวของมนุษย์สามารถมาจากหลากหลายแหล่ง ไม่ว่าจะเป็นเซสชันจับ 3 มิติ วิดีโอ หรือแบบจำลองเชิง generative ซึ่งมักจะมีรูปแบบและโครงกระดูกที่แตกต่างกัน การใช้โครงร่างพื้นฐานร่วมกันผ่าน SOMA Skeleton ช่วยให้ระบบสามารถรับข้อมูลเข้ามาประมวลผลได้อย่างเป็นระบบ📌 ปรับสัดส่วนอัตโนมัติ: ระบบจะปรับเป้าหมายการเคลื่อนไหวให้เข้ากับสัดส่วนของหุ่นยนต์🛠️ แก้ปัญหา Inverse Kinematics: คำนวณหาตำแหน่งข้อต่อที่เหมาะสมโดยใช้เทคโนโลยีจาก Newton และ NVIDIA Warp💡 ขัดเกลาความแม่นยำ: มีฟังก์ชันปรับแก้การวางเท้า (Foot-plant correction) เพื่อลดปัญหาเท้าลากที่มักเกิดขึ้นระหว่างการเคลื่อนไหวแหล่งที่มาของข้อมูลการเคลื่อนไหว 📊นักพัฒนาสามารถเลือกดึงข้อมูลการเคลื่อนไหวได้จากหลายช่องทางเพื่อนำมาใช้เป็นต้นแบบ:ข้อมูลจับการเคลื่อนไหว: ชุดข้อมูลอย่าง BONES-SEED ที่รวบรวมท่าทางของมนุษย์ไว้หลากหลายการแปลงจากวิดีโอ: เครื่องมืออย่าง GEM-X ที่ช่วยสร้างการเคลื่อนไหว 3 มิติทั้งตัวจากวิดีโอเดี่ยวการสร้างท่าทางด้วย AI: โมเดลอย่าง Kimodo และ ARDY ที่ช่วยสร้างการเคลื่อนไหวจากข้อความหรือคำอธิบายท่าทางแบบเรียลไทม์ตัวอย่างการใช้งานจริงกับหุ่นยนต์ฮิวแมนนอยด์ 🔍ในเวอร์ชันอัปเดต SOMA Retargeter v0.2 มาพร้อมค่าเริ่มต้นและตัวอย่างการเคลื่อนไหวสำหรับหุ่นยนต์ฮิวแมนนอยด์ 5 รุ่น ได้แก่ Unitree G1, Unitree H2, Booster T1, AgiBot X2 Ultra และ AgiBot A3T3ผู้พัฒนาสามารถทดลองนำชุดข้อมูลการเดินจากตัวอย่างมาเปิดผ่านโปรแกรมดูภาพ (Viewer) ทำการแปลงสัดส่วน คำนวณค่า Inverse Kinematics และบันทึกผลลัพธ์ออกมาเป็นไฟล์ CSV ซึ่งเก็บข้อมูลตำแหน่งและมุมข้อต่อของหุ่นยนต์ในแต่ละเฟรม เพื่อนำไปใช้เป็นข้อมูลอ้างอิงในการเปรียบเทียบหรือนำเข้าสู่ขั้นตอนการเรียนรู้ของหุ่นยนต์ต่อไปการฝึกฝนและต่อยอดนโยบายการควบคุมหุ่นยนต์ 🚀เมื่อได้ข้อมูลวิถีการเคลื่อนไหวที่ผ่านการปรับแต่งแล้ว ขั้นตอนถัดไปคือการนำไปใช้ฝึกฝนโมเดลการควบคุม (Motion-tracking policy) ผ่านเวิร์กโฟลว์อย่าง SONIC หรือ ProtoMotions เพื่อประเมินความสามารถในการทรงตัว การสัมผัสพื้น และความแม่นยำในการเคลื่อนที่ภายในสภาพแวดล้อมจำลอง (Simulation) ก่อนนำไปใช้งานจริงบนตัวหุ่นยนต์ฮิวแมนนอยด์#AI #Robotics #Humanoid #NVIDIA #TechTrendshttps://developer.nvidia.com/blog/adapt-human-motion-for-robots-with-nvidia-soma-retargeter/
    Shared content
    DEVELOPER.NVIDIA.COM
    Adapt Human Motion for Robots with NVIDIA SOMA Retargeter
    Human motion offers roboticists a great starting point for teaching humanoid robots how to move. A human demonstration captures the coordination and timing behind natural movement…
    2 Comments 0 Shares 3K Views 0 Reviews
More Stories