เร่งความเร็วการอัปเดตน้ำหนักโมเดลในการฝึก Reinforcement Learning ด้วยเทคโนโลยี Reshard Collective 🚀

ในการฝึกโมเดลภาษาขนาดใหญ่ด้วยวิธี Reinforcement Learning (RL) ขั้นตอนหลังการฝึกหรือ Post-training ถือเป็นกระบวนการสำคัญที่ต้องสร้างชุดข้อมูลการฝึก (Training Trajectories) แบบเรียลไทม์ผ่านการทำอินฟิวเรชัน (Inference) ด้วยโมเดลนโยบายปัจจุบัน เพื่อให้การทำงานมีประสิทธิภาพสูงสุด ระบบส่วนใหญ่จึงนิยมแยกทรัพยากรระหว่างการฝึกและการทำอินฟิวเรชันออกจากกันอย่างอิสระบน GPU หลายตัว 💡

แม้ว่าตัวโมเดลจะได้รับการอัปเดตพารามิเตอร์เฉพาะบนกลุ่ม GPU สำหรับฝึกเท่านั้น แต่ระบบก็จำเป็นต้องดึงข้อมูลน้ำหนักล่าสุดมาอัปเดตบนฝั่ง GPU สำหรับอินฟิวเรชันอยู่เป็นประจำ กระบวนการถ่ายโอนน้ำหนักนี้เรียกว่า Refit ซึ่งมีความซับซ้อนสูงเนื่องจากขนาดโมเดลที่ใหญ่โตระดับหลายล้านล้านพารามิเตอร์


ความท้าทายในการอัปเดตน้ำหนักโมเดลแบบเดิม ⚠️

วิธีการอัปเดตน้ำหนักแบบดั้งเดิมมักใช้แนวทางแบบ Gather-and-Broadcast ซึ่งมีขั้นตอนหลักดังนี้:

  1. GPU ฝั่งฝึกจะทำการรวมชิ้นส่วนพารามิเตอร์ (All-gather) เข้าด้วยกันเพื่อสร้างเป็นพารามิเตอร์ฉบับสมบูรณ์
  2. ส่งข้อมูลพารามิเตอร์ทั้งหมดนั้นกระจายไปยัง GPU ฝั่งอินฟิวเรชัน (Broadcast)
  3. GPU แต่ละตัวฝั่งอินฟิวเรชันจะเลือกเก็บเฉพาะส่วนที่จำเป็นตามรูปแบบการจัดวาง (Layout) ของตนเอง

แม้ว่าวิธีนี้จะช่วยให้การย้ายข้อมูลระหว่างเลย์เอาต์ที่แตกต่างกันทำได้ง่าย แต่ก็ทำให้เกิดปัญหาการรับส่งข้อมูลซ้ำซ้อน เพราะ GPU ฝั่งอินฟิวเรชันบางตัวต้องรับข้อมูลทั้งหมดแม้ว่าจะต้องการใช้เพียงแค่บางส่วนเท่านั้น โดยในโมเดลขนาดใหญ่ยุคปัจจุบัน ปริมาณข้อมูลที่ต้องรับส่งรวมกันอาจสูงถึงราว 10 เทราไบต์ต่อการอัปเดตหนึ่งครั้ง ซึ่งกลายเป็นคอขวดสำคัญที่ทำให้ระบบเสียเวลาไปกับการสื่อสารข้อมูลจำนวนมาก 📌


พลิกโฉมการอัปเดตด้วยแนวคิด DTensor-to-DTensor 🛠️

เพื่อแก้ปัญหาดังกล่าว ทีมพัฒนาจึงได้ปรับมุมมองใหม่โดยเน้นหลักการโอนถ่ายข้อมูลน้ำหนักเฉพาะส่วนที่จำเป็นจริงๆ เท่านั้น (Theoretical Minimum Data) ด้วยการนำอาบสแตรกต์ DTensor (Distributed Tensor) จาก PyTorch มาใช้เป็นแกนกลาง

การแปลงปัญหาให้เป็นการถ่ายโอนแบบ DTensor-to-DTensor ช่วยให้ระบบสามารถระบุรายละเอียดของแหล่งกำเนิดข้อมูล (Source) และปลายทาง (Destination) ได้อย่างแม่นยำ ไม่ว่ารูปแบบการกระจายตัวของข้อมูลบน GPU (Parallelism Mappings) จะแตกต่างกันอย่างไรก็ตาม ข้อมูลจะถูกจัดสรรและเคลื่อนย้ายผ่านคำสั่งรวมที่เรียกว่า Reshard Collective ซึ่งออกแบบมาเพื่อจัดการรูปแบบการสื่อสารนี้โดยเฉพาะ 🔍


การทำงานของ NCCL M2N Reshard เพื่อประสิทธิภาพสูงสุด ⭐

NCCL M2N Reshard ซึ่งเป็นซอฟต์แวร์ต้นแบบประเภทโอเพนซอร์ส ช่วยปลดล็อกการใช้งานแบนด์วิดท์เครือข่ายได้อย่างเต็มที่ผ่านกระบวนการทำงานที่ชาญฉลาด:

  • คำนวณจุดตัดของข้อมูล: วิเคราะห์หาขอบเขตที่แน่นอนระหว่างชิ้นส่วนข้อมูลต้นทางและปลายทาง
  • จัดกลุ่มผ่าน NVLink: จัดกลุ่มอุปกรณ์จำลองภายในโดเมน NVLink เพื่อกระจายข้อมูลให้เท่าๆ กัน ลดการรับส่งข้อมูลซ้ำซ้อนผ่านเครือข่ายหลัก
  • การทำงานคู่ขนาน: ดำเนินการรับส่งข้อมูลผ่านเครือข่ายพร้อมๆ กับการแลกเปลี่ยนข้อมูลภายใน NVLink (Pipelining) ช่วยซ่อนเวลาแฝงและทำให้แต่ละชิ้นส่วนข้อมูลได้รับแบนด์วิดท์เครือข่ายอย่างเต็มที่

จากการทดสอบบนระบบ NVIDIA DGX H100 และ DGX GB200 ผ่านโครงสร้างพื้นฐาน NeMo RL พบว่าเทคโนโลยี Reshard ช่วยเพิ่มความเร็วในการอัปเดตน้ำหนัก (Refit Speedup) ได้สูงถึง 2.7 ถึง 5.7 เท่า เมื่อเทียบกับวิธีเดิมในโมเดลขนาดใหญ่ เช่น Qwen และ DeepSeek 📊


แนวทางแบบผสมผสานเพื่อความครอบคลุมในการใช้งาน 💡

เนื่องจากความหลากหลายของเลย์เอาต์ในแต่ละเลเยอร์ของโมเดล การประยุกต์ใช้ Reshard กับทุกส่วนจึงอาจมีความซับซ้อน ทางทีมจึงได้พัฒนาสถาปัตยกรรมแบบผสมผสาน (Hybrid Approach) ขึ้นมา:

  • กลุ่มน้ำหนักหลัก: ใช้กระบวนการ Reshard กับน้ำหนักประเภท Feed-forward projection ซึ่งครอบคลุมพื้นที่ส่วนใหญ่ถึงประมาณ 95% ของพารามิเตอร์ทั้งหมดในบล็อก Transformer เพื่อเร่งความเร็วการส่งข้อมูลส่วนใหญ่
  • กลุ่มน้ำหนักเสริม: ใช้วิธี Gather-and-Broadcast แบบดั้งเดิมสำหรับน้ำหนักขนาดเล็กอื่นๆ (เช่น QKV projection หรือ Mamba weights) เพื่อรักษาความครอบคลุมในการทำงานของระบบโดยรวมให้เสถียร

แนวทางนี้ช่วยผสานจุดเด่นด้านความเร็วของการรับส่งข้อมูลชิ้นใหญ่ เข้ากับความยืดหยุ่นในการรองรับโครงสร้างโมเดลที่หลากหลายได้อย่างลงตัว เหมาะสำหรับการพัฒนาและปรับแต่งโมเดลปัญญาประดิษฐ์ในอนาคตให้มีประสิทธิภาพสูงยิ่งขึ้น

#AI #MachineLearning #DeepLearning #NVIDIA #TechTrends

ขอบคุณ แหล่งข้อมูล
https://developer.nvidia.com/blog/accelerating-reinforcement-learning-weight-refit-with-the-reshard-collective/

เร่งความเร็วการอัปเดตน้ำหนักโมเดลในการฝึก Reinforcement Learning ด้วยเทคโนโลยี Reshard Collective 🚀ในการฝึกโมเดลภาษาขนาดใหญ่ด้วยวิธี Reinforcement Learning (RL) ขั้นตอนหลังการฝึกหรือ Post-training ถือเป็นกระบวนการสำคัญที่ต้องสร้างชุดข้อมูลการฝึก (Training Trajectories) แบบเรียลไทม์ผ่านการทำอินฟิวเรชัน (Inference) ด้วยโมเดลนโยบายปัจจุบัน เพื่อให้การทำงานมีประสิทธิภาพสูงสุด ระบบส่วนใหญ่จึงนิยมแยกทรัพยากรระหว่างการฝึกและการทำอินฟิวเรชันออกจากกันอย่างอิสระบน GPU หลายตัว 💡แม้ว่าตัวโมเดลจะได้รับการอัปเดตพารามิเตอร์เฉพาะบนกลุ่ม GPU สำหรับฝึกเท่านั้น แต่ระบบก็จำเป็นต้องดึงข้อมูลน้ำหนักล่าสุดมาอัปเดตบนฝั่ง GPU สำหรับอินฟิวเรชันอยู่เป็นประจำ กระบวนการถ่ายโอนน้ำหนักนี้เรียกว่า Refit ซึ่งมีความซับซ้อนสูงเนื่องจากขนาดโมเดลที่ใหญ่โตระดับหลายล้านล้านพารามิเตอร์ความท้าทายในการอัปเดตน้ำหนักโมเดลแบบเดิม ⚠️วิธีการอัปเดตน้ำหนักแบบดั้งเดิมมักใช้แนวทางแบบ Gather-and-Broadcast ซึ่งมีขั้นตอนหลักดังนี้:GPU ฝั่งฝึกจะทำการรวมชิ้นส่วนพารามิเตอร์ (All-gather) เข้าด้วยกันเพื่อสร้างเป็นพารามิเตอร์ฉบับสมบูรณ์ส่งข้อมูลพารามิเตอร์ทั้งหมดนั้นกระจายไปยัง GPU ฝั่งอินฟิวเรชัน (Broadcast)GPU แต่ละตัวฝั่งอินฟิวเรชันจะเลือกเก็บเฉพาะส่วนที่จำเป็นตามรูปแบบการจัดวาง (Layout) ของตนเองแม้ว่าวิธีนี้จะช่วยให้การย้ายข้อมูลระหว่างเลย์เอาต์ที่แตกต่างกันทำได้ง่าย แต่ก็ทำให้เกิดปัญหาการรับส่งข้อมูลซ้ำซ้อน เพราะ GPU ฝั่งอินฟิวเรชันบางตัวต้องรับข้อมูลทั้งหมดแม้ว่าจะต้องการใช้เพียงแค่บางส่วนเท่านั้น โดยในโมเดลขนาดใหญ่ยุคปัจจุบัน ปริมาณข้อมูลที่ต้องรับส่งรวมกันอาจสูงถึงราว 10 เทราไบต์ต่อการอัปเดตหนึ่งครั้ง ซึ่งกลายเป็นคอขวดสำคัญที่ทำให้ระบบเสียเวลาไปกับการสื่อสารข้อมูลจำนวนมาก 📌พลิกโฉมการอัปเดตด้วยแนวคิด DTensor-to-DTensor 🛠️เพื่อแก้ปัญหาดังกล่าว ทีมพัฒนาจึงได้ปรับมุมมองใหม่โดยเน้นหลักการโอนถ่ายข้อมูลน้ำหนักเฉพาะส่วนที่จำเป็นจริงๆ เท่านั้น (Theoretical Minimum Data) ด้วยการนำอาบสแตรกต์ DTensor (Distributed Tensor) จาก PyTorch มาใช้เป็นแกนกลางการแปลงปัญหาให้เป็นการถ่ายโอนแบบ DTensor-to-DTensor ช่วยให้ระบบสามารถระบุรายละเอียดของแหล่งกำเนิดข้อมูล (Source) และปลายทาง (Destination) ได้อย่างแม่นยำ ไม่ว่ารูปแบบการกระจายตัวของข้อมูลบน GPU (Parallelism Mappings) จะแตกต่างกันอย่างไรก็ตาม ข้อมูลจะถูกจัดสรรและเคลื่อนย้ายผ่านคำสั่งรวมที่เรียกว่า Reshard Collective ซึ่งออกแบบมาเพื่อจัดการรูปแบบการสื่อสารนี้โดยเฉพาะ 🔍การทำงานของ NCCL M2N Reshard เพื่อประสิทธิภาพสูงสุด ⭐NCCL M2N Reshard ซึ่งเป็นซอฟต์แวร์ต้นแบบประเภทโอเพนซอร์ส ช่วยปลดล็อกการใช้งานแบนด์วิดท์เครือข่ายได้อย่างเต็มที่ผ่านกระบวนการทำงานที่ชาญฉลาด:คำนวณจุดตัดของข้อมูล: วิเคราะห์หาขอบเขตที่แน่นอนระหว่างชิ้นส่วนข้อมูลต้นทางและปลายทางจัดกลุ่มผ่าน NVLink: จัดกลุ่มอุปกรณ์จำลองภายในโดเมน NVLink เพื่อกระจายข้อมูลให้เท่าๆ กัน ลดการรับส่งข้อมูลซ้ำซ้อนผ่านเครือข่ายหลักการทำงานคู่ขนาน: ดำเนินการรับส่งข้อมูลผ่านเครือข่ายพร้อมๆ กับการแลกเปลี่ยนข้อมูลภายใน NVLink (Pipelining) ช่วยซ่อนเวลาแฝงและทำให้แต่ละชิ้นส่วนข้อมูลได้รับแบนด์วิดท์เครือข่ายอย่างเต็มที่จากการทดสอบบนระบบ NVIDIA DGX H100 และ DGX GB200 ผ่านโครงสร้างพื้นฐาน NeMo RL พบว่าเทคโนโลยี Reshard ช่วยเพิ่มความเร็วในการอัปเดตน้ำหนัก (Refit Speedup) ได้สูงถึง 2.7 ถึง 5.7 เท่า เมื่อเทียบกับวิธีเดิมในโมเดลขนาดใหญ่ เช่น Qwen และ DeepSeek 📊แนวทางแบบผสมผสานเพื่อความครอบคลุมในการใช้งาน 💡เนื่องจากความหลากหลายของเลย์เอาต์ในแต่ละเลเยอร์ของโมเดล การประยุกต์ใช้ Reshard กับทุกส่วนจึงอาจมีความซับซ้อน ทางทีมจึงได้พัฒนาสถาปัตยกรรมแบบผสมผสาน (Hybrid Approach) ขึ้นมา:กลุ่มน้ำหนักหลัก: ใช้กระบวนการ Reshard กับน้ำหนักประเภท Feed-forward projection ซึ่งครอบคลุมพื้นที่ส่วนใหญ่ถึงประมาณ 95% ของพารามิเตอร์ทั้งหมดในบล็อก Transformer เพื่อเร่งความเร็วการส่งข้อมูลส่วนใหญ่กลุ่มน้ำหนักเสริม: ใช้วิธี Gather-and-Broadcast แบบดั้งเดิมสำหรับน้ำหนักขนาดเล็กอื่นๆ (เช่น QKV projection หรือ Mamba weights) เพื่อรักษาความครอบคลุมในการทำงานของระบบโดยรวมให้เสถียรแนวทางนี้ช่วยผสานจุดเด่นด้านความเร็วของการรับส่งข้อมูลชิ้นใหญ่ เข้ากับความยืดหยุ่นในการรองรับโครงสร้างโมเดลที่หลากหลายได้อย่างลงตัว เหมาะสำหรับการพัฒนาและปรับแต่งโมเดลปัญญาประดิษฐ์ในอนาคตให้มีประสิทธิภาพสูงยิ่งขึ้น#AI #MachineLearning #DeepLearning #NVIDIA #TechTrendshttps://developer.nvidia.com/blog/accelerating-reinforcement-learning-weight-refit-with-the-reshard-collective/
Shared content
DEVELOPER.NVIDIA.COM
Accelerating Reinforcement Learning Weight Refit with the Reshard Collective
During reinforcement learning (RL) post-training, training trajectories are generated on the fly by running inference with the current policy model. For training efficiency, it is common to run…
2 التعليقات 0 المشاركات 2كيلو بايت مشاهدة 0 معاينة