ดันขีดจำกัดโมเดล MoE ขนาดใหญ่ให้รันบนแรมจำกัดด้วย Transformers

การรันโมเดลภาษาขนาดใหญ่โดยเฉพาะกลุ่ม Mixture of Experts หรือที่เรียกกันว่า MoE ที่มีพารามิเตอร์นับร้อยพันล้านตัว มักจะติดปัญหาเรื่องความต้องการหน่วยความจำแรมหรือ VRAM ที่สูงมาก จนฮาร์ดแวร์ทั่วไปอย่างคอมพิวเตอร์พกพาหรือการ์ดจอเกมมิ่งไม่สามารถรองรับได้เต็มรูปแบบ บทความนี้จะพาไปดูแนวทางการเพิ่มประสิทธิภาพการรันโมเดล MoE ขนาดใหญ่บนอุปกรณ์ที่มีหน่วยความจำจำกัดอย่างเครื่อง Mac ที่มีแรม 32GB ผ่านการพัฒนาและปรับแต่งบนไลบรารี Transformers

ทำความเข้าใจข้อจำกัดของการรันโมเดล MoE

โมเดลแบบ MoE จะมีจุดเด่นตรงที่แม้ว่าตัวโมเดลจะมีขนาดพารามิเตอร์รวมทั้งหมดสูงมาก เช่น ระดับ 180 พันล้านพารามิเตอร์ แต่ในแต่ละโทเค็นที่โมเดลประมวลผล จะมีกลุ่มผู้เชี่ยวชาญหรือ Experts บางส่วนเท่านั้นที่ถูกเรียกใช้งาน (Active experts) ซึ่งคิดเป็นสัดส่วนเพียงเล็กน้อยเมื่อเทียบกับน้ำหนักทั้งหมดของโมเดล

แนวคิดพื้นฐานในการประหยัดทรัพยากรจึงเป็นการเก็บเฉพาะข้อมูลส่วนสำคัญไว้ในหน่วยความจำความเร็วสูง ส่วนข้อมูลของผู้เชี่ยวชาญตัวอื่นๆ จะถูกจัดเก็บไว้ในหน่วยความจำสำรองหรือ SSD และดึงข้อมูลเฉพาะตัวที่จำเป็นต้องใช้งานเข้ามาแบบสตรีมมิ่งผ่านระบบแคช

แนวทางการจัดการข้อมูลของเครื่องมือและเฟรมเวิร์กต่างๆ

ก่อนหน้านี้ เครื่องมือหลายตัวไม่ว่าจะเป็น llama.cpp, vLLM หรือ Transformers มีวิธีจัดการกับโมเดลที่ไม่พอดีกับหน่วยความจำแตกต่างกันไป ดังนี้

  • llama.cpp: ใช้การแมปไฟล์ GGUF และเก็บผู้เชี่ยวชาญไว้บน CPU ซึ่งเหมาะกับกรณีที่แรมเครื่องมีขนาดเพียงพอ แต่หากข้อมูลเกินกว่านั้นจะเกิดปัญหาคอขวดที่แคชของหน้าหน่วยความจำ
  • vLLM: ใช้ระบบโยกย้ายน้ำหนักบางส่วนไปไว้ในแรมระบบผ่าน PCIe แต่ไม่มีระบบแคชสำหรับสตรีมมิ่งจากดิสก์โดยตรง เหมาะกับการประมวลผลแบบกลุ่มใหญ่มากกว่าการใช้งานแบบเดี่ยว
  • Transformers: เดิมทีจะใช้วิธีการสลับโหลดทีละโมดูลแบบภาพรวม ซึ่งยังไม่ตอบโจทย์การเลือกดึงข้อมูลเฉพาะผู้เชี่ยวชาญที่ถูกเลือกใช้งานในโมเดล MoE

แนวทางการพัฒนาการสตรีมมิ่งผู้เชี่ยวชาญใน Transformers

เพื่อให้สามารถดึงเอาต์พุตที่ดีบนอุปกรณ์จำกัดแรม ทีมพัฒนาได้ทดลองปรับปรุงระบบการโหลดโมเดลผ่านไลบรารี Transformers โดยมุ่งเน้นไปที่การแก้ปัญหาคอขวดของการสตรีมข้อมูล ดังนี้

  • ระบบพูลสล็อตข้อมูล: เปลี่ยนรูปแบบการจัดการแคชให้เป็นพื้นที่จัดเก็บที่แชร์ร่วมกันทุกเลเยอร์ เพื่อให้สามารถประมวลผลกลุ่มผู้เชี่ยวชาญได้อย่างราบรื่นโดยไม่ต้องสร้างเคอร์เนลประมวลผลใหม่ทั้งหมด
  • การสตรีมผ่านเธรดไอโอ: อ่านข้อมูลผู้เชี่ยวชาญจากดิสก์ล่วงหน้าแบบเจาะจงเฉพาะตัวที่ระบบการเราท์เลือกใช้งาน เพื่อลดเวลาในการรอคอยข้อมูล
  • การเลือกใช้การควอนไทเซชัน: บีบอัดขนาดข้อมูลน้ำหนักของผู้เชี่ยวชาญให้มีขนาดเล็กลง เช่น การใช้รูปแบบ 3 บิต เพื่อให้ใช้พื้นที่จัดเก็บบนอุปกรณ์น้อยลงและเพิ่มความเร็วในการอ่านข้อมูล

ผลลัพธ์และมุมมองเชิงระบบ

จากการทดลองปรับแต่งและเพิ่มประสิทธิภาพการประมวลผล เช่น การใช้เคอร์เนลเฉพาะทางบนระบบปฏิบัติการของ Mac รวมถึงการปรับปรุงกระบวนการทำงานร่วมกันระหว่างหน่วยประมวลผลกลางและกราฟิกการ์ด ทำให้การรันโมเดลขนาดใหญ่บนอุปกรณ์ที่มีแรม 32GB สามารถเข้าใกล้เคียงกับเครื่องมือเฉพาะทางอย่าง Strata ได้อย่างน่าสนใจ

การศึกษาและพัฒนาในลักษณะนี้ช่วยให้เราเข้าใจพฤติกรรมการทำงานเชิงลึกของโมเดลภาษาขนาดใหญ่ ทั้งในแง่ของความหนาแน่นในการเราท์ข้อมูล การจัดการแบนด์วิดท์หน่วยความจำ และการบริหารเวลาในการรอคอยข้อมูลระหว่างหน่วยประมวลผล ซึ่งเป็นประโยชน์อย่างยิ่งสำหรับการพัฒนา AI ให้เข้าถึงได้ง่ายและรันบนฮาร์ดแวร์ทั่วไปได้ดียิ่งขึ้นในอนาคต

#AI #MachineLearning #Transformers #Developer #TechTrends

ขอบคุณ แหล่งข้อมูล
https://huggingface.co/blog/moe-expert-streaming

ดันขีดจำกัดโมเดล MoE ขนาดใหญ่ให้รันบนแรมจำกัดด้วย Transformersการรันโมเดลภาษาขนาดใหญ่โดยเฉพาะกลุ่ม Mixture of Experts หรือที่เรียกกันว่า MoE ที่มีพารามิเตอร์นับร้อยพันล้านตัว มักจะติดปัญหาเรื่องความต้องการหน่วยความจำแรมหรือ VRAM ที่สูงมาก จนฮาร์ดแวร์ทั่วไปอย่างคอมพิวเตอร์พกพาหรือการ์ดจอเกมมิ่งไม่สามารถรองรับได้เต็มรูปแบบ บทความนี้จะพาไปดูแนวทางการเพิ่มประสิทธิภาพการรันโมเดล MoE ขนาดใหญ่บนอุปกรณ์ที่มีหน่วยความจำจำกัดอย่างเครื่อง Mac ที่มีแรม 32GB ผ่านการพัฒนาและปรับแต่งบนไลบรารี Transformersทำความเข้าใจข้อจำกัดของการรันโมเดล MoEโมเดลแบบ MoE จะมีจุดเด่นตรงที่แม้ว่าตัวโมเดลจะมีขนาดพารามิเตอร์รวมทั้งหมดสูงมาก เช่น ระดับ 180 พันล้านพารามิเตอร์ แต่ในแต่ละโทเค็นที่โมเดลประมวลผล จะมีกลุ่มผู้เชี่ยวชาญหรือ Experts บางส่วนเท่านั้นที่ถูกเรียกใช้งาน (Active experts) ซึ่งคิดเป็นสัดส่วนเพียงเล็กน้อยเมื่อเทียบกับน้ำหนักทั้งหมดของโมเดลแนวคิดพื้นฐานในการประหยัดทรัพยากรจึงเป็นการเก็บเฉพาะข้อมูลส่วนสำคัญไว้ในหน่วยความจำความเร็วสูง ส่วนข้อมูลของผู้เชี่ยวชาญตัวอื่นๆ จะถูกจัดเก็บไว้ในหน่วยความจำสำรองหรือ SSD และดึงข้อมูลเฉพาะตัวที่จำเป็นต้องใช้งานเข้ามาแบบสตรีมมิ่งผ่านระบบแคชแนวทางการจัดการข้อมูลของเครื่องมือและเฟรมเวิร์กต่างๆก่อนหน้านี้ เครื่องมือหลายตัวไม่ว่าจะเป็น llama.cpp, vLLM หรือ Transformers มีวิธีจัดการกับโมเดลที่ไม่พอดีกับหน่วยความจำแตกต่างกันไป ดังนี้llama.cpp: ใช้การแมปไฟล์ GGUF และเก็บผู้เชี่ยวชาญไว้บน CPU ซึ่งเหมาะกับกรณีที่แรมเครื่องมีขนาดเพียงพอ แต่หากข้อมูลเกินกว่านั้นจะเกิดปัญหาคอขวดที่แคชของหน้าหน่วยความจำvLLM: ใช้ระบบโยกย้ายน้ำหนักบางส่วนไปไว้ในแรมระบบผ่าน PCIe แต่ไม่มีระบบแคชสำหรับสตรีมมิ่งจากดิสก์โดยตรง เหมาะกับการประมวลผลแบบกลุ่มใหญ่มากกว่าการใช้งานแบบเดี่ยวTransformers: เดิมทีจะใช้วิธีการสลับโหลดทีละโมดูลแบบภาพรวม ซึ่งยังไม่ตอบโจทย์การเลือกดึงข้อมูลเฉพาะผู้เชี่ยวชาญที่ถูกเลือกใช้งานในโมเดล MoEแนวทางการพัฒนาการสตรีมมิ่งผู้เชี่ยวชาญใน Transformersเพื่อให้สามารถดึงเอาต์พุตที่ดีบนอุปกรณ์จำกัดแรม ทีมพัฒนาได้ทดลองปรับปรุงระบบการโหลดโมเดลผ่านไลบรารี Transformers โดยมุ่งเน้นไปที่การแก้ปัญหาคอขวดของการสตรีมข้อมูล ดังนี้ระบบพูลสล็อตข้อมูล: เปลี่ยนรูปแบบการจัดการแคชให้เป็นพื้นที่จัดเก็บที่แชร์ร่วมกันทุกเลเยอร์ เพื่อให้สามารถประมวลผลกลุ่มผู้เชี่ยวชาญได้อย่างราบรื่นโดยไม่ต้องสร้างเคอร์เนลประมวลผลใหม่ทั้งหมดการสตรีมผ่านเธรดไอโอ: อ่านข้อมูลผู้เชี่ยวชาญจากดิสก์ล่วงหน้าแบบเจาะจงเฉพาะตัวที่ระบบการเราท์เลือกใช้งาน เพื่อลดเวลาในการรอคอยข้อมูลการเลือกใช้การควอนไทเซชัน: บีบอัดขนาดข้อมูลน้ำหนักของผู้เชี่ยวชาญให้มีขนาดเล็กลง เช่น การใช้รูปแบบ 3 บิต เพื่อให้ใช้พื้นที่จัดเก็บบนอุปกรณ์น้อยลงและเพิ่มความเร็วในการอ่านข้อมูลผลลัพธ์และมุมมองเชิงระบบจากการทดลองปรับแต่งและเพิ่มประสิทธิภาพการประมวลผล เช่น การใช้เคอร์เนลเฉพาะทางบนระบบปฏิบัติการของ Mac รวมถึงการปรับปรุงกระบวนการทำงานร่วมกันระหว่างหน่วยประมวลผลกลางและกราฟิกการ์ด ทำให้การรันโมเดลขนาดใหญ่บนอุปกรณ์ที่มีแรม 32GB สามารถเข้าใกล้เคียงกับเครื่องมือเฉพาะทางอย่าง Strata ได้อย่างน่าสนใจการศึกษาและพัฒนาในลักษณะนี้ช่วยให้เราเข้าใจพฤติกรรมการทำงานเชิงลึกของโมเดลภาษาขนาดใหญ่ ทั้งในแง่ของความหนาแน่นในการเราท์ข้อมูล การจัดการแบนด์วิดท์หน่วยความจำ และการบริหารเวลาในการรอคอยข้อมูลระหว่างหน่วยประมวลผล ซึ่งเป็นประโยชน์อย่างยิ่งสำหรับการพัฒนา AI ให้เข้าถึงได้ง่ายและรันบนฮาร์ดแวร์ทั่วไปได้ดียิ่งขึ้นในอนาคต#AI #MachineLearning #Transformers #Developer #TechTrendshttps://huggingface.co/blog/moe-expert-streaming
Shared content
HUGGINGFACE.CO
180B Parameters, 32GB of RAM: Pushing MoE Inference to the Limit with Transformers
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
5 Commenti 0 condivisioni 2K Views 0 Anteprima