พลิกโฉมการควบคุมหุ่นยนต์: World Action Models (WAMs) กับอนาคตที่ก้าวข้ามข้อจำกัด

พลิกโฉมการควบคุมหุ่นยนต์: World Action Models (WAMs) กับอนาคตที่ก้าวข้ามข้อจำกัดความท้าทายสำคัญในวงการหุ่นยนต์คือการสร้างระบบควบคุม (policy) ที่สามารถทำงานได้ดีแม้ในสถานการณ์ที่ไม่เคยพบเจอมาก่อน นโยบายที่ประสบความสำเร็จในสภาพแวดล้อมที่ฝึกฝน อาจล้มเหลวเมื่อรูปทรง ตำแหน่ง หรือแสงสว่างของวัตถุเปลี่ยนแปลงไป การจะทำให้หุ่นยนต์เข้าใจและปรับตัวกับเงื่อนไขใหม่ๆ เหล่านี้ได้ จำเป็นต้องอาศัยความเข้าใจในหลักฟิสิกส์เบื้องหลังของงานนั้นๆ อย่างแท้จริง ไม่ใช่แค่การเลียนแบบสิ่งที่เห็นจาก Vision-Language Models (VLMs) สู่ World Action Models (WAMs)วิธีการมาตรฐานในการสร้างนโยบายควบคุมหุ่นยนต์ที่เข้าใจคำสั่งภาษา คือการนำโมเดลภาษาที่ฝึกฝนล่วงหน้า (pretrained VLM) มาต่อยอดกับโมดูลการกระทำ (action module) กลายเป็นโมเดล Vision-Language-Action (VLA) ซึ่งแนวทางนี้ได้ผลดีมาโดยตลอด อย่างไรก็ตาม หัวใจหลักของ VLM คือการ "อธิบาย" โลก แต่ไม่ใช่การ "คาดการณ์" ว่าโลกจะเปลี่ยนแปลงไปอย่างไร ซึ่งการคาดการณ์นี้เองคือสิ่งที่หุ่นยนต์ต้องการอย่างยิ่งเมื่อต้องทำงานที่ต้องอาศัยการคาดการณ์การเปลี่ยนแปลงของสภาพแวดล้อมงานวิจัยที่กำลังได้รับความสนใจคือการแทนที่ส่วน backbone ของ VLM ด้วยโมเดลโลกของวิดีโอ (video world model) เพื่อสร้างเป็น World Action Model (WAM) แนวคิดนี้ถูกนำเสนอโดย Jim Fan นักวิจัยของ NVIDIA ซึ่งสรุปได้อย่างน่าสนใจว่า "VLAs กำลังจะหมดยุค สู่ยุคของ World Action Models"WAMs แตกต่างจาก VLAs อย่างไร?1. เข้าใจพลวัตของโลก (World Dynamics)VLA: ถูกปรับแต่งมาเพื่อสร้างข้อความจากภาพ ไม่ได้ออกแบบมาเพื่อจำลองการเปลี่ยนแปลงของฉาก ทำให้การปรับตัวในเชิงกายภาพ (physical generalization) ทำได้จำกัดWAM: ใช้โมเดลโลกของวิดีโอเป็น backbone ซึ่งสามารถจำลองว่าโลกจะเปลี่ยนแปลงไปอย่างไรเมื่อเกิดการกระทำต่างๆ เช่น การหยิบจับ การปล่อย หรือการเคลื่อนย้าย ทำให้ไม่ต้องสอนหลักฟิสิกส์ใหม่ทั้งหมด แต่เป็นการต่อยอดจากสิ่งที่โมเดลเรียนรู้มาแล้ว2. เรียนรู้จากข้อมูลที่หลากหลายVLA: มักต้องการการสาธิตที่เหมือนกันเกือบทุกประการสำหรับงานเดิมๆWAM: เรียนรู้หลักฟิสิกส์จากการโต้ตอบกับวัตถุต่างๆ ข้อมูลการสาธิตที่หลากหลายซึ่งอาจสูญเปล่าสำหรับ VLA จะกลายเป็นสัญญาณการเรียนรู้ที่มีค่าสำหรับ WAM ทำให้การเก็บข้อมูลมีประสิทธิภาพมากขึ้น3. การปรับตัวในโลกแห่งความเป็นจริงVLA: การสรุปความหมาย (semantics) ทำได้ดี แต่การคาดการณ์พฤติกรรมและสภาพแวดล้อมใหม่ๆ ทำได้ไม่ดีนักWAM: หลักฟิสิกส์มีความเป็นสากลมากกว่าความหมาย การที่วัตถุตกหรือไถลไปอย่างไรไม่ได้ขึ้นอยู่กับวัตถุนั้นๆ แต่เป็นกฎฟิสิกส์ ทำให้โมเดลที่เรียนรู้พลวัตของโลกสามารถนำความรู้นี้ไปใช้กับฉากและการเคลื่อนไหวที่ไม่เคยฝึกฝนมาก่อนได้4. การปรับใช้กับหุ่นยนต์ใหม่ได้ง่ายVLA: อาจต้องใช้ข้อมูลเฉพาะสำหรับงานใหม่ๆ จำนวนมากWAM: โมเดลที่เข้าใจการโต้ตอบทางกายภาพอยู่แล้ว ต้องการข้อมูลเฉพาะสำหรับงานใหม่ๆ น้อยลงมากในการปรับตัวให้เข้ากับแขนหุ่นยนต์หรือกริปเปอร์แบบใหม่NVIDIA Cosmos 3: รากฐานที่แข็งแกร่งสำหรับ WAMsCosmos 3 คือโมเดลรากฐานแบบ Omni-model ที่สร้างขึ้นบนสถาปัตยกรรม Mixture-of-Transformers (MoT) สามารถประมวลผลข้อมูลหลากหลายรูปแบบ ทั้งภาพ วิดีโอ เสียง และการกระทำ มีขนาดให้เลือกหลากหลาย ได้แก่ Cosmos Edge (4B), Cosmos Nano (16B) และ Cosmos 3 Super (64B)สิ่งที่ทำให้ Cosmos 3 เป็นรากฐานที่ยอดเยี่ยมสำหรับ WAMs คือ ความกว้างขวางของข้อมูลโลกจริง ที่ใช้ในการฝึกฝน ประกอบด้วย รูปภาพประมาณ 767 ล้านภาพ, วิดีโอเกี่ยวกับพลวัตในโลกจริง 348 ล้านวิดีโอ และตัวอย่างการกระทำกว่า 8 ล้านตัวอย่าง ครอบคลุมตั้งแต่การควบคุมหุ่นยนต์ การขับขี่อัตโนมัติ การเคลื่อนที่ของกล้อง ไปจนถึงการเคลื่อนที่แบบ egocentricจาก World Model สู่ Robot Policy ด้วย Cosmos 3 Policy DROIDCosmos 3 เป็นจุดเริ่มต้นที่ทรงพลังสำหรับการสร้างนโยบายเฉพาะทาง โมเดล Cosmos3-Nano-Policy-DROID (16B) และ Cosmos3-Edge-Policy-DROID (4B) ถูกพัฒนาขึ้นโดยต่อยอดจาก Cosmos 3 Nano และ Cosmos 3 Edge ตามลำดับ สำหรับแพลตฟอร์ม DROID (แขนกล Franka Panda พร้อมกริปเปอร์ Robotiq) โมเดลเหล่านี้สามารถสร้างเส้นทางการเคลื่อนที่ของหุ่นยนต์ได้ โดยรับคำสั่งภาษาและการสังเกตจากกล้องหลายมุมคุณสมบัติเด่นที่ได้จากรากฐาน Omni นี้ ได้แก่:จินตนาการขณะทำงาน: โมเดลสามารถคาดการณ์วิดีโอที่จะเกิดขึ้น หากมีการดำเนินการตามที่สั่ง ซึ่งการกระทำและผลลัพธ์ที่คาดการณ์ออกมาจากโมเดลเดียวกันสถาปัตยกรรม Omni เต็มรูปแบบ: แม้จะถูกปรับแต่งเป็นนโยบายแล้ว แต่ก็ยังคงความสามารถในการให้เหตุผลและสร้างวิดีโอได้ ไม่ใช่แค่การส่งออกตำแหน่งข้อต่อความรู้เดิมที่วัดผลได้: การเปรียบเทียบระหว่างนโยบายที่ฝึกจากจุดเริ่มต้นทั่วไป กับนโยบายที่ฝึกจาก Omni checkpoint ที่มีข้อมูลการกระทำหลากหลาย พบว่านโยบายจาก Omni checkpoint มีอัตราความสำเร็จสูงกว่าอย่างเห็นได้ชัดการนำไปใช้งานจริง: ทางเลือกที่ยืดหยุ่นWAMs จะมีขนาดใหญ่กว่า VLA ที่กระชับ เนื่องจากต้องเก็บโมเดลโลกแบบเต็มรูปแบบ แต่ Cosmos 3 มีการปรับแผนการนำไปใช้งานให้เลือกได้หลายระดับ:Workstation Serving (Nano, 16B): Cosmos3-Nano-Policy ทำงานควบคู่ไปกับหุ่นยนต์ ไม่ได้ติดตั้งบนตัวหุ่นยนต์โดยตรง สามารถสตรีมข้อมูลสังเกตการณ์ผ่านเครือข่ายและรับข้อมูลการกระทำกลับมาOn-device (Edge, 4B): Cosmos 3 Edge สามารถทำงานบนฮาร์ดแวร์ฝังตัวได้โดยตรง รองรับการควบคุมแบบเรียลไทม์ที่ 15 Hz บน NVIDIA Jetson Thor และอุปกรณ์ Edge อื่นๆ ของ NVIDIAทำไมควรสร้าง Robot Policies ด้วย Cosmos 3?WAMs คือการเปลี่ยนกระบวนทัศน์จากการ "เรียนรู้ที่จะกระทำ" ไปสู่ "เรียนรู้ว่าโลกเปลี่ยนแปลงอย่างไร" และ Cosmos 3 ทำให้แนวทางนี้เป็นจริงได้:โมเดลรากฐานแบบเปิด: พร้อมชุดข้อมูล, สูตรการปรับแต่ง, น้ำหนักโมเดลที่ฝึกแล้ว, เครื่องมือประเมิน และสแต็กการให้บริการ ที่ได้รับอนุญาตให้ใช้งานเชิงพาณิชย์การปรับตัวที่รวดเร็ว: ความรู้เกี่ยวกับฟิสิกส์ที่แข็งแกร่งช่วยลดปริมาณข้อมูลที่ต้องใช้ในการสร้างนโยบายใหม่รากฐานเดียว รองรับหุ่นยนต์หลากหลาย: แม้ว่าหุ่นยนต์แต่ละแบบ (เช่น Franka, UR, WidowX) จะต้องการการปรับแต่งเพิ่มเติม แต่ทั้งหมดเริ่มต้นจากรากฐานที่ฝึกฝนมาเหมือนกัน ช่วยลดการสาธิตที่จำเป็นสำหรับแต่ละแบบวิธีที่เร็วที่สุดในการประเมินว่า WAM จะเหนือกว่า VLA ที่ใช้อยู่หรือไม่ คือการลองนำ Cosmos 3 มาปรับแต่งด้วยข้อมูลของคุณเองแล้วเปรียบเทียบสำรวจคอลเลกชันโมเดล Cosmos 3 และชุดข้อมูลแบบเปิดได้บน Hugging Face และ GitHubอ่านรายงานทางเทคนิค Cosmos 3 เพื่อดูรายละเอียดสถาปัตยกรรมและการประเมินผลฉบับเต็มเข้าร่วมชุมชนและรับฟัง Cosmos Labs livestream ในวันที่ 13 สิงหาคมเข้าร่วมช่อง Discord ของ Cosmos เพื่อเป็นส่วนหนึ่งของชุมชน#Robotics #AI #NVIDIA #WorldActionModels #Cosmos3https://developer.nvidia.com/blog/beyond-vlas-how-world-action-models-reshape-robot-manipulation/