โพสต์เทรน NVIDIA Cosmos 3 ใน 1 วัน ด้วย Agent Skills เพิ่มความแม่นยำกว่า 90%

"Post-train Cosmos 3 Nano on WTS dataset using LoRA with the provided credentials."

"Run AutoML sweep for Cosmos 3 Nano on WTS dataset using LoRA with the provided credentials."

โพสต์เทรน NVIDIA Cosmos 3 ใน 1 วัน ด้วย Agent Skills เพิ่มความแม่นยำกว่า 90%เคยสงสัยไหมว่า AI ช่วยเขียนโค้ดจะสามารถเพิ่มความแม่นยำของโมเดล Vision Reasoning ของคุณให้สูงกว่า 90% ได้ โดยแทบไม่ต้องลงแรงเองเลย? เมื่อต้องปรับโมเดล Vision Reasoning สำหรับงานวิดีโอในระดับโปรดักชัน นักพัฒนาต้องเสียเวลาหลายวันไปกับการจัดรูปแบบข้อมูล การตั้งค่าคอนเทนเนอร์ สคริปต์การเทรน การประเมินผลเบื้องต้น และการปรับแต่งไฮเปอร์พารามิเตอร์ ก่อนที่จะรู้ด้วยซ้ำว่าการโพสต์เทรนจะช่วยเพิ่มความแม่นยำได้จริงหรือไม่การผสานโมเดลพื้นฐาน NVIDIA Cosmos 3 เข้ากับ NVIDIA TAO Agent Skills และ LoRA ทำให้การโพสต์เทรนสำหรับ Vision-Language Reasoning เป็นไปโดยอัตโนมัติ มีประสิทธิภาพ และสามารถเพิ่มความแม่นยำได้อย่างก้าวกระโดด จาก 54.41% เป็น 93.35% บนชุดข้อมูล Woven Traffic Safety ได้ในเวลาไม่ถึงหนึ่งวัน ด้วยการแทรกแซงจากมนุษย์น้อยที่สุดทำความรู้จัก NVIDIA Cosmos 3 และ TAO Agent SkillsNVIDIA Cosmos 3 เป็นโมเดลพื้นฐานที่มาพร้อมสถาปัตยกรรมแบบ Mixture-of-Transformers (MoT) ที่รวมข้อมูลอินพุตแบบ Multimodal เข้าไว้ด้วยกัน และแยกเส้นทางการทำงานระหว่าง Reasoning (การให้เหตุผล) และ Generation (การสร้างผลลัพธ์) ส่วน TAO Agent Skills จะช่วยห่อหุ้มขั้นตอนการทำงานหลังการเทรน (Post-training) โดยอัตโนมัติ ตั้งแต่การจัดการชุดข้อมูล การประเมินผลเบื้องต้น การตั้งค่า LoRA ไปจนถึงการปรับแต่งไฮเปอร์พารามิเตอร์ผ่าน TAO AutoML ช่วยให้การปรับโมเดลให้เข้ากับโดเมนเฉพาะทำได้อย่างรวดเร็ว และลดภาระงานทางวิศวกรรมการนำโมเดลไปใช้งานจริง (Production deployment) ก็ทำได้ง่ายขึ้นด้วย Cosmos 3 Reasoner NIM ซึ่งให้บริการ LoRA adapters ที่ผ่านการโพสต์เทรนแล้วโดยตรงในรูปแบบ OpenAI-compatible endpoints โดยใช้ NVIDIA microservices ที่สร้างไว้ล่วงหน้า ช่วยขจัดความซับซ้อนของโครงสร้างพื้นฐานแบบดั้งเดิมและการพึ่งพา CUDACosmos 3 MoT Architecture: จุดเด่นที่น่าสนใจสถาปัตยกรรม MoT ของ NVIDIA Cosmos 3 ใช้ Autoregressive Transformer สำหรับการให้เหตุผลและการวางแผนที่แข็งแกร่ง ควบคู่ไปกับ Diffusion Transformer เพื่อคาดการณ์สถานะของโลกและการกระทำในอนาคตได้อย่างแม่นยำ Cosmos 3 มีให้เลือกหลายขนาด รวมถึง Super 64B และ Nano 16B ซึ่งติดอันดับ #1 ในบรรดาโมเดลโอเพนซอร์สบน Benchmark ต่างๆ เช่น:VANTAGE-Bench: สำหรับ Video UnderstandingPAI-Bench และ Physics-IQ: สำหรับความแม่นยำในการสร้างโลก (World Generation)RoboLab และ RoboArena: สำหรับ Action Policyสถาปัตยกรรมแบบ Dual-tower ที่รวมเอาเส้นทางการให้เหตุผลแบบ Autoregressive และเส้นทางการสร้างผลลัพธ์แบบ Iterative Diffusion เข้าไว้ด้วยกัน ช่วยให้โมเดลสามารถประมวลผลอินพุตข้อมูลหลากหลายรูปแบบ (ข้อความ รูปภาพ วิดีโอ เสียง) และเชื่อมโยงการทำงานระหว่างส่วนต่างๆ ได้อย่างมีประสิทธิภาพทางเลือกในการโพสต์เทรน Cosmos 3 Nano: LoRA คือคำตอบโมเดลพื้นฐานอย่าง Cosmos 3 เรียนรู้รูปแบบทั่วไปจากชุดข้อมูลขนาดใหญ่และหลากหลาย การโพสต์เทรนจึงมีความสำคัญอย่างยิ่งเพื่อให้โมเดลเข้าใจงานเฉพาะทาง คำศัพท์เฉพาะ และมุมกล้องที่แตกต่างกันได้ดีขึ้นสำหรับโมเดล Vision Language Reasoning เช่น Cosmos 3 Nano นักพัฒนาสามารถเลือกใช้วิธีการโพสต์เทรนได้ 2 แบบหลักๆ:Full-Parameter Supervised Fine-Tuning (SFT): เหมาะสำหรับกรณีที่โดเมนมีการเปลี่ยนแปลงมาก หรือต้องการปรับเปลี่ยนโครงสร้างโมเดล แต่เนื่องจาก SFT จะอัปเดตน้ำหนัก (weights) ทั้งหมด จึงต้องใช้ทรัพยากรคอมพิวเตอร์จำนวนมาก และอาจส่งผลกระทบต่อความรู้ทั่วไปของโมเดลLow-Rank Adaptation (LoRA): เหมาะสำหรับการวนซ้ำ (iteration) ที่รวดเร็ว LoRA จะล็อกน้ำหนักของโมเดลพื้นฐานไว้ และแทรกเมทริกซ์ที่สามารถเรียนรู้ได้ (trainable rank-decomposition matrices) เข้าไปสำหรับการทดลองนี้ การโพสต์เทรนด้วย LoRA ใช้ GPU ชั่วโมงน้อยกว่า Full-parameter SFT ถึงประมาณ 7 เท่า ทำให้การโพสต์เทรนให้เสร็จภายในหนึ่งวันเป็นไปได้จริงสำหรับทีมวิศวกรรมวิธีโพสต์เทรน Cosmos 3 Nano ด้วย TAO Agent Skillsมีสองทางเลือกหลักในการโพสต์เทรน Cosmos 3 Nano:Open framework: Framework ที่เปิดกว้างอย่างเต็มที่ของ Cosmos 3 จะเปิดเผยสูตรการเทรน รูปแบบชุดข้อมูล และไฟล์การกำหนดค่าต่างๆ ให้นักพัฒนาสามารถสร้างและควบคุมทุกขั้นตอนของไปป์ไลน์การโพสต์เทรนได้เอง เหมาะสำหรับผู้ที่ต้องการ Logic การเทรนที่ปรับแต่งเอง หรือต้องการผสานรวมกับโครงสร้างพื้นฐานที่มีอยู่TAO Agent Skills: Agent Skills ทำงานอยู่บนความสามารถเดียวกัน และทำให้กระบวนการเหล่านี้เป็นอัตโนมัติ Coding Agent จะวิเคราะห์ Workflow, แก้ไขปัญหาข้อมูล, รันคอนเทนเนอร์การเทรน และทำการ Sweep ไฮเปอร์พารามิเตอร์ให้คุณโดยอัตโนมัติNVIDIA TAO แนะนำ Agent Skills ที่ช่วยให้ Coding Agent สามารถดำเนินการ Post-training Workflow สำหรับโมเดลที่รองรับได้ โดย Skills เหล่านี้จะรวบรวมความรู้เฉพาะทางที่จำเป็นสำหรับการเทรน, ประเมินผล, ปรับแต่ง และให้บริการโมเดล ซึ่งรวมถึงรายละเอียด Framework, พฤติกรรม Launcher, โครงสร้าง Config, การโหลดข้อมูล และ Workflow การประเมินผลการติดตั้ง TAO Skills สำหรับ Coding AgentTAO Skills สามารถติดตั้งเพื่อใช้งานกับ Coding Agent ใดก็ได้ ตัวอย่างนี้ใช้ Codex ซึ่งมีคำแนะนำการตั้งค่าที่คล้ายกันสำหรับ Claude ใน GitHub repo ของ NVIDIA-TAO/tao-skill-bank วิธีที่เร็วที่สุดคือการใช้สคริปต์ติดตั้งอัตโนมัติจาก TAO Skill Bank repoก่อนเริ่มการทดลอง ควรตั้งค่า Environment ใน Terminal ของคุณด้วย Keys ที่จำเป็นการทดลองโพสต์เทรน Cosmos 3 Nano บนชุดข้อมูล Woven Traffic Safety (WTS)ตัวอย่างนี้สาธิตวิธีการโพสต์เทรน Cosmos 3 Nano บนชุดข้อมูล Woven Traffic Safety (WTS) จาก Toyota โดยเน้นไปที่งาน Video Question Answering แบบ 4-way multiple-choice ซึ่งมีตัวอย่างการเทรนและ Validation มากกว่า 8,000 ตัวอย่างชุดข้อมูลนี้มีประโยชน์ในการแสดงการโพสต์เทรน Cosmos 3 เนื่องจากความปลอดภัยบนท้องถนนต้องการความเข้าใจในฉากจริงที่ซับซ้อน โมเดลต้องสามารถให้เหตุผลเกี่ยวกับโครงสร้างถนน สัญญาณไฟ ยานพาหนะ คนเดินถนน และบริบทของเหตุการณ์จากวิดีโอได้ (ดังภาพที่ 3) แต่ Workflow เดียวกันนี้สามารถนำไปใช้กับงาน Visual Reasoning อื่นๆ ได้ เช่น การเฝ้าระวังคลังสินค้า, การรับรู้ของยานยนต์ไร้คนขับ, หรือ Robot Workcellsตัวอย่างคำถาม: "What is the formation of the road?" (ลักษณะของถนนเป็นอย่างไร?)A: Single road (right curve)B: Single road (straight line)C: Intersection (without signal)D: Intersection (with signal)โพสต์เทรน LoRA ด้วย Prompt เดียวใน Environment เดียวกันกับที่คุณส่งออก Credentials คุณสามารถเริ่มไปป์ไลน์แบบ End-to-End ได้ด้วย Codex prompt เพียงครั้งเดียว:"Post-train Cosmos 3 Nano on WTS dataset using LoRA with the provided credentials."เบื้องหลัง Codex จะสอบถามไลบรารี TAO และเลือก Cosmos-reason skill ที่เฉพาะเจาะจง Agent จะจัดการ Framework และ Data Loader เบื้องหลังโดยอัตโนมัติ และดำเนินการตามขั้นตอนต่อไปนี้:Automated error patching: Agent จะสแกน Annotation ของชุดข้อมูล, ตรวจพบพารามิเตอร์ FPS ของวิดีโอที่ขาดหายไป และแก้ไขการกำหนดค่าบน FlyModel caching: ใช้ Hugging Face token ของคุณเพื่อดึง Cosmos 3 weights อย่างปลอดภัยBaseline evaluation: ก่อนที่จะเปลี่ยนแปลงน้ำหนักใดๆ Agent จะทำการประเมินผลแบบ Zero-shot baseline โมเดล Cosmos 3 พื้นฐานได้คะแนนความแม่นยำเริ่มต้นที่ 54.41%LoRA pipeline execution: Agent จะสร้างการกำหนดค่าการเทรน LoRA ที่ปรับให้เหมาะสมและเรียกใช้ TAO training containerเมื่อการโพสต์เทรนเสร็จสิ้น Agent จะประเมินผลโมเดลที่ปรับด้วย LoRA และเปรียบเทียบผลลัพธ์กับ Baselineเพียงการรันครั้งเดียว และใช้เวลาเทรนประมาณ 30 นาทีบน NVIDIA A100 Tensor Core GPUs จำนวน 8 ตัว โมเดลก็สามารถเพิ่มความแม่นยำขึ้นเป็น 87.14% ซึ่งเป็นการปรับปรุงครั้งใหญ่ถึง 32 เปอร์เซ็นต์พอยต์ โดยไม่ต้องลงมือทำอะไรเลยปรับแต่ง Vision Model ด้วย TAO AutoMLLoRA ให้ผลลัพธ์ที่ดีในครั้งแรก แต่ประสิทธิภาพหลังการเทรนมักขึ้นอยู่กับการเลือกการกำหนดค่าที่เหมาะสม Learning rate, LoRA rank, dropout, batch size, scheduler settings และไฮเปอร์พารามิเตอร์อื่นๆ ล้วนส่งผลต่อความแม่นยำสุดท้ายแทนที่จะลองทีละการกำหนดค่า TAO AutoML ช่วยให้ Agent สามารถทำการ Sweep ที่มีโครงสร้างผ่านพารามิเตอร์หลังการเทรนที่สำคัญได้TAO AutoML รองรับกลยุทธ์การค้นหาพารามิเตอร์หลากหลายรูปแบบ รวมถึงแต่ไม่จำกัดเพียง:Bayesian optimizationBayesian optimization and HyperbandBatch-first Bayesian optimizationLLM-guided search: เสนอไฮเปอร์พารามิเตอร์โดยใช้ LLM brain (NVIDIA NIM, OpenAI, หรือ OpenAI-compatible endpoint ใดก็ได้) จำเป็นต้องมี NVIDIAAPIKEY หรือ AUTOMLLLMAPI_KEY สำหรับการทดลองนี้ ใช้ Gemini API endpointสำหรับคำอธิบายสั้นๆ ของแต่ละอัลกอริทึม โปรดดูเอกสาร TAO AutoML algorithm documentationด้วย Prompt อีกครั้งใน Coding Agent chat เดียวกัน คุณสามารถสั่งให้ Agent รัน AutoML sweep ได้:"Run AutoML sweep for Cosmos 3 Nano on WTS dataset using LoRA with the provided credentials."Agent จะสร้าง Candidate trials โดยใช้หลายกลยุทธ์, เปิดใช้งานแต่ละการทดลอง, ติดตามไฮเปอร์พารามิเตอร์, ประเมินผลลัพธ์ และบันทึกการกำหนดค่าที่ดีที่สุดผลลัพธ์การปรับปรุงความแม่นยำด้วย LoRA และ AutoMLการรวมเอา Automation ของ TAO Agent Skills เข้ากับพลังการปรับแต่งของ TAO AutoML ทำให้โมเดลสามารถบรรลุการเพิ่มความแม่นยำที่ยอดเยี่ยมเหนือกว่า Zero-shot baseline การทดลองทั้งหมดดำเนินไปจากการใช้โมเดลพื้นฐานที่ไม่ได้รับการปรับแต่ง ไปสู่ผู้เชี่ยวชาญด้านความปลอดภัยบนท้องถนนที่มีความเชี่ยวชาญสูง ผ่านเพียงสอง Prompt เท่านั้นฮาร์ดแวร์และระยะเวลาที่คาดหวังใช้ฮาร์ดแวร์ NVIDIA บนคลาวด์เพื่อทดสอบการ Sweep การกำหนดค่าหลายรูปแบบของ TAO skills ด้วยสถาปัตยกรรม MoT ของ Cosmos 3 ที่มีประสิทธิภาพ การเทรน LoRA เพียง 1 epoch ใช้เวลาประมาณ 30 นาทีบน NVIDIA A100 (80 GB) GPUs หนึ่งโหนด ซึ่งหมายความว่าภายในเวลาไม่ถึงหนึ่งชั่วโมง คุณสามารถสร้างโมเดลที่มีความแม่นยำสูงซึ่งให้ผลลัพธ์ 87.14% ได้อย่างรวดเร็วอย่างไรก็ตาม เพื่อความชัดเจน หากคุณต้องการเพิ่มความแม่นยำให้สูงกว่าเกณฑ์นี้ การค้นหาการกำหนดค่าที่เหมาะสมที่สุดต้องใช้ TAO AutoML hyperparameter sweep ในสภาพแวดล้อมการทดลองนี้ ใช้เวลา 19.5 ชั่วโมงในการประมวลผล 43 parallel trials ซึ่งทำงานแบบขนานเต็มรูปแบบบนหลายโหนดของ A100 GPUs ที่โฮสต์บน Oracle Cloud Infrastructure (OCI)สำหรับการเปรียบเทียบ การรัน Full-parameter SFT ใช้เวลา 3 ชั่วโมง 34 นาที บน NVIDIA H100 GPUsผลลัพธ์เชิงคุณภาพหลังการเทรนตัวเลขเป็นเพียงส่วนหนึ่งของเรื่องราว คุณค่าที่แท้จริงของการปรับให้เข้ากับโดเมนเฉพาะจะปรากฏให้เห็นเมื่อประเมินกรณี Edge Case ที่ซับซ้อนและกำกวมในโลกแห่งความเป็นจริง ภาพที่ 5 และ 6 แสดงการเปรียบเทียบเชิงคุณภาพก่อนและหลังการโพสต์เทรนโมเดล#NVIDIA #Cosmos3 #TAO #AgentSkills #LoRA #AutoML #AIhttps://developer.nvidia.com/blog/post-train-nvidia-cosmos-3-in-one-day-using-agent-skills/