MiniMax H3 Motion Transfer ด้วย TARA LoRA บน ComfyUI

เนื้อหาในคลิป

TARA LoRA คืออะไร

ผู้ทำคลิปเปิดเรื่องด้วยปัญหาของ motion transfer แบบเดิม ที่ต้องพึ่ง pose tracking ซึ่งมักทำให้เฟรมกะพริบ ใบหน้าเพี้ยน หรือแขนขาสั่น จนต้องแก้ด้วยมือนาน จากนั้นจึงแนะนำ LoRA ตัวใหม่ชื่อ MiniMax H3 Motion Transfer TARA เวอร์ชัน 1 ที่เผยแพร่บน Hugging Face ซึ่งทำงานแบบ reference-to-video คือใช้วิดีโอต้นแบบเป็น reference โดยตรง

TARA ย่อมาจาก temporally aligned reference attention ผู้ทำคลิปอธิบายอย่างง่ายว่าเป็นกลไกที่ช่วยให้โมเดลตามวิดีโอต้นแบบทีละเฟรม การเคลื่อนไหวจึงคงเส้นคงวาตั้งแต่เฟรมแรกถึงเฟรมสุดท้าย ไฟล์ LoRA มีหลายขนาดให้เลือกตามฮาร์ดแวร์ ในคลิปใช้ไฟล์ขนาด 628 MB นอกจากนี้ยังมี training adapter จาก Ostris ซึ่งไม่บังคับ แต่ผู้ทำคลิปแนะนำให้ใช้เพราะผลลัพธ์ดีขึ้นชัดเจน

ติดตั้ง custom nodes และตั้งค่า workflow

ก่อนเริ่มต้องติดตั้ง BFS custom nodes โดยคัดลอกคำสั่งจากหน้าโมเดล เปิด command window ในโฟลเดอร์ custom_nodes ของ ComfyUI portable แล้วรัน git clone ตามด้วยการรีสตาร์ต ComfyUI ส่วน workflow ใช้ไฟล์ที่ผู้พัฒนา LoRA เตรียมไว้ให้ ไม่ต้องสร้างเอง

ใน workflow ผู้ทำคลิปใช้โมเดลรุ่น pruned INT8 ร่วมกับ LoRA ที่เพิ่งโหลดมา ส่วน CLIP และ VAE เป็นไฟล์เดียวกับที่ใช้กับโมเดลนี้อยู่แล้ว ข้อมูลนำเข้ามีภาพตัวละคร ภาพพื้นหลัง และวิดีโอต้นแบบที่ให้การเคลื่อนไหว โดยทำงานที่ความละเอียด 1 megapixel เพื่อให้สมดุลระหว่างคุณภาพกับความเร็ว

node ใหม่ของ TARA มาจาก BFS custom nodes ผู้ทำคลิปยังไม่ได้ติดตั้ง Flash Attention จึงใช้ Comfy Kitchen แทน และบอกว่าถ้ามี Flash Attention จะเร็วขึ้นราว 30–40% สำหรับ prompt ให้คงของเดิมไว้ แล้วเปลี่ยนเฉพาะส่วนที่บรรยายผู้แสดงหลักให้เป็นตัวละครของตัวเอง

จำนวนเฟรม ข้อผิดพลาด และเวลา generate

ความยาวคลิปคำนวณจากจำนวนเฟรมหารด้วย 24 ตัวอย่างแรกใช้ 107 เฟรม หรือราว 4.46 วินาที ส่วนคลิปยาวประมาณ 11.5 วินาทีต้องใช้ 277 เฟรม จุดสำคัญคือจำนวนเฟรมต้องเป็นไปตามรูปแบบที่กำหนด ผู้ทำคลิปจึงทำตารางไว้ให้ ถ้าใส่ไม่ตรงจะเจอ error ที่แจ้งว่า input ต้องมี temporal guides เหมือนกัน ซึ่งแก้ได้ด้วยการปรับจำนวนเฟรมให้ตรงตาราง

ในการทดสอบใช้ sampler แบบ Euler กับ scheduler แบบ simple ที่ 20 steps บน RTX 5090 ใช้เวลาประมาณ 30 นาที ถ้าต้องการเร็วกว่านี้ ผู้ทำคลิปแนะนำให้ใช้ LoRA แบบ 4 steps หรือ 6 steps และติดตั้ง Flash Attention

ผลลัพธ์ที่ได้

ในตัวอย่างแรก ท่าเต้นของตัวละครตามวิดีโอต้นแบบได้ใกล้เคียง และพื้นหลังร้านค้ายังอยู่ครบ แต่การทดสอบช่วงแรกบางคลิปมีใบหน้าเปลี่ยนไปเล็กน้อย ผู้ทำคลิปจึงเปลี่ยนมาใช้ character sheet ที่แสดงตัวละครหลายมุม ซึ่งเขาเห็นว่าให้ผลดีกว่าเพราะโมเดลมีข้อมูลมากขึ้น ผลคือใบหน้าดีขึ้น ตัวละครคงที่ตลอดคลิป และท่าทางตรงกับต้นแบบทีละจังหวะ

ตัวอย่างสุดท้าย ตัวละครในภาพอ้างอิงถือกระเป๋าอยู่ เขาจึงเพิ่มใน prompt ว่าให้ถือกระเป๋าขณะเต้น และกระเป๋าก็อยู่ในมือตลอดทั้งคลิป แสดงว่าผู้ใช้กำกับผลลัพธ์ผ่าน prompt ได้