เร่งสปีดการประมวลผลโมเดลภาษา AI ด้วย LFM2.5-DSpark: เร็วกว่าเดิมสูงสุด 3.2 เท่า! 🚀

เร่งสปีดการประมวลผลโมเดลภาษา AI ด้วย LFM2.5-DSpark: เร็วกว่าเดิมสูงสุด 3.2 เท่า! 🚀ในโลกของปัญญาประดิษฐ์ (AI) ที่ทุกอย่างเคลื่อนไหวอย่างรวดเร็ว ประสิทธิภาพในการประมวลผลโมเดลภาษาขนาดใหญ่ (LLM) ถือเป็นหัวใจสำคัญ ยิ่งโมเดลมีความสามารถสูงเท่าไหร่ การทำให้มันทำงานได้เร็วขึ้นและใช้ทรัพยากรน้อยลงก็ยิ่งเป็นเรื่องท้าทาย วันนี้เรามีข่าวดีสำหรับนักพัฒนาและผู้ที่สนใจ AI มาฝาก กับการมาถึงของ LFM2.5-DSpark เทคโนโลยีที่จะช่วยให้การประมวลผลโมเดลภาษา AI ของคุณเร็วขึ้นอย่างก้าวกระโดดDSpark คืออะไร? ทำไมถึงเร็วกว่าเดิม? 💡โดยทั่วไปแล้ว การประมวลผลคำ (token) ในโมเดล LLM มักจะประสบปัญหาคอขวดที่หน่วยความจำ (memory-bound) ความล่าช้าส่วนใหญ่มาจากการโหลดข้อมูลน้ำหนัก (weights) จากหน่วยความจำหลัก (DRAM) ไปยังหน่วยความจำความเร็วสูง (SRAM) ไม่ใช่จากการคำนวณที่ซับซ้อนSpeculative Decoding คือเทคนิคที่เข้ามาช่วยแก้ปัญหานี้ โดยใช้โมเดลขนาดเล็ก (draft model) สร้างคำที่คาดว่าจะออกมาจำนวนหนึ่ง จากนั้นโมเดลหลัก (target model) จะทำการตรวจสอบคำเหล่านั้นทั้งหมดในการประมวลผลเพียงครั้งเดียว ซึ่งช่วยแบ่งเบาภาระการโหลดข้อมูลน้ำหนักไปได้มากDSpark เป็นการพัฒนาต่อยอดเทคนิค Speculative Decoding ที่รวมเอา 3 องค์ประกอบสำคัญเข้าไว้ด้วยกัน:DSpark-style parallel backbone: สร้างสถานะซ่อน (hidden states) สำหรับคำที่คาดการณ์ทั้งหมดในครั้งเดียว โดยอาศัยฟีเจอร์บริบทจากโมเดลเป้าหมายLightweight sequential head: โมเดลลำดับน้ำหนักเบาที่สร้างความสัมพันธ์ระหว่างคำที่อยู่ติดกัน ช่วยเพิ่มอัตราการยอมรับ (acceptance rate) ในตำแหน่งที่อยู่ท้ายๆConfidence-scheduled verifier: ทำนายความน่าจะเป็นที่แต่ละคำจะถูกยอมรับ และตัดส่วนที่ไม่น่าเชื่อถือออก หากการตรวจสอบคำนั้นๆ ใช้ต้นทุนมากกว่าที่จะได้รับประโยชน์ประสิทธิภาพที่เหนือกว่า: เร็วขึ้นทั้งบน GPU และอุปกรณ์พกพา ⚡LFM2.5-DSpark ได้รับการพิสูจน์แล้วว่าสามารถเพิ่มอัตราการประมวลผล (throughput) ได้อย่างน่าทึ่ง:บน GPU: เร็วกว่าเดิมสูงสุด 3.18 เท่าบนอุปกรณ์พกพา (On-device): เร็วกว่าเดิมสูงสุด 2.87 เท่านอกจากนี้ ยังช่วยลดความล่าช้าในการเรียกใช้ฟังก์ชัน (function-calling latency) สำหรับโมเดล LFM2.5-2.6B ได้ถึง 57% โดยเฉลี่ย ทำให้การโต้ตอบกับ AI มีความลื่นไหลและตอบสนองได้ดียิ่งขึ้นรองรับการใช้งานหลากหลาย: llama.cpp และ SGLang 🛠️ข่าวดีคือ LFM2.5-DSpark มาพร้อมกับการรองรับแบบ Day-one สำหรับ:llama.cpp: การนำไปใช้งานบนอุปกรณ์พกพาทำได้ง่ายขึ้น โดยเฉพาะบน macOS ที่รองรับ Metal kernelsSGLang: สำหรับการประมวลผลบน GPU ประสิทธิภาพสูงการผสานรวม DSpark เข้ากับ SGLang นั้นเปิดให้ใช้งานแบบ Open-source แล้ว ทำให้การนำไปพัฒนาต่อยอดเป็นไปได้สะดวกการฝึกฝนและสถาปัตยกรรมโมเดล 🧠ทีมงานได้ใช้ชุดข้อมูลที่หลากหลาย ครอบคลุมทั้ง SFT (Supervised Fine-Tuning), แชท, โค้ด และการเรียกใช้ฟังก์ชัน โดยเลือกโมเดลร่าง (draft model) ที่มีพารามิเตอร์ประมาณ 300 ล้านตัว และทำการฝึกฝนเป็นเวลา 15 epoch โดยเลือก epoch ที่มีอัตราการยอมรับสูงสุดผลลัพธ์ที่ได้คือโมเดลร่างที่มีขนาดเล็ก แต่ให้ประสิทธิภาพในการประมวลผลที่น่าประทับใจ โดยที่ความแม่นยำของผลลัพธ์สุดท้าย (benchmark accuracy) ยังคงเหมือนเดิมเมื่อเทียบกับการประมวลผลแบบปกติวิธีการใช้งาน LFM2.5-DSpark 💻การใช้งาน LFM2.5-DSpark สามารถทำได้ง่ายๆ ผ่าน SGLang และ llama.cpp:สำหรับ SGLang:ต้องมี SGLang เวอร์ชันที่รองรับ DSpark สำหรับ LFM2 (PR #31041)รันโมเดลเป้าหมายพร้อมแนบโมเดลร่างเข้าไปเรียกใช้งานผ่าน endpoint ที่รองรับ OpenAI ที่ http://localhost:30000/v1สำหรับ llama.cpp:ต้องมี llama.cpp เวอร์ชันที่รองรับ (PR#27383)โมเดลร่างจะถูกอ่านจาก metadata (n-max จะถูกจำกัดตาม block size)คุณสามารถดาวน์โหลดโมเดล LFM2.5-DSpark ในรูปแบบ Safetensors และ GGUF ได้บน Hugging Face:Safetensors: LFM2.5-2.6B-DSpark, LFM2.5-1.2B-Instruct-DSpark, LFM2.5-8B-A1B-DSparkGGUF: LFM2.5-2.6B-DSpark-GGUF, LFM2.5-1.2B-Instruct-DSpark-GGUF, LFM2.5-8B-A1B-DSpark-GGUFทีมงาน Liquid AI ตื่นเต้นที่จะได้เห็นว่าคุณจะนำเทคโนโลยีนี้ไปสร้างสรรค์อะไรใหม่ๆ!#LFM25 #DSpark #LLM #AI #MachineLearninghttps://huggingface.co/blog/LiquidAI/lfm25-dspark