รันโมเดล AI Gemma 4 26B ด้วย CPU เก่า อายุ 13 ปี ความเร็ว 5 โทเคน/วินาที (ไม่ต้องใช้ GPU)

รันโมเดล AI Gemma 4 26B ด้วย CPU เก่า อายุ 13 ปี ความเร็ว 5 โทเคน/วินาที (ไม่ต้องใช้ GPU)เคยสงสัยไหมว่าฮาร์ดแวร์รุ่นเก่าที่หลายคนคิดว่าหมดประโยชน์ไปแล้ว จะสามารถรันโมเดล AI สมัยใหม่ที่ทรงพลังได้หรือไม่? วันนี้เราจะมาเปิดเผยเรื่องราวสุดท้าทายในการทำให้ Google Gemma 4 ซึ่งเป็นโมเดลภาษาขนาดใหญ่แบบ Mixture-of-Experts (MoE) ที่มีถึง 26 พันล้านพารามิเตอร์ ทำงานได้อย่างน่าประหลาดใจบนเซิร์ฟเวอร์อายุ 13 ปี ที่มีเพียง CPU เก่าแก่ และไม่มี GPU แม้แต่น้อย!เมื่อฮาร์ดแวร์เก่าต้องมาเจอกับโมเดล AI สมัยใหม่เรื่องราวเริ่มต้นขึ้นจากเซิร์ฟเวอร์ที่ตั้งอยู่ในห้องใต้ดินของเรา ซึ่งแท้จริงแล้วมันคืออุปกรณ์จัดเก็บข้อมูล (Storage Appliance) รุ่นเก่าที่ถูกปรับปรุงมาใช้งาน มันมีอายุราว 13 ปี มาพร้อมกับ CPU Intel Xeon สองตัวสถาปัตยกรรม Ivy Bridge ซึ่งเป็นเทคโนโลยีที่เก่ากว่าชุดคำสั่ง (Instruction Set) ที่โมเดล AI สมัยใหม่ต้องการเสียอีก พูดง่ายๆ คือ มันถูกสร้างมาเพื่อเก็บข้อมูล ไม่ใช่เพื่อการคำนวณที่ซับซ้อนแต่ด้วยความพยายามและความเข้าใจในตัวโมเดลอย่างลึกซึ้ง เราสามารถทำให้ Gemma 4 26B ทำงานได้ที่ความเร็วประมาณ 5 โทเคนต่อวินาที ซึ่งถือเป็นความเร็วในการอ่านข้อความทั่วไปทักษะที่แท้จริง: ไม่ใช่แค่การจ่ายเงิน แต่คือการแก้ปัญหาในยุคที่ "เก่ง AI" มักหมายถึง "จ่ายค่าบริการ" เราเชื่อว่าทักษะที่แท้จริงคือการเข้าใจโมเดลอย่างถ่องแท้ จนสามารถนำไปประยุกต์ใช้กับปัญหาที่ไม่มีใครทำแพ็กเกจไว้ให้ และที่สำคัญคือการประเมินผลลัพธ์ที่ได้ว่าถูกต้องหรือไม่บทความนี้จะเป็นตัวอย่างที่แสดงให้เห็นถึงกระบวนการนั้น โดยเฉพาะอย่างยิ่งเมื่อต้องทำงานกับฮาร์ดแวร์ที่ไม่น่าจะรองรับได้จุดเริ่มต้น: การต่อยอดจากไอเดียที่น่าสนใจไม่นานมานี้ มีบทความหนึ่งที่ถูกพูดถึงอย่างมากใน Hacker News ชื่อ "A 10 year old Xeon is all you need" ผู้เขียนได้ทดลองรัน Gemma 4 บน CPU Xeon ปี 2016 โดยไม่มี GPU และใช้ RAM DDR3 ความจุ 128GB โดยอาศัยเทคนิคขั้นสูงมากมาย เช่น speculative decoding, CPU-aware MoE routing, flash attention ที่ถูกพอร์ตมายัง CPU และการจัดเรียงน้ำหนัก (weight repacking) แบบทันที (run-time) ซึ่งเป็นการทำงานทางวิศวกรรมที่น่าทึ่งเมื่อเห็นเช่นนั้น เราก็ลองนำมาปรับใช้กับเซิร์ฟเวอร์ของเราบ้าง แต่กลับพบว่ามันไม่สามารถทำงานได้AI Agent ช่วยไขปัญหาที่ซับซ้อนได้อย่างไร?เมื่อการทดลองล้มเหลว เราได้นำข้อผิดพลาดที่เกิดขึ้นไปถาม Claude (AI Assistant) คำตอบที่ได้กลับมานั้นรวดเร็วและเฉพาะเจาะจงมากCPU ที่ผู้เขียนบทความต้นฉบับใช้เป็นรุ่น Broadwell (v3) ซึ่งรองรับชุดคำสั่ง AVX2 และ FMA3 แต่ CPU ของเราเป็นรุ่น Ivy Bridge (v2) ซึ่งเก่ากว่านั้น โดยรองรับเพียง AVX1 เท่านั้น ทำให้โค้ดที่ปรับแต่งมาสำหรับ AVX2 ไม่สามารถทำงานได้การปรับแต่งเพื่อก้าวข้ามข้อจำกัดคำถามต่อมาคือ "เราจะทำให้มันทำงานได้หรือไม่?" เราได้ลองผิดลองถูกด้วยตัวเองมาบ้างแล้ว แต่ยังไม่สำเร็จ Claude เข้ามาช่วยต่อยอดแนวทางเดิม โดยปรับแก้ส่วนที่สำคัญ (hot paths) ของโค้ดให้สามารถทำงานแบบ fall back ไปยังชิปที่เก่ากว่า AVX2 ได้อย่างราบรื่น แทนที่จะพยายามใช้ชุดคำสั่งที่ไม่มีอยู่นี่คือส่วนที่น่าสนใจที่สุด! การแก้ไขนี้ไม่ได้มาจากการสั่ง "แก้ไข" เพียงครั้งเดียวแล้วได้ผลลัพธ์ที่สมบูรณ์ แต่เป็นการที่ AI ต้องอ่านโค้ด C++ ที่เขียนขึ้นเพื่อประสิทธิภาพสูง ทำความเข้าใจว่าทำไม Kernel บางตัวถึงทำงานไม่ได้กับสถาปัตยกรรม CPU บางรุ่น และหาทางหลีกเลี่ยงปัญหานั้น โดยไม่ทิ้งการปรับแต่งที่ทำให้โค้ดนั้นมีประสิทธิภาพแต่แรกหน้าที่ของเราคือการทดลองอย่างถูกต้องและประเมินผลลัพธ์ว่าถูกต้องจริงหรือไม่ เราประทับใจกับกระบวนการนี้มากผลลัพธ์ที่น่าทึ่ง: Gemma 4 26B ทำงานบน CPU อายุ 13 ปีตอนนี้ Gemma 4 26B สามารถสร้างข้อความด้วยความเร็วในการอ่านบนฮาร์ดแวร์ที่ถูกปลดประจำการไปนานแล้ว ก่อนที่สถาปัตยกรรมของโมเดลจะถูกพัฒนาขึ้นเสียอีกความเร็ว: ประมาณ 5 โทเคนต่อวินาทีฮาร์ดแวร์: CPU Xeon E5-2690 v2 อายุ 13 ปี (Ivy Bridge, AVX1, ไม่มี AVX2)อื่นๆ: DDR3 RAM, ไม่มี GPUการแก้ไขที่เกิดขึ้น (สำหรับผู้สนใจด้านเทคนิค)การแก้ไขนี้ได้ถูกhttps://www.neomindlabs.com/2026/06/08/running-gemma-4-26b-at-5-tokens-sec-on-a-13-year-old-xeon-with-no-gpu/