Mesh LLM: ปลดล็อกพลัง AI แบบกระจายศูนย์ ด้วยการรวม GPU ที่คุณมีเมื่อพูดถึงการรันโมเดลภาษาขนาดใหญ่ (LLM) ภาพที่หลายคนนึกถึงคือศูนย์ข้อมูลขนาดใหญ่ที่มี GPU จำนวนมาก ซึ่งเป็นของผู้อื่น และต้องจ่ายค่าบริการตามการใช้งานที่เพิ่มขึ้นเรื่อย ๆ การส่งคำสั่ง (prompt) ไปยังระบบที่เหมือนกล่องดำ และหวังว่าราคา โมเดล และนโยบายความเป็นส่วนตัวจะยังคงเดิมสำหรับหลาย ๆ ทีม การแลกเปลี่ยนนี้ไม่คุ้มค่า เพราะคุณสูญเสียการควบคุมว่าเมื่อใดโมเดลจะเปลี่ยนแปลง ข้อมูลของคุณจะไปอยู่ที่ไหน และฮาร์ดแวร์ใดที่ประมวลผลงานของคุณ ยิ่งใช้งานมากเท่าไหร่ บิลก็ยิ่งสูงขึ้น โดยไม่มีทางเลือกอื่นนอกจาก "จ่ายเพิ่ม"Mesh LLM นำเสนอแนวทางที่แตกต่างออกไป ด้วยการรวม GPU และหน่วยความจำที่คุณมีอยู่แล้ว จากเครื่องหลาย ๆ เครื่องเข้าด้วยกัน และเปิดให้ใช้งานผ่าน API ที่เข้ากันได้กับ OpenAI เพียงเครื่องเดียว คุณสามารถเริ่มต้นด้วยโหนดเดียว แล้วเพิ่มโหนดอื่น ๆ เข้าไปทีหลัง ระบบ Mesh จะตัดสินใจว่าโมเดลจะรันบนเครื่องใด เครื่องส่งต่อให้เพื่อนร่วมเครือข่าย หรือแบ่งการประมวลผลไปยังหลาย ๆ เครื่องพร้อมกันปัญหา: AI มีราคาแพง และเป็นของคนอื่นโมเดลยอดนิยมส่วนใหญ่เป็นแบบ "มหาภาค" (monoliths) ผู้คนส่วนใหญ่เข้าถึงโมเดลเหล่านี้ผ่าน UI หรือ API key และต้องจ่ายเงินให้ผู้ให้บริการรายใหญ่เพื่อรันทุกอย่าง แม้จะสะดวก แต่นั่นก็หมายถึงการยอมจำนน คุณไม่สามารถควบคุมได้ว่าเมื่อใดโมเดลจะได้รับการอัปเดต หน่วยความจำที่ใช้ หรือฮาร์ดแวร์ที่อยู่เบื้องหลังธุรกิจและบริการจำนวนมากที่ต้องพึ่งพาโมเดลเหล่านี้ กลับต้องการสิ่งที่ตรงกันข้าม นั่นคือ การควบคุมที่มากขึ้น ความยืดหยุ่นในการปรับเปลี่ยน และต้นทุนที่ต่ำลง พวกเขามี GPU ที่ไม่ได้ใช้งานอยู่ในออฟฟิศ ในตู้ หรือใต้โต๊ะ สิ่งที่ขาดหายไปคือวิธีการทำให้เครื่องเหล่านั้นทำงานร่วมกันราวกับเป็นเครื่องเดียวMesh LLM: รันโมเดลด้วยตัวเองแนวคิดนั้นเรียบง่าย: รันโมเดลขนาดใหญ่ขึ้น โดยไม่ต้องซื้อ GPU ที่ใหญ่ขึ้น แบ่งปันพลังประมวลผลแบบส่วนตัวกับทีมของคุณ หรือแบบสาธารณะกับโลก เพื่อขับเคลื่อนเอเจนต์และแชทบอท เพียงชี้ไคลเอนต์ OpenAI ใด ๆ ไปที่ http://localhost:9337/v1 แล้วเลิกกังวลว่างานจะเกิดขึ้นที่ไหนเบื้องหลังการทำงานของ Mesh LLMMesh LLM กระจายการประมวลผลโมเดลผ่านเครือข่ายของ iroh endpoints การร้องขอหนึ่งครั้งสามารถให้บริการได้ 3 วิธี:รันโมเดลบน GPU ของเครื่องนี้โดยตรงส่งต่อไปยังเพื่อนร่วมเครือข่าย (peer) ที่มีโมเดลนั้นโหลดอยู่แล้วแบ่งโมเดลที่ใหญ่เกินกว่าเครื่องเดียวจะรับไหว ไปประมวลผลข้ามหลาย ๆ เครื่องเป็นแบบ Pipelineสถาปัตยกรรมสามารถเสียบปลั๊กอิน (pluggable) ได้ ปลั๊กอินจะประกาศสิ่งที่ตนเองมีให้ใน manifest จากนั้น runtime จะเริ่มทำงาน ส่งต่อการเรียก และเปิดเผยความสามารถผ่าน MCP, HTTP, inference และ mesh events แคตตาล็อกมีโมเดลให้เลือกกว่า 40 แบบ ตั้งแต่โมเดลขนาดเล็กไม่กี่ร้อยล้านพารามิเตอร์ที่รันบนแล็ปท็อปได้ ไปจนถึงโมเดลยักษ์ 235B mixture-of-expertsสำหรับโมเดลขนาดใหญ่ Mesh LLM มีโหมดการแบ่งส่วน (split mode) หรือที่เรียกว่า "Skippy" โมเดลจะถูกแบ่งตามช่วงเลเยอร์ออกเป็นหลาย ๆ ขั้นตอน เช่น เลเยอร์ 0-15 บนโหนดหนึ่ง, เลเยอร์ 16-31 บนโหนดถัดไป และไล่ไปตาม Pipeline ข้อมูลที่ได้จากการประมวลผล (activations) จะไหลจากขั้นหนึ่งไปยังอีกขั้นหนึ่ง ทำให้เครื่องที่สเปกไม่สูงหลาย ๆ เครื่องสามารถรันโมเดลที่เครื่องเดียวรันไม่ได้ ไคลเอนต์ OpenAI จะไม่รับรู้สิ่งเหล่านี้ และยังคงสื่อสารกับ localhost เหมือนเดิมการเชื่อมต่อแบบกระจายศูนย์ด้วย irohทุกโหนด ไม่ว่าจะให้บริการโมเดลหรือเพียงแค่ส่งคำขอ จะมีการบูต iroh endpoint ขึ้นมา Endpoint นี้คือเอกลักษณ์ของโหนด เป็น public key และเป็นช่องทางเดียวในการสื่อสารผ่านเครือข่าย ไม่มีเซิร์ฟเวอร์ส่วนกลาง iroh จัดการเรื่อง hole-punching, NAT traversal และ relay fallback ที่จำเป็นสำหรับการเปิดการเชื่อมต่อ QUIC โดยตรงและมีการรับรองความถูกต้องระหว่างโหนดใด ๆ ก็ตาม ไม่ว่าเครื่องจะอยู่ที่ไหนก็ตามเพื่อให้การเชื่อมต่อทำงานได้ดีบนอินเทอร์เน็ต Mesh LLM รัน iroh relays สองตัวในภูมิภาคที่แตกต่างกัน เพื่อให้โหนดที่ไม่สามารถเชื่อมต่อกันได้โดยตรง ยังคงมีเส้นทางสำรองที่อยู่ใกล้เคียงโปรโตคอลทั้งหมดทำงานอยู่บน QUIC ALPN negotiation ซึ่งมี 3 แบบ:Main mesh-llm/1: การเชื่อมต่อหลักภายใน Mesh LLM ทุกอย่างจะเป็น bidirectional QUIC stream ที่มี byte นำหน้าเพื่อระบุประเภทของ stream การเชื่อมต่อเดียวนี้รองรับ gossip, inference, route queries และ peer-lifecycle events ซึ่งทั้งหมดจะถูก demux ด้วย byte แรกนี้Relay: การเชื่อมต่อผ่าน relay สำหรับโหนดที่ไม่สามารถเชื่อมต่อกันได้โดยตรงDirect: การเชื่อมต่อ QUIC โดยตรงระหว่างโหนด (เมื่อทำได้)ส่วนที่น่าสนใจคือประโยชน์ที่ได้รับ: iroh ให้การขนส่งที่ปลอดภัย (authenticated, NAT-traversing QUIC) ระหว่างเครื่องใด ๆ ก็ตาม โดยระบุผ่าน public key ทำให้ "ส่งต่อไปยัง peer" และ "ส่ง activations ไปยังขั้นตอนถัดไปใน Pipeline" กลายเป็นฟังก์ชันพื้นฐานเหมือนกับการ "คุยกับ localhost" เพียงแต่ใช้ endpoint ID ที่แตกต่างกัน การจัดการเครือข่ายจะไม่ใช่เรื่องที่คุณต้องกังวลอีกต่อไปiroh ให้การขนส่งที่ปลอดภัย Mesh LLM สร้าง layer การสื่อสารแบบ gossip ของตัวเองขึ้นมา ทำให้สามารถควบคุมได้อย่างแม่นยำว่าใครจะได้รับอนุญาตให้เข้าร่วม mesh, โมเดลเวอร์ชันใดที่เข้ากันได้ และ peer ใดที่ควรเชื่อถือผู้ใช้สามารถติดตั้งซอฟต์แวร์ที่มีน้ำหนักเบา (ประมาณ 18 MB) และเข้าร่วม public mesh หรือตั้งค่าการใช้งานแบบส่วนตัว ระบบจะแสดงตัวเองเป็น localhost:9337/v1 ให้กับไคลเอนต์ OpenAI มาตรฐานใด ๆอนาคตของ Mesh LLMแอปพลิเคชันบนมือถือกำลังจะตามมา ซึ่งสร้างขึ้นบน Swift SDK ของ iroh แผนคือการรองรับ ACP ซึ่งเป็นมาตรฐาน Agent ที่กำลังเกิดขึ้น เพื่อให้ไคลเอนต์อื่น ๆ สามารถเข้าร่วม mesh ได้เช่นกัน แนวคิดหลักยังคงเหมือนเดิมกับที่ผลักดันโครงการนี้มาตั้งแต่ต้น: เน้นการสื่อสารแบบ peer-to-peer มากขึ้น ลดการพึ่งพิงเซิร์ฟเวอร์แบบปิด และไม่มีการผูกมัด (lock-in)คำถามที่พบบ่อยMesh LLM ต่างจาก API ของผู้ให้บริการรายใหญ่ทั่วไปอย่างไร?Mesh LLM ช่วยให้คุณสามารถรวม GPU ที่คุณมีอยู่แล้วมาใช้ประมวลผลโมเดล AI ได้เอง แทนที่จะต้องจ่ายค่าบริการให้กับผู้ให้บริการภายนอก ทำให้คุณควบคุมได้มากขึ้นและอาจลดต้นทุนได้ฉันต้องมี GPU ราคาแพงเพื่อใช้งาน Mesh LLM หรือไม่?ไม่จำเป็น Mesh LLM ถูกออกแบบมาให้สามารถรวม GPU จากหลาย ๆ เครื่องที่มีอยู่แล้วได้ แม้จะเป็นเครื่องสเปกไม่สูงนัก ก็สามารถนำมารวมกันเพื่อรันโมเดลที่ใหญ่ขึ้นได้การเชื่อมต่อ Mesh LLM ปลอดภัยหรือไม่?ใช่ iroh ซึ่งเป็นเทคโนโลยีเบื้องหลัง ให้การเชื่อมต่อ QUIC ที่มีการรับรองความถูกต้อง (authenticated) และสามารถข้าม NAT ได้ ทำให้การสื่อสารระหว่างโหนดมีความปลอดภัยฉันสามารถใช้ Mesh LLM กับแอปพลิเคชัน AI ที่มีอยู่แล้วได้หรือไม่?ได้ Mesh LLM นำเสนอ API ที่เข้ากันได้กับ OpenAI ทำให้คุณสามารถชี้ไคลเอนต์ OpenAI มาตรฐานใด ๆ ไปที่ localhost:9337/v1 เพื่อใช้งานได้เลย#MeshLLM #AI #GPU #DistributedComputing #OpenAIhttps://www.iroh.computer/blog/mesh-llm