Reachy Mini สั่งงานด้วยเสียงแบบ Local เต็มรูปแบบ: คุยกับหุ่นยนต์ได้โดยไม่ต้องพึ่งคลาวด์ 🤖💬

./server -m ggml-org/gemma-4-E4B-it-GGUF -np 2 -c 65536 -fa on --swa-full

pip install -U speech-to-speech

speech-to-speech --mode local

./server --responses-api --host 0.0.0.0 --port 8080

speech-to-speech --responses_api_base_url http://127.0.0.1:8080/v1/chat/completions

python -m vllm.entrypoints.openai.api_server \

    --model Qwen/Qwen3-4B-Instruct-2507 \

    --enable-auto-tool-choice \

    --tool-call-parser qwen3_coder \

    --default-chat-template-kwargs '{"enable_thinking":false}' \

    --speculative-config '{"method": "llama.cpp", "model_path": "llama.cpp"}' 

# หากต้องการใช้ Multi-Token Prediction

python -m mlx_lm.server --model Qwen3-4B-Instruct-2507 --host 127.0.0.1 --port 8080

Reachy Mini สั่งงานด้วยเสียงแบบ Local เต็มรูปแบบ: คุยกับหุ่นยนต์ได้โดยไม่ต้องพึ่งคลาวด์ 🤖💬เคยฝันอยากคุยกับหุ่นยนต์ Reachy Mini ของคุณได้อย่างเป็นธรรมชาติ โดยไม่ต้องกังวลเรื่องการเชื่อมต่ออินเทอร์เน็ต ค่าใช้จ่าย API หรือความเป็นส่วนตัวของข้อมูลหรือไม่? วันนี้ฝันนั้นเป็นจริงแล้ว! Hugging Face ได้เปิดตัวโซลูชันสุดล้ำที่ให้คุณรันระบบประมวลผลเสียงแบบครบวงจร (Speech-to-Speech) บนเครื่องของคุณเองได้ทั้งหมด ทำให้ Reachy Mini สามารถตอบโต้กับคุณได้อย่างไหลลื่น โดยข้อมูลทุกอย่างจะอยู่ภายในเครื่องของคุณเท่านั้นบทความนี้จะพาคุณไปสำรวจวิธีการตั้งค่าและใช้งานระบบ Reachy Mini แบบ Local เต็มรูปแบบ พร้อมแนะนำส่วนประกอบที่น่าสนใจ เพื่อให้คุณสามารถสร้างประสบการณ์การสนทนาที่ปลอดภัย เป็นส่วนตัว และมีประสิทธิภาพสูงสุดทำไมต้อง Reachy Mini แบบ Local? 💡การรันระบบประมวลผลเสียงแบบ Local มีข้อดีที่เหนือกว่าการใช้ระบบที่ต้องเชื่อมต่อคลาวด์อย่างชัดเจน:ความเป็นส่วนตัวสูงสุด: ข้อมูลเสียงและการสนทนาของคุณจะไม่ถูกส่งออกนอกเครื่องคอมพิวเตอร์หรือเครือข่ายที่คุณควบคุมประหยัดค่าใช้จ่าย: ไม่ต้องเสียค่าธรรมเนียมรายนาทีหรือรายโทเค็นจากการใช้งาน APIปรับแต่งได้เต็มที่: คุณสามารถเลือกและสลับเปลี่ยนส่วนประกอบต่างๆ ในระบบได้ตามต้องการ ไม่ว่าจะเป็นโมเดล VAD (Voice Activity Detection), STT (Speech-to-Text), LLM (Large Language Model) หรือ TTS (Text-to-Speech) เมื่อมีโมเดลใหม่ๆ ที่ดีกว่าออกมาหัวใจของระบบ: สถาปัตยกรรมแบบ Cascade 🛠️ระบบ Speech-to-Speech นี้ใช้สถาปัตยกรรมแบบ Cascade ซึ่งหมายถึงการนำโมเดลหลายๆ ตัวมาต่อกันเป็นท่อส่งข้อมูล (pipeline) เพื่อประมวลผลเสียงตั้งแต่ต้นจนจบ ประกอบด้วย:VAD (Voice Activity Detection): ตรวจจับว่ามีเสียงพูดหรือไม่STT (Speech-to-Text): แปลงเสียงพูดให้เป็นข้อความLLM (Large Language Model): สร้างคำตอบหรือประมวลผลคำสั่งจากข้อความTTS (Text-to-Speech): แปลงข้อความคำตอบให้เป็นเสียงพูดสถาปัตยกรรมแบบ Cascade นี้มีความยืดหยุ่นสูง และหากเลือกส่วนประกอบที่เหมาะสม ก็สามารถทำความเร็วได้ดีเยี่ยมส่วนประกอบที่แนะนำสำหรับการรันแบบ Local ✅ทีมงาน Hugging Face ได้แนะนำชุดส่วนประกอบที่ทำงานร่วมกันได้ดีเยี่ยมสำหรับการตั้งค่า Reachy Mini แบบ Local ดังนี้:LLM: llama.cpp ร่วมกับโมเดล Gemma 4 (เวอร์ชัน GGUF)VAD: Silero VADSTT: Parakeet-TDT 0.6B v3 STTTTS: Qwen3-TTSขั้นตอนการติดตั้งและตั้งค่า 🚀1. การรัน LLM ด้วย llama.cppเริ่มต้นด้วยการติดตั้ง llama.cpp ซึ่งเป็นเครื่องมือที่ช่วยให้คุณรันโมเดล LLM ขนาดใหญ่บนฮาร์ดแวร์ทั่วไปได้อย่างมีประสิทธิภาพการติดตั้ง (ตัวอย่าง):macOS: brew install llama.cppWindows: winget install llama.cpp(สำหรับรายละเอียดเพิ่มเติม โปรดดูเอกสารของ llama.cpp)คำสั่งสำหรับรัน LLM Server:./server -m ggml-org/gemma-4-E4B-it-GGUF -np 2 -c 65536 -fa on --swa-full-m ggml-org/gemma-4-E4B-it-GGUF: ระบุโมเดล LLM ที่จะดาวน์โหลดจาก Hugging Face Hub (ครั้งแรกจะใช้เวลาดาวน์โหลด)-np 2: กำหนดจำนวนช่องสัญญาณประมวลผลแบบขนาน (สามารถรองรับคำขอที่ซ้อนกันได้)-c 65536: กำหนดขนาด Context Window (64k tokens) เพื่อรองรับบทสนทนาที่ยาว-fa on: เปิดใช้งาน Flash Attention เพื่อเพิ่มความเร็วและลดการใช้หน่วยความจำ--swa-full: เปิดใช้งาน Sliding Window Attention แบบเต็ม เพื่อเพิ่มความเร็วในการประมวลผล Prompt2. การตั้งค่า Speech-to-Speech Libraryถัดมาคือการติดตั้งไลบรารี speech-to-speech ซึ่งเป็นหัวใจหลักของระบบประมวลผลเสียงการติดตั้ง:pip install -U speech-to-speechคำสั่งสำหรับรัน Local Speech-to-Speech Server:เมื่อ LLM Server ทำงานอยู่แล้ว ให้เปิด Terminal ใหม่แล้วรันคำสั่งนี้:speech-to-speech --mode localครั้งแรกที่รัน ระบบจะดาวน์โหลดโมเดล Parakeet-TDT 0.6B v3 และ Qwen3-TTS หากต้องการความเร็วในการดาวน์โหลดครั้งต่อไป รันคำสั่งเดิมได้เลยเมื่อตั้งค่า --mode local สำเร็จ คุณจะสามารถสนทนากับโมเดลผ่าน Terminal ได้โดยตรง หลังจากลองทดสอบในโหมด Local แล้ว คุณสามารถรันคำสั่งเดิมโดย ไม่ต้อง ใส่ --mode local เพื่อให้ระบบ Speech-to-Speech พร้อมเชื่อมต่อกับหุ่นยนต์ Reachy Mini3. การเชื่อมต่อ Reachy Mini กับ Speech-to-Speech 🔗เมื่อคุณมี llama.cpp และ speech-to-speech ทำงานอยู่บนเครื่องของคุณแล้ว ให้ทำตามขั้นตอนต่อไปนี้:เปิดแอปพลิเคชัน Reachy Mini จากหน้า Desktopเปิดแอปพลิเคชันสำหรับสนทนา (Conversation App)ใน UI ของ Conversation App ให้เลือกโหมด Local โดยคลิกที่ "Edit Connection" ในส่วน HF Backendเลือกการเชื่อมต่อแบบ Localหลังจากทำตามขั้นตอนเหล่านี้ คุณก็จะสามารถเริ่มสนทนากับ Reachy Mini ด้วยเสียงของคุณเองได้แล้ว!หมายเหตุ: คุณภาพและความเร็วของแต่ละส่วนประกอบใน Pipeline เป็นการแลกเปลี่ยน (trade-off) เช่น โมเดล TTS บางตัวอาจเร็วแต่คุณภาพเสียงไม่สูงนัก หรือโมเดล STT บางตัวอาจช้าแต่มีความแม่นยำสูง การตั้งค่าเริ่มต้นถูกปรับให้รองรับหลายภาษา แต่คุณสามารถปรับแต่งให้เหมาะกับภาษาที่คุณต้องการได้การปรับแต่งเพิ่มเติม 🚀ระบบ Speech-to-Speech นี้ให้ความยืดหยุ่นในการปรับแต่งสูง คุณสามารถเลือกใช้ LLM จากแหล่งอื่น หรือตั้งค่าให้ LLM ทำงานแยกจากส่วนประมวลผลเสียงได้การใช้ LLM ผ่าน API (Responses API Protocol)หากต้องการลดภาระการประมวลผลบนเครื่อง หรือต้องการใช้โมเดล LLM ที่มีประสิทธิภาพสูง คุณสามารถตั้งค่าให้ระบบ Speech-to-Speech สื่อสารกับ LLM Server ผ่าน HTTP ได้ โดย LLM Server นั้นต้องรองรับ Responses API Protocolตัวอย่างการรัน llama.cpp Server แบบใช้ API:./server --responses-api --host 0.0.0.0 --port 8080ตัวอย่างการรัน speech-to-speech Client ที่เชื่อมต่อกับ API Server:speech-to-speech --responses_api_base_url http://127.0.0.1:8080/v1/chat/completionsการใช้ vLLM (สำหรับโมเดลที่รองรับ)vLLM เป็นอีกทางเลือกที่ยอดเยี่ยมสำหรับการรัน LLM ที่มีประสิทธิภาพสูง โดยเฉพาะบน GPUคำสั่งรัน vLLM Server (ตัวอย่าง):python -m vllm.entrypoints.openai.api_server \ --model Qwen/Qwen3-4B-Instruct-2507 \ --enable-auto-tool-choice \ --tool-call-parser qwen3_coder \ --default-chat-template-kwargs '{"enable_thinking":false}' \ --speculative-config '{"method": "llama.cpp", "model_path": "llama.cpp"}' # หากต้องการใช้ Multi-Token Predictionการใช้ Hugging Face Inference Endpoints หรือ Inference Providerหากไม่ต้องการจัดการ GPU เอง คุณสามารถใช้บริการ Inference Endpoints ของ Hugging Face หรือ Inference Provider เจ้าอื่นๆ (เช่น Together, Fireworks, Replicate) เพียงแค่ชี้ URL ไปยัง Endpoint ที่คุณสร้างไว้การใช้ MLX (สำหรับ Mac M-Series)สำหรับผู้ใช้ Mac ที่ใช้ชิป Apple Silicon (M-series) MLX เป็นวิธีที่ง่ายที่สุดในการรันโมเดล LLM ที่มีประสิทธิภาพ โดยเฉพาะโมเดลขนาดเล็กอย่าง Qwen3-4B-Instruct-2507 ที่ให้ความเร็วในการตอบสนองที่ดีคำสั่งรัน MLX Server (ตัวอย่าง):python -m mlx_lm.server --model Qwen3-4B-Instruct-2507 --host 127.0.0.1 --port 8080การใช้ Vanilla Transformers (สำหรับ GPU บน Linux)หากคุณใช้การ์ดจอ (GPU) บนระบบ Linux หรือต้องการความยืดหยุ่นในการสลับโมเดล การใช้ไลบรารี transformers แบบดั้งเดิมก็เป็นทางเลือกที่ดีตัวอย่างการตั้งค่า:ระบุโมเดลที่ต้องการ เช่น Qwen3-4B-Instruct-2507 หรือโมเดลอื่นๆ ที่รองรับบน Hugging Face Hubสรุป: ควบคุม Reachy Mini ได้เต็มที่ด้วยระบบ Local 🌟การตั้งค่า Reachy Mini ให้ทำงานแบบ Local เต็มรูปแบบด้วยระบบ Speech-to-Speech นี้ เปิดมิติใหม่แห่งการโต้ตอบกับหุ่นยนต์ มอบทั้งความเป็นส่วนตัว ควบคุมค่าใช้จ่าย และอิสระในการปรับแต่งส่วนประกอบต่างๆ ให้เหมาะกับความต้องการของคุณ ไม่ว่าคุณจะเป็นนักพัฒนาที่ต้องการทดลองกับโมเดล AI ล่าสุด หรือผู้ที่ให้ความสำคัญกับความเป็นส่วนตัว การตั้งค่านี้คือคำตอบที่สมบูรณ์แบบอย่าลืม! กด Star ที่ repository huggingface/speech-to-speech และ Pollen-Robotics/reachyminiconversation_app เพื่อติดตามการพัฒนาและร่วมแบ่งปันประสบการณ์ของคุณกับชุมชน#ReachyMini #LocalAI #SpeechToSpeech #Robotics #HuggingFacehttps://huggingface.co/blog/local-reachy-mini-conversation