นวัตกรรม AI สู่ขอบเขต: วิธีติดตั้งและปรับปรุงโมเดลบน NVIDIA Jetson

docker run --gpus all -it --rm -v /tmp/cache:/data \

    nvcr.io/nvidia/pytorch:23.10-py3

python -m vllm.entrypoints.openai.api_server \

    --model nvidia/Nemotron-3.5-30B-Lightning \

    --tensor-parallel-size 1 \

    --engine-use-ray \

    --max-num-seqs 64 \

    --max-num-batched-tokens 4096 \

    --trust-remote-code \

    --quantization nvfp4 \

    --speculator-model nvidia/Nemotron-3.5-30B-Lightning \

    --speculator-args "method=dspark"

python -m vllm.entrypoints.openai.api_server \

    --model Qwen/Qwen3.8-27B \

    --tensor-parallel-size 1 \

    --engine-use-ray \

    --max-num-seqs 64 \

    --max-num-batched-tokens 4096 \

    --trust-remote-code \

    --quantization nvfp4 \

    --speculator-model Qwen/Qwen3.8-27B \

    --speculator-args "method=dflash2"

นวัตกรรม AI สู่ขอบเขต: วิธีติดตั้งและปรับปรุงโมเดลบน NVIDIA Jetsonการประมวลผล AI ขั้นสูงและการทำงานแบบ Agentic AI ที่ขอบเขต (Edge) เคยเป็นเรื่องที่ซับซ้อนกว่าที่ควรจะเป็น เนื่องจากโมเดลที่สามารถทำการวิเคราะห์แบบหลายขั้นตอนมักมีขนาดใหญ่เกินไปที่จะทำงานบนฮาร์ดแวร์ขนาดเล็กที่ขอบเขตได้โดยตรง แต่ปัจจุบันสถานการณ์ได้เปลี่ยนไปแล้ว! ด้วยการมาถึงของโมเดลขนาดกะทัดรัดที่เปิดให้ใช้งานในปี 2026 ทำให้ความสามารถในการวิเคราะห์และสร้างสรรค์แบบ Agentic AI ที่เคยต้องการระบบขนาดใหญ่ใน Data Center สามารถทำงานบน NVIDIA Jetson ได้แล้วAI ยุคใหม่ที่ทำงานได้รวดเร็วและชาญฉลาดขึ้นโมเดล AI ที่พัฒนาขึ้นใหม่ เช่น Nemotron 3.5 Lightning ที่ใช้สถาปัตยกรรมแบบ Mixture-of-Experts (MoE) มีพารามิเตอร์รวม 30 พันล้านตัว แต่จะใช้งานเพียง 3 พันล้านตัวต่อโทเค็น ทำให้เหมาะสำหรับงาน Agent ที่หลากหลาย ในขณะที่ Qwen3.8-27B เป็นโมเดลแบบ Dense ที่ใช้งานทั้ง 27 พันล้านพารามิเตอร์ ทำให้แต่ละโมเดลมีความเหมาะสมกับปริมาณงาน Agent ที่แตกต่างกันเทคนิคการปรับปรุงประสิทธิภาพอย่าง NVFP4 Quantization ช่วยลดภาระการประมวลผลและหน่วยความจำที่โมเดลต้องการ และ Speculative Decoding ที่สามารถสร้างโทเค็นที่ยอมรับได้หลายตัวต่อหนึ่งรอบการตรวจสอบ เมื่อทำงานร่วมกัน เทคนิคเหล่านี้สามารถเพิ่มความเร็วในการถอดรหัส (decode throughput) ได้สูงถึง 6.28 เท่า เมื่อเทียบกับการใช้ BF16 บน Jetsonการเลือกโมเดลที่เหมาะสมกับการใช้งานการเลือกโมเดลที่เหมาะสมกับงาน Agent ของคุณเป็นสิ่งสำคัญNemotron 3.5 Lightning: เหมาะสำหรับเวิร์กโฟลว์ที่ต้องการการตอบสนองที่รวดเร็ว (response-heavy workflows) เนื่องจากสามารถสร้างโทเค็นได้ไว ช่วยลดระยะเวลาโดยรวมของกระบวนการQwen3.8-27B: เหมาะสำหรับงานที่ต้องการการตัดสินใจที่ซับซ้อนน้อยครั้ง แต่ใช้เวลาในการสร้างการตอบสนองแต่ละครั้งนานขึ้นควรทดสอบประสิทธิภาพของทั้งสองโมเดลกับรูปแบบการตัดสินใจ การใช้เครื่องมือ และรูปแบบการตอบสนองที่แอปพลิเคชันของคุณต้องการ ก่อนตัดสินใจเลือกปรับปรุงประสิทธิภาพการประมวลผล AI บน Jetsonการปรับปรุงประสิทธิภาพการประมวลผล (Inference) ของโมเดล AI บน Jetson สามารถทำได้ด้วยสองเทคนิคหลักที่ทำงานเสริมกัน:NVFP4 Quantization: ลดปริมาณงานและหน่วยความจำที่ต้องใช้ในการประมวลผลโมเดล โดยการลดความแม่นยำของค่าตัวเลข ทำให้การสร้างโทเค็นเร็วขึ้นและใช้หน่วยความจำน้อยลง โดยยังคงคุณภาพใกล้เคียงกับ BF16Speculative Decoding: เพิ่มจำนวนโทเค็นที่ได้จากการประมวลผลแต่ละครั้ง โดยใช้โมเดลขนาดเล็ก (Draft Model) เสนอโทเค็นหลายตัว จากนั้นโมเดลหลักจะตรวจสอบโทเค็นเหล่านั้นพร้อมกัน ซึ่งหากโมเดลหลักยอมรับโทเค็นหลายตัว การประมวลผลก็จะก้าวไปได้หลายโทเค็นในหนึ่งรอบการตรวจสอบเมื่อรวมสองเทคนิคนี้เข้าด้วยกัน จะช่วยเพิ่มประสิทธิภาพได้มากกว่าการใช้เทคนิคใดเทคนิคหนึ่งเพียงอย่างเดียวการเลือกวิธีการ Speculative Decoding ที่เหมาะสมวิธีการที่ใช้ในการสร้าง Draft Tokens แต่ละวิธีมีผลต่อต้นทุนและความแม่นยำของข้อเสนอ เช่นMTP: ใช้ Prediction Heads ที่ฝึกร่วมกับโมเดลหลักDFlash: ใช้ Draft Model แบบ Diffusion-based ในการเสนอ Block ของโทเค็นแบบขนานDSpark: พัฒนาต่อยอดจาก DFlash โดยมีการแก้ไข Draft และหยุดข้อเสนอที่ไม่ดีตั้งแต่เนิ่นๆ ทำให้เร็วกว่าเมื่อมี Checkpoint ที่ตรงกัน แต่รองรับ Checkpoint น้อยกว่าข้อควรจำ: การตั้งค่า Speculative Decoding ที่เร็วที่สุดอาจแตกต่างกันไปในแต่ละโมเดล Nemotron 3.5 Lightning ทำงานได้ดีที่สุดกับ DSpark ในขณะที่ Qwen3.8-27B ทำงานได้ดีที่สุดกับ DFlash2 ดังนั้น นักพัฒนาควรทดสอบวิธีการและ Draft Checkpoint ต่างๆ กับโมเดลเป้าหมายของตนเองการติดตั้งและทดสอบโมเดลบน Jetsonสำหรับผู้ที่ใช้ Jetson AGX Thor หรือ Jetson AGX Orin และมี JetPack 7.2 พร้อมการตั้งค่า NVIDIA Container Runtime และ Docker สามารถติดตั้งโมเดลได้ดังนี้:สำหรับ Nemotron 3.5 Lightning: (ใช้ NVFP4 ร่วมกับ DSpark)docker run --gpus all -it --rm -v /tmp/cache:/data \ nvcr.io/nvidia/pytorch:23.10-py3จากนั้นรันคำสั่งภายใน Container:python -m vllm.entrypoints.openai.api_server \ --model nvidia/Nemotron-3.5-30B-Lightning \ --tensor-parallel-size 1 \ --engine-use-ray \ --max-num-seqs 64 \ --max-num-batched-tokens 4096 \ --trust-remote-code \ --quantization nvfp4 \ --speculator-model nvidia/Nemotron-3.5-30B-Lightning \ --speculator-args "method=dspark"สำหรับ Qwen3.8-27B: (ใช้ NVFP4 ร่วมกับ DFlash2)ใช้ Container เดียวกันที่เปิดด้วยคำสั่งข้างต้น แล้วรันคำสั่งนี้ภายใน Container:python -m vllm.entrypoints.openai.api_server \ --model Qwen/Qwen3.8-27B \ --tensor-parallel-size 1 \ --engine-use-ray \ --max-num-seqs 64 \ --max-num-batched-tokens 4096 \ --trust-remote-code \ --quantization nvfp4 \ --speculator-model Qwen/Qwen3.8-27B \ --speculator-args "method=dflash2"การตรวจสอบประสิทธิภาพกับปริมาณงานจริงแม้ว่า Benchmark ระดับโมเดลจะช่วยให้เลือกการตั้งค่า Speculative Decoding ที่เหมาะสมได้ แต่แอปพลิเคชันต่างๆ สร้างข้อความแตกต่างกัน และประสิทธิภาพก็อาจเปลี่ยนแปลงไปตามปริมาณงาน (Workload)การทดสอบประสิทธิภาพด้วย Prompt ที่เป็นตัวแทนของแอปพลิเคชันจริงจึงเป็นสิ่งสำคัญ เพราะ Benchmark ทั่วไปไม่สามารถยืนยันได้ว่า Checkpoint ที่เลือกนั้นยังคงพฤติกรรมที่สำคัญต่อข้อมูลเฉพาะของคุณหรือไม่ตัวอย่างเช่น Nemotron 3.5 Lightning กับ DSpark มีช่วงความเร็วตั้งแต่ 123.01 ถึง 138.02 Output Tokens/s ในขณะที่ Qwen3.8-27B กับ DFlash2 มีช่วงความเร็วตั้งแต่ 27.69 ถึง 34.44 Output Tokens/s ซึ่งตัวเลขนี้แตกต่างกันไปตามประเภทของงาน (เช่น การเขียน, การให้เหตุผล, การสรุป, หรือ Retrieval-Augmented Generation)เมื่อไหร่ควรฝึก Custom Checkpoint?สำหรับแอปพลิเคชันส่วนใหญ่ ควรเริ่มต้นด้วย Quantized Checkpoint และ Draft Model ที่มีอยู่แล้ว ซึ่งมักจะเพียงพอที่จะให้ความแม่นยำที่ดีและเพิ่มความเร็วได้อย่างมีประสิทธิภาพ โดยไม่ต้องฝึกโมเดลใหม่หากการ Quantization ส่งผลให้ความแม่นยำลดลง สามารถใช้ NVIDIA Model Optimizer เพื่อปรับแต่งโมเดลที่ Quantized แล้ว ด้วยเทคนิค Quantization-Aware Training (QAT) หรือ Quantization-Aware Distillation (QAD)ในทำนองเดียวกัน สำหรับ Speculative Decoding หาก Draft Checkpoint สาธารณะที่เข้ากันได้กับโมเดลของคุณให้ความเร่งน้อยกว่าที่คาดหวัง อาจจำเป็นต้องฝึก Speculator ที่เข้ากันได้ด้วยข้อมูลแอปพลิเคชันของคุณเองแหล่งข้อมูลเพิ่มเติมสำรวจโมเดล, ผลการ Benchmark, สูตรแนะนำ และการเปรียบเทียบประสิทธิภาพบนแพลตฟอร์ม Jetson ต่างๆ ได้ที่ [Jetson AI Lab Models](https://developer.nvidia.com/blog/frontier-reasoning-reaches-the-edge/jetson-ai-lab-models/)ศึกษาคู่มือการติดตั้ง LLMs และ VLMs บน Jetson เพื่อดูคำแนะนำในการติดตั้งจริง: [Running LLMs and VLMs on Jetson tutorial](https://developer.nvidia.com/blog/frontier-reasoning-reaches-the-edge/running-llms-and-vlms-on-jetson-tutorial/)เจาะลึกการใช้เทคนิคการปรับปรุงประสิทธิภาพด้วยคู่มือ Speculative Decoding: [Getting started with speculative decoding tutorial](https://developer.nvidia.com/blog/frontier-reasoning-reaches-the-edge/getting-started-with-speculative-decoding-tutorial/)การนำ AI ขั้นสูงมาสู่ขอบเขตเปิดโอกาสใหม่ๆ มากมาย ตั้งแต่ผู้ช่วยในห้องโดยสารรถยนต์ การตรวจจับความผิดปกติแบบเรียลไทม์ ไปจนถึงหุ่นยนต์ที่ทำงานในสภาพแวดล้อมที่ท้าทาย ทำให้ผู้เชี่ยวชาญสามารถทำงานได้อย่างมีประสิทธิภาพมากขึ้น และระบบสำคัญก็ยังคงทำงานได้แม้ในขณะที่การเชื่อมต่ออินเทอร์เน็ตมีจำกัดหรือขาดหายไปhttps://developer.nvidia.com/blog/frontier-reasoning-reaches-the-edge-how-to-deploy-and-optimize-models-on-nvidia-jetson/