พัฒนาแอปพลิเคชัน NVIDIA Holoscan ด้วย CLI, Skills และ AI Coding Agents 🚀

พัฒนาแอปพลิเคชัน NVIDIA Holoscan ด้วย CLI, Skills และ AI Coding Agents 🚀NVIDIA Holoscan คือแพลตฟอร์มที่ออกแบบมาเพื่อสร้างแอปพลิเคชัน AI แบบเรียลไทม์บน Edge ได้อย่างมีประสิทธิภาพ ตั้งแต่การประมวลผลภาพทางการแพทย์ไปจนถึงระบบหุ่นยนต์ และ HoloHub ก็เป็นคลังเก็บแอปพลิเคชันอ้างอิงที่เติบโตขึ้นเรื่อยๆ เพื่อแสดงให้เห็นถึงศักยภาพของแพลตฟอร์มนี้บทความนี้จะพาไปเจาะลึกกระบวนการพัฒนาแอปพลิเคชันเพื่อการแบ่งส่วนเครื่องมือในการส่องกล้องแบบเรียลไทม์ โดยใช้ NVIDIA Holoscan และ HoloHub พร้อมผู้ช่วยอย่าง AI Coding Agent ซึ่งอาศัยการพัฒนาแบบวนซ้ำ (Iterative Development) ที่มีเป้าหมายและข้อจำกัดชัดเจนจากวิศวกรการทำงานร่วมกันระหว่างวิศวกรและ AI Coding Agents 🤝กระบวนการพัฒนาแต่ละรอบจะประกอบด้วย:การกำหนดเป้าหมาย: วิศวกรเป็นผู้กำหนดวัตถุประสงค์และข้อจำกัดการนำไปปฏิบัติ: AI Coding Agent จะทำการเขียนโค้ด ทดสอบ และใช้เครื่องมือ CLI ของ Holoscan รวมถึงเอกสารและตัวอย่างจาก HoloHubการประเมินผล: วิศวกรตรวจสอบโค้ด ผลลัพธ์ และการทดสอบ จากนั้นจึงกำหนดเป้าหมายสำหรับรอบถัดไปกระบวนการนี้สามารถใช้กับ AI Coding Agent ได้หลากหลาย โดยในตัวอย่างนี้ใช้ Codex ร่วมกับ GPT-5.6 sol max modeการตั้งค่าและเป้าหมายการพัฒนา 🛠️เป้าหมายหลักคือการสร้างแอปพลิเคชัน End-to-End สำหรับการแบ่งส่วนเครื่องมือในการส่องกล้องแบบเรียลไทม์ พร้อมแสดงผลการแบ่งส่วน (Segmentation Masks) และการวิเคราะห์ทางสถิติทีมได้นำโมเดล MONAI endoscopic tool segmentation และวิดีโอตัวอย่างของ Holoscan มาใช้ และยืนยันว่าแอปพลิเคชัน monai\endoscopic\tool\_seg สามารถทำงานได้ในเครื่องก่อน โดยเน้นการสร้างแอปพลิเคชันใหม่ที่ใช้ Pipeline การแบ่งส่วนด้วย Deep Learning พร้อมเพิ่มการแสดงผลที่ครอบคลุม การวัดประสิทธิภาพขณะทำงาน (Runtime Telemetry) และการวัดประสิทธิภาพที่ทำซ้ำได้ (Repeatable Benchmarking)นอกจากนี้ AI Coding Agent ยังได้รับทรัพยากรเพิ่มเติมดังนี้:Holoscan CLI พร้อมสิทธิ์การรัน BashHoloHub Repository พร้อมเอกสารในรูปแบบ Progressive Disclosure ผ่าน agents.mdHoloHub Development Skills เช่น holohub-app-lifecycle และ holohub-debug-build-runการแบ่งเป้าหมายเป็นรอบเล็กๆ (Iteration 0) 🎯แทนที่จะพยายามสร้างแอปพลิเคชันทั้งหมดด้วย Prompt เดียว การแบ่งเป้าหมายใหญ่ออกเป็นรอบการพัฒนาเล็กๆ ที่สามารถตรวจสอบผลได้ จะช่วยให้การตัดสินใจในการออกแบบมีความทันท่วงทีเป้าหมายรวมสามารถจัดโครงสร้างเป็นหัวข้อที่ตรวจสอบได้ดังนี้:สภาพแวดล้อมการพัฒนาพร้อมสำหรับรันแอปพลิเคชันที่คล้ายคลึงกันในเครื่องหรือไม่?โมเดลและวิดีโอที่มีอยู่สามารถรันในแอปพลิเคชัน End-to-End แบบแยกได้หรือไม่?การแสดงผลให้ข้อมูลที่มีความหมายหรือไม่?สามารถวัด Latency ซ้ำๆ ได้หรือไม่?สามารถปรับปรุง Throughput การเรนเดอร์โดยไม่กระทบคุณสมบัติอื่นได้หรือไม่?แต่ละรอบการพัฒนาจะสร้างโค้ด ผลลัพธ์ และการทดสอบที่สามารถตรวจสอบได้ ซึ่งจะนำไปสู่การปรับปรุง Prompt และการออกแบบในรอบถัดไปสร้างแอปพลิเคชันที่ทำงานได้ขั้นต่ำ (Iteration 1) ✅Prompt แรกกำหนดผลลัพธ์ที่ต้องการ โดยจำกัดการใช้โมเดลและข้อมูลที่มีอยู่ ทำให้ AI Agent สามารถเลือกวิธีการนำไปปฏิบัติได้เองAI Agent ได้รวบรวมข้อมูลจากแหล่งที่กำหนด เช่น อ่าน Skill ของ App Lifecycle, ตัวอย่างจาก HoloHub, Metadata ของโปรเจกต์ และเอกสาร CLIการดำเนินการต่างๆ ที่คาดหวัง:ตรวจสอบรูปแบบการใช้งาน endoscopy, segmentation, HoloViz, recording และ testing ที่เกี่ยวข้อง โดยเฉพาะ monai\endoscopic\tool\seg, endoscopy\tool\tracking, surgical\scene\_reconรันคำสั่ง ./holohub create เพื่อสร้างและลงทะเบียนโครงสร้างพื้นฐานมาตรฐานสร้าง Application Graph, Execution Modes, Tests และ Documentation โดยใช้ Holoscan Operators และ Assets ที่มีอยู่สร้างและรันแอปพลิเคชันผ่าน ./holohub run โดยใช้ Metadata ที่กำหนดโดย CLIผลลัพธ์คือแอปพลิเคชันที่เชื่อมต่อการเล่นวิดีโอ, Preprocessing, TensorRT Inference, SDK Segmentation Postprocessor, Telemetry และ HoloViz การ Inference และ Mask Postprocessing ทำงานทุกเฟรมที่เล่น และ Overlay รายงานการวัดค่าจากเฟรมเวลาประมวลผลของ Agent อยู่ที่ 40 นาที วิศวกรสามารถตรวจสอบแอปพลิเคชันสดผ่าน CLI เดียวกันที่ Agent ใช้ทำให้การตรวจสอบในอนาคตทำซ้ำได้ด้วยการวัดประสิทธิภาพ (Iteration 2) 📊Prompt ที่สองเปลี่ยนจากการสาธิตด้วยภาพให้กลายเป็นการวัดผลที่ทำซ้ำได้AI Agent ได้ปรับปรุงการวัดค่าแบบไดนามิกและความชัดเจนของภาพ Screenshot จากนั้นทำให้ Visual Review และ Benchmarking เป็น Application Mode ที่ชัดเจน แอปพลิเคชันถูกสร้างให้มี 3 โหมด:Dev Mode: สำหรับการพัฒนาและแก้ไขข้อผิดพลาดHoloViz Mode: สำหรับการดูผลลัพธ์แบบเรียลไทม์Benchmark Mode: สำหรับการวัดประสิทธิภาพด้วย Holoscan CLI และการจัดการ Application Lifecycle โหมดต่างๆ และการทดสอบสามารถค้นหาและรันได้โดยไม่ต้องจำรายละเอียดของ Container หรือ ScriptBenchmark Mode ใช้ Holoscan Data Flow Tracking สำหรับเส้นทางที่กำหนดไว้ ตั้งแต่ Video Replayer ผ่าน Preprocessing, Inference, Telemetry, Offscreen HoloViz และ Rendered-Frame Sink ซึ่งเป็นการนำแนวคิดจาก Holoscan Flow Benchmarking Module มาใช้ได้อย่างมีประสิทธิภาพ เวลาประมวลผลของ Agent อยู่ที่ 20 นาทีการวัดผลที่ปรับปรุงแล้วทำให้การวัดค่ามีความแม่นยำและทำซ้ำได้มากขึ้น เมื่อมี Baseline นี้แล้ว รอบถัดไปจะสามารถตรวจสอบประสิทธิภาพได้โดยไม่ต้องอาศัยการดูด้วยตาเพียงอย่างเดียวตรวจสอบและปรับปรุง Latency (Iteration 3) ⏱️เมื่อแอปพลิเคชันสามารถวัดผลได้ วิศวกรได้ออก Prompt ที่สามเพื่อตรวจสอบและปรับปรุง LatencyAI Agent ยืนยันว่า Inference ยังคงทำงานทุกเฟรม และพิจารณาการนำ Mask จากเฟรมก่อนหน้ามาใช้ ซึ่งอาจช่วยลดภาระการ Inference ได้บ้าง แต่ก็ต้องมีนโยบายในการยอมรับผลลัพธ์ที่อาจล้าสมัย สำหรับรอบนี้ Agent ยังคงให้ Inference ทำงานทุกเฟรม และเริ่มต้นด้วยการลดภาระที่ไม่สำคัญของ Dashboard:นำ HoloViz Input Specifications และ Static Coordinate Tensors มาใช้ใหม่ พร้อมอัปเดต Text และ Dynamic Geometry ทุกเฟรมQueue การคัดลอกข้อมูล GPU-to-Host Telemetry จำนวน 10 ค่าแบบ Asynchronous ใน Buffer สองอัน และทำการ Render ด้วยค่าที่เสร็จสมบูรณ์ก่อนหน้าเมื่อเปรียบเทียบการนำไปปฏิบัติรอบแรกกับรอบสุดท้ายบนระบบทดสอบเดียวกัน เวอร์ชันที่ปรับปรุงแล้วเร็วกว่าในทุกการวัด 5 ครั้ง เวลาประมวลผลของ Agent อยู่ที่ 30 นาทีการส่งมอบงานสุดท้ายและการตรวจสอบซ้ำ (Final Handoff and Revalidation) 🏁หลังจากการพัฒนา 3 รอบ วิศวกรได้ให้ Prompt การส่งมอบงานแยกต่างหากแก่ Agentเพื่อสรุปความคืบหน้า ได้มีการรันแอปพลิเคชันและการทดสอบซ้ำ ตรวจสอบตัวเลขผลลัพธ์ และผลการทดสอบแบบ Headless การนำไปปฏิบัติและหลักฐานการ Benchmark ถูกเก็บรักษาไว้พร้อมกับ Commit Hash และเวอร์ชันของ Dependency ผ่าน ./holohub env-check และ ./holohub env-infoการศึกษาเปรียบเทียบผลกระทบของทรัพยากรต่างๆ 🔬เพื่อทำความเข้าใจผลกระทบของ CLI, Skills และ Documentation ได้ดียิ่งขึ้น จึงได้ทำการเปรียบเทียบงานพัฒนาเดียวกันภายใต้การผสมผสานทรัพยากรที่แตกต่างกัน(หมายเหตุ: การศึกษาดำเนินการครั้งล่าสุดเมื่อวันที่ 1 สิงหาคม โดยใช้ Codex 0.146.0 กับ GPT-5.6 Sol ที่ระดับการประมวลผลสูงสุด การประเมินทั้งหมดอิงตาม Prompt เดียวกันกับ Iteration 1)1. CLI + Skills + Docs/Examples (ตามที่นำเสนอในบทความนี้)เวลาประมวลผล Agent: 40 นาทีปริมาณ Token ทั้งหมด: 11 ล้าน Tokenผลลัพธ์: เป็น Workflow ที่มีประสิทธิภาพสูงสุด ให้ผลลัพธ์คุณภาพสูง โดยมี Overhead ทรัพยากรต่ำที่สุด2. Docs/Examples + Skills (ไม่มี CLI)เวลาประมวลผล Agent: 65 นาทีปริมาณ Token ทั้งหมด: 20 ล้าน Tokenผลลัพธ์: Workflow สามารถสร้างแอปพลิเคชันที่สมบูรณ์และบรรลุเป้าหมายการนำไปปฏิบัติได้ แต่กระบวนการไม่มีประสิทธิภาพเท่าที่ควร Agent ค้นหาแอปที่คล้ายกันใน HoloHub ได้ แต่มีแนวโน้มที่จะใช้เครื่องมือ Bash ทั่วไป ซึ่งต้องใช้การลองผิดลองถูกมากขึ้น3. CLI + Docs/Examples (ไม่มี Skills)เวลาประมวลผล Agent: 40 นาทีปริมาณ Token ทั้งหมด: 15 ล้าน Tokenผลลัพธ์: คุณภาพโค้ดต่ำกว่าสองแบบแรก Agent เข้าใจการใช้ CLI จากโค้ดเบสตัวอย่าง แต่:การกำหนดค่าโมเดล Third-party และโค้ดถูกฝังในโค้ดแอปพลิเคชันอย่างไม่ถูกต้องสร้าง Dockerfile โดยไม่ใช้ประโยชน์จาก HoloHub Base Image ที่มี Dependency ครบถ้วนละเลย Holoscan Operators ที่ปรับปรุงประสิทธิภาพแล้ว เช่น TensorRT Inference และ Format Converter ส่งผลให้เวอร์ชันนี้ช้ากว่าสองแบบแรกถึง 2.6 เท่าแม้ว่า Prompt ติดตามผลอาจช่วยแก้ไขปัญหาเหล่านี้ได้ แต่การผสมผสานระหว่าง CLI, Skills และ Documentation/Examples ให้ประสบการณ์การพัฒนาที่ดีที่สุดพร้อม Overhead ทรัพยากรที่ต่ำที่สุดวงจรการพัฒนาร่วมสำหรับวิศวกรและ Agent 💡บทความนี้แสดงให้เห็นถึงวงจรการพัฒนาขนาดเล็กที่สามารถตรวจสอบผลได้ ผลลัพธ์คือต้นแบบทางวิศวกรรมที่สร้างขึ้นบนโมเดล, วิดีโอตัวอย่าง และส่วนประกอบ Holoscan ที่มีอยู่ แอปพลิเคชันทำงานแบบ End-to-End, มีหลายโหมดการทำงานและมีการทดสอบอัตโนมัติ, รักษา Model Weights และบันทึกหลักฐาน Benchmark ที่ทำซ้ำได้ประเด็นหลักคือวงจรการพัฒนาที่แชร์กันระหว่างวิศวกรและ Agent: ./holohub ให้การดำเนินการที่สอดคล้องกัน, Skills เข้ารหัสลำดับและตรวจสอบเฉพาะโปรเจกต์, และตัวอย่าง/เอกสารให้บริบททางวิศวกรรม Agent และวิศวกรใช้คำสั่ง CLI เดียวกัน วิศวกรสามารถมุ่งเน้นไปที่การกำหนดวัตถุประสงค์, ตั้งค่าข้อจำกัด, ประเมิน Trade-offs และตัดสินใจว่าหลักฐานเพียงพอหรือไม่HoloHub: https://github.com/nvidia-holoscan/holohub/tree/holoscan-sdk-4.5.0Holoscan CLI: https://github.com/nvidia-holoscan/holoscan-cli/tree/v4.5.0HoloHub Skills Source: https://github.com/nvidia-holoscan/holohub/tree/main/skillsHoloHub Skills at Nvidia Catalog: https://build.nvidia.com/skills?filters=library%3Alibrary_holoscan&q=holohub#NVIDIA #Holoscan #AI #EdgeAI #MachineLearninghttps://developer.nvidia.com/blog/developing-nvidia-holoscan-applications-with-cli-skills-and-ai-coding-agents/