NVIDIA JetPack 7.2.1: ยกระดับการประมวลผลวิดีโอด้วย Agentic Video Skills และ T3000 Emulation 🚀

NVIDIA JetPack 7.2.1: ยกระดับการประมวลผลวิดีโอด้วย Agentic Video Skills และ T3000 Emulation 🚀วิดีโอเป็นส่วนสำคัญในแอปพลิเคชัน NVIDIA Jetson หลากหลายประเภท ตั้งแต่หุ่นยนต์, ระบบวิเคราะห์วิดีโออัจฉริยะ, ระบบอัตโนมัติในโรงงาน, การแพทย์, การประมวลผลสื่อ ไปจนถึงการปฏิบัติการระยะไกล ระบบเหล่านี้อาจมีการจับภาพจากกล้องหลายตัว, ถอดรหัสสตรีมวิดีโอ, ประมวลผล AI หรือการประมวลผลภาพแบบดั้งเดิม, แสดงผลลัพธ์ และเข้ารหัสวิดีโอเพื่อจัดเก็บหรือส่งต่อการทำงานแต่ละขั้นตอนอาจดูไม่ซับซ้อน แต่หัวใจสำคัญอยู่ที่การเลือกอินเทอร์เฟซที่เหมาะสม, ตัวแปลงสัญญาณ (Codec), รูปแบบพิกเซล, เส้นทางการส่งข้อมูล (Memory Path), การควบคุมอัตราบิต (Rate Control) และการจัดการบัฟเฟอร์ให้เข้ากับอุปกรณ์ Jetson รวมถึงการพิสูจน์ว่ากระบวนการทั้งหมดสามารถทำงานได้ตามเป้าหมายด้านเวลาแฝง (Latency), ปริมาณงาน (Throughput) และคุณภาพJetPack 7.2.1: ความสามารถใหม่ที่น่าสนใจ ✨NVIDIA JetPack 7.2.1 ได้นำเสนอความสามารถใหม่ที่สำคัญหลายประการ เพื่อช่วยให้นักพัฒนาสามารถสร้างเวิร์กโฟลว์วิดีโอที่ซับซ้อนและมีประสิทธิภาพยิ่งขึ้น:1. Agentic Video Skills: การทำงานอัตโนมัติที่ชาญฉลาดยิ่งขึ้น 🤖JetPack 7.2.1 ได้เพิ่ม "Agentic Video Skills" ซึ่งเป็นชั้นการทำงานอัตโนมัติที่ชาญฉลาดเหนือกว่า SDK เดิม ความสามารถนี้ช่วยเชื่อมโยงเจตนาของนักพัฒนาเข้ากับการค้นพบอุปกรณ์แบบเรียลไทม์, การตั้งค่าที่รองรับ, กระบวนการที่สามารถทำซ้ำได้ และการตรวจสอบประสิทธิภาพการค้นพบและตั้งค่าความสามารถ: ระบุแพลตฟอร์ม Jetson และซอฟต์แวร์ที่ติดตั้ง, แนะนำการตั้งค่าที่รองรับ, และสอบถามเกี่ยวกับตัวแปลงสัญญาณสำหรับเข้ารหัสและถอดรหัส, รูปแบบข้อมูล, เส้นทางการส่งข้อมูล และความสามารถของเซสชันบนอุปกรณ์จริงการสร้างสูตรเข้ารหัส (Encoder Recipes): แปลงเป้าหมาย เช่น เวลาแฝงต่ำ, คุณภาพคงที่, บิตเรตจำกัด, ความละเอียด, อัตราเฟรม และการเลือกตัวแปลงสัญญาณ ให้เป็นการตั้งค่าที่ชัดเจนและเส้นทางที่สามารถรันได้ผ่าน Video Codec SDK หรือ PyNvVideoCodecการวัดประสิทธิภาพและคุณภาพ: ดำเนินการวัดผลที่สามารถทำซ้ำได้สำหรับปริมาณงาน, เวลาแฝง, การใช้งานทรัพยากร, บิตเรต และคุณภาพของผลลัพธ์การตรวจสอบเวิร์กโฟลว์ตัวแปลงสัญญาณ: เชื่อมโยงการตั้งค่า, การเลือกสูตร, การเข้ารหัส/ถอดรหัส, การวัดผล และการส่งต่อข้อมูลที่ผิดปกติ จากนั้นส่งคืนการกำหนดค่า, ผลลัพธ์, คำเตือน และหลักฐานที่จำเป็นสำหรับการทำซ้ำกระบวนการ2. PyNvVideoCodec 2.2: การจัดการวิดีโอด้วย Python บน GPU 🐍สำหรับนักพัฒนา Python, JetPack 7.2.1 ได้เพิ่มการรองรับ PyNvVideoCodec 2.2 ซึ่งเป็นไลบรารี Python ของ NVIDIA สำหรับการเข้ารหัสและถอดรหัสวิดีโอแบบเร่งความเร็วด้วยฮาร์ดแวร์บน GPU ของ NVIDIAการทำงานร่วมกับ AI Pipeline: PyNvVideoCodec สร้างและรับเฟรมวิดีโอในรูปแบบหน่วยความจำบน GPU (GPU-resident device memory) ซึ่งสามารถเข้าถึงได้ผ่านโปรโตคอล DLPack และ CUDA device buffers ทำให้การผสานรวมกับไปป์ไลน์ AI เป็นไปอย่างราบรื่นคุณสมบัติเพื่อประสิทธิภาพ: รวมถึงการสุ่มตัวอย่างเฟรมแบบหลายโหมด (multi-mode frame sampling) และ ThreadedDecoder ที่ช่วยเพิ่มประสิทธิภาพของไปป์ไลน์โดยการถอดรหัสเฟรมล่วงหน้าในเธรดเบื้องหลัง ซึ่งช่วยแยกเวลาแฝงของการถอดรหัสออกจากเวลาแฝงของการอนุมาน (inference)3. T3000 Emulation: เร่งการพัฒนา AI Video Pipeline 🛠️JetPack 7.2.1 ยังเปิดใช้งานการจำลองประสิทธิภาพของ Jetson T3000 บน Jetson T5000 โดยใช้ Jetson Thor AGX Developer Kit ซึ่งช่วยให้นักพัฒนาสามารถเร่งการพัฒนาไปป์ไลน์ AI วิดีโอที่มีประสิทธิภาพสูงและประหยัดพลังงานได้อย่างรวดเร็วการพัฒนาที่รวดเร็ว: ช่วยให้นักพัฒนาสามารถเริ่มต้นโครงการได้ทันที โดยการจำลองประสิทธิภาพของ T3000 ซึ่งเหมาะสำหรับงาน Humanoid และ Robotics โดยที่ใช้ฮาร์ดแวร์ T5000 ที่มีอยู่การประหยัดพลังงานและต้นทุน: T3000 ถูกออกแบบมาให้มีประสิทธิภาพการอนุมานเทียบเท่า T5000 แต่ใช้พลังงานน้อยลงและมีขนาดกะทัดรัดกว่าสร้าง AI Video Pipeline ด้วย PyNvVideoCodec และ Jetson Video Skills 🎬เมื่อมีคำสั่ง เช่น “ถอดรหัสวิดีโอนี้, ประมวลผลด้วย AI หรือ Computer Vision ของฉัน, และตรวจสอบว่าขั้นตอนตัวแปลงสัญญาณเป็นไปตามเป้าหมายประสิทธิภาพหรือไม่” ผู้ช่วยเขียนโค้ดสามารถใช้ Jetson Video Skill เพื่อกำหนดค่าและตรวจสอบ PyNvVideoCodec ได้ โดยมีแอปพลิเคชันตัวอย่างที่มาพร้อมกับ PyNvVideoCodec เป็นโครงร่างอ้างอิงขั้นตอนการทำงาน:ตรวจสอบและกำหนดค่า: ผู้ช่วยเขียนโค้ดจะเรียกใช้ Skill เพื่อตรวจสอบแพลตฟอร์ม Jetson, ซอฟต์แวร์ และความสามารถของตัวแปลงสัญญาณ จากนั้นเลือกตัวถอดรหัส, รูปแบบผลลัพธ์, เส้นทางการส่งข้อมูล และการบัฟเฟอร์ถอดรหัสเป็นข้อมูล Framework: แอปพลิเคชันตัวอย่าง PyNvVideoCodec สามารถเตรียมเฟรมในเธรดเบื้องหลัง และส่งแต่ละเฟรมไปยัง Tensor Framework โดยไม่ต้องเขียนโค้ดตัวแปลงสัญญาณที่เฉพาะเจาะจงทำให้แอปพลิเคชันสมบูรณ์: เมื่อขั้นตอนตัวแปลงสัญญาณถูกกำหนดค่าแล้ว ผู้ช่วยเขียนโค้ดสามารถขยายแอปพลิเคชันตัวอย่างด้วยขั้นตอนที่จำเป็นสำหรับคำสั่งนั้นๆ เช่น การประมวลผลล่วงหน้า (preprocessing), การตรวจจับ (detection) หรือการจำแนกประเภท (classification), การกรองความเป็นส่วนตัว (เช่น การเบลอ), การแสดงภาพ (visualization) และการจัดการผลลัพธ์ (output handling) โมเดล AI หรือตรรกะของแอปพลิเคชันยังคงเป็นทางเลือกของนักพัฒนาวัดผลและตรวจสอบ: Skill จะบันทึกการกำหนดค่าตัวแปลงสัญญาณ และตรวจสอบสถานะการทำงาน, ปริมาณงาน, เวลาแฝง, การใช้งานทรัพยากร, คำเตือน และหลักฐานการเลือก Jetson Video Interface ที่เหมาะสม 🌟Jetson มีการเข้าถึงวิดีโอผ่านเลเยอร์ซอฟต์แวร์ที่ทำงานร่วมกัน:GStreamer: ให้การประกอบไปป์ไลน์ระดับสูงV4L2: ควบคุมอุปกรณ์วิดีโอและบัฟเฟอร์ของ LinuxVideo Codec SDK: การเข้าถึงระดับล่างผ่าน C/C++ สำหรับ NVENC และ NVDECPyNvVideoCodec: สร้างบน API ของ Video Codec SDK หลัก พร้อมอินเทอร์เฟซ Python ที่ง่ายกว่าเลเยอร์เหล่านี้สามารถทำงานร่วมกันได้เมื่อเวิร์กโฟลว์ข้ามขั้นตอนการจับภาพ, การแปลงสัญญาณ, AI และการส่งมอบJetPack 7.2.1 มอบเส้นทางที่ชัดเจนยิ่งขึ้นสำหรับนักพัฒนา จากเจตนาไปสู่หลักฐาน: เลือกอินเทอร์เฟซ Linux, C/C++ หรือ Python ที่เหมาะสม, รักษาข้อมูลที่เร่งความเร็วให้ใกล้กับ GPU, และใช้ foundational video skills เพื่อกำหนดค่าและตรวจสอบขั้นตอน Video Codec SDK หรือ PyNvVideoCodec#NVIDIAJetson #JetPack #AI #VideoAnalytics #Roboticshttps://developer.nvidia.com/blog/nvidia-jetpack-7-2-1-adds-agentic-video-skills-and-t3000-emulation/