ความปลอดภัย AI ที่ฝังในฮาร์ดแวร์: NVIDIA Confidential Computing เร่งสปีดการทำงานโดยไม่ลดทอนประสิทธิภาพ

ความปลอดภัย AI ที่ฝังในฮาร์ดแวร์: NVIDIA Confidential Computing เร่งสปีดการทำงานโดยไม่ลดทอนประสิทธิภาพปัญญาประดิษฐ์ (AI) ได้เข้ามาเปลี่ยนโฉมการดำเนินงานขององค์กร นำมาซึ่งระดับผลผลิตและนวัตกรรมที่ไม่เคยมีมาก่อน อย่างไรก็ตาม การนำ AI มาปรับใช้ก็อาจถูกจำกัดด้วยข้อกังวลด้านความเป็นส่วนตัวของข้อมูล อธิปไตยของข้อมูล และวิธีการรักษาความปลอดภัยข้อมูลขณะใช้งาน หรือระหว่างการอนุมาน (inference) และการโต้ตอบกับโมเดล AI NVIDIA Confidential Computing (CC) ถูกออกแบบมาเพื่อเป็นโซลูชันที่ปลอดภัยและมีประสิทธิภาพสำหรับยุคของ Agentic AI เพื่อขยายขนาดโมเดลใดๆ ได้อย่างปลอดภัยNVIDIA Confidential Computing (CC) ผสานรวมความปลอดภัยระดับฮาร์ดแวร์เข้ากับ GPU Blackwell โดยใช้คุณสมบัติต่างๆ เช่น private signing keys ที่ถูกหลอมรวม (fused) การเข้ารหัส NVLink และการรับรองความถูกต้องจากระยะไกลผ่าน NVIDIA Remote Attestation Service (NRAS) เพื่อให้มั่นใจในความสมบูรณ์ของข้อมูล โค้ด และโมเดลระหว่างการอนุมานจากการทดสอบประสิทธิภาพบน HGX B300 ด้วยโมเดล Qwen 3.5-397B-A17B-FP8 พบว่าการเปิดใช้งาน CC ทำให้เกิดค่าใช้จ่ายด้านปริมาณงาน (throughput) และความหน่วงต่อโทเค็น (per-token latency) เพียงเล็กน้อย (โดยทั่วไปต่ำกว่า 8%) ในสภาวะการทำงานที่หลากหลาย ทั้งความพร้อมกัน (concurrency) ขนาดของชุดข้อมูล (batch sizes) และความยาวของโทเค็น โดยยังคงรักษาประสิทธิภาพการอนุมานเกือบเท่าเดิมการปรับปรุงประสิทธิภาพต่างๆ เช่น CC-safe autotuning ใน FlashInfer, async D2H copy worker และการรองรับ CUDA graph แบบแบ่งส่วน (piecewise) ใน SGLang ช่วยลดผลกระทบจากการส่งงานที่ปลอดภัยและข้อจำกัดของแบนด์วิดท์ที่เข้ารหัส ทำให้การอนุมาน AI ที่ปลอดภัยและมีประสิทธิภาพสูง เหมาะสำหรับการใช้งานในระดับการผลิตและสอดคล้องกับกฎระเบียบการปกป้องข้อมูล โค้ด และโมเดล AI 🛡️CC นำเสนอชั้นความปลอดภัยที่ครอบคลุมตั้งแต่ซิลิคอน การเชื่อมต่อ ไปจนถึงซอฟต์แวร์ระบบ โดยมีกลไกการทำงานดังนี้:รากฐานความเชื่อถือระดับฮาร์ดแวร์ (Hardware Root of Trust)GPU NVIDIA Blackwell รวมถึง RTX PRO 6000, HGX B200 และ HGX B300 ได้รับการออกแบบให้มี CC ฝังอยู่ในฮาร์ดแวร์ GPU HGX B200 และ HGX B300 รองรับ confidential computing สำหรับหลาย GPU (สูงสุด 8 ตัว) พร้อมการเข้ารหัส NVIDIA NVLink ในระดับซิลิคอน GPU จะเก็บ private signing key ที่ถูกหลอมรวมไว้ตั้งแต่การผลิตและไม่เคยเปิดเผยต่อซอฟต์แวร์ เฟิร์มแวร์ หรือระบบโฮสต์ คีย์นี้เป็นรากฐานของห่วงโซ่การรับรองความถูกต้องการรับรองความถูกต้อง (Attestation): ตรวจสอบก่อนดำเนินการก่อนที่เวิร์กโหลดที่เป็นความลับจะได้รับข้อมูลลับใดๆ จะต้องผ่านกระบวนการรับรองความถูกต้องจากระยะไกล NVIDIA Remote Attestation Service (NRAS) จะตรวจสอบชุดหลักฐานที่ลงนาม (signed evidence bundle) ซึ่งประกอบด้วยรายงานฮาร์ดแวร์ของ GPU ร่วมกับการวัดค่าของ Trusted Execution Environment (TEE) ของ CPU (เช่น AMD SEV-SNP หรือ Intel TDX) เทียบกับ Reference Integrity Manifest (RIM) ที่ทราบว่าถูกต้องเมื่อ Confidential VM (CVM) อยู่ในสถานะที่ได้รับการยืนยันและไม่ถูกดัดแปลงแล้ว ข้อมูลลับ เช่น คีย์ถอดรหัสโมเดล จะสามารถถูกนำเข้าไปยัง CVM ได้ การจับมือเพื่อรับรองความถูกต้อง (attestation handshake) โดยทั่วไปจะเป็นเหตุการณ์เริ่มต้นเพียงครั้งเดียว เมื่อเวิร์กโหลดเริ่มทำงาน การรับรองความถูกต้องจะไม่เพิ่มความหน่วงให้กับคำขออนุมานแต่ละรายการการเพิ่มประสิทธิภาพการอนุมาน AI ใน Confidential Computing 🚀การเปลี่ยนแปลงที่เกิดขึ้นกับการอนุมาน AI บน GPU Blackwell ที่เกี่ยวข้องกับ CC อาจมาจากสองส่วนหลัก:ความหน่วงในการส่งงานที่ปลอดภัย (Secure Work Submission Latency): สำหรับการอนุมาน ความหน่วงนี้มักเป็นปัจจัยที่ใหญ่กว่า เนื่องจากมีค่าใช้จ่ายเพิ่มเติมจากการเข้ารหัสและการเปิดใช้งานเคอร์เนล (kernel launches) หน่วยงานของงานที่มีขนาดเล็กจะได้รับผลกระทบมากกว่า การเพิ่มปริมาณงานที่ประมวลผลต่อการเปิดใช้งานเวิร์ก GPU หนึ่งครั้งช่วยลดผลกระทบจากค่าใช้จ่ายในการเปิดใช้งานที่ปลอดภัยแบนด์วิดท์จากโฮสต์ไปยังอุปกรณ์ (Host-to-Device Bandwidth) ที่ลดลง: หากเวิร์กโหลดต้องพึ่งพาการถ่ายโอนข้อมูลอินพุตไปยัง GPU เป็นอย่างมาก ประสิทธิภาพจะขึ้นอยู่กับว่าแบนด์วิดท์ที่จำเป็นในการทำให้ GPU ทำงานเต็มที่นั้นเกินกว่าแบนด์วิดท์การถ่ายโอนที่เข้ารหัสที่มีในโหมด CC หรือไม่นวัตกรรมหลายอย่างช่วยเพิ่มประสิทธิภาพการอนุมานด้วย CC ดังนี้:CC-safe autotuner timing: FlashInfer ใช้ GPU global timer register แทน event timers ในโหมด CC ทำให้ autotuner สามารถเปรียบเทียบ candidate kernels ได้อย่างแม่นยำ และเลือกการใช้งานที่เร็วที่สุดสำหรับแต่ละ shapeAsync D2H copy worker: SGLang ย้ายการอ่านข้อมูลโทเค็นต่อขั้นตอนออกจาก critical path ของ scheduler ซึ่งช่วยคืนค่าการทำงานเหลื่อมระหว่างการประมวลผลและการคัดลอก (compute/copy overlap) เนื่องจาก CC อาจทำให้การคัดลอกข้อมูลจากโฮสต์ไปยังอุปกรณ์และจากอุปกรณ์ไปยังโฮสต์หลายครั้งมีลักษณะเป็นการซิงโครนัส (synchronous) ในระหว่าง cudaMemcpyAsyncPiecewise CUDA graph support: SGLang เพิ่มการเล่นซ้ำ CUDA graph สำหรับ prefill และ mixed batches ซึ่งช่วยลดค่าใช้จ่ายในการเปิดใช้งานเคอร์เนลที่เพิ่มขึ้นในโหมด CCNVIDIA ยังคงทำงานร่วมกับชุมชน upstream สำหรับ inference frameworks เพื่อให้มั่นใจว่าเฟรมเวิร์กเหล่านี้ได้รับการปรับปรุงประสิทธิภาพให้ดีที่สุดผลการทดสอบประสิทธิภาพ 📊เราได้วัดประสิทธิภาพการอนุมานของ CC ในหลากหลายเมตริกสำคัญ โดยการทดสอบบน HGX B300 กับโมเดล Qwen 3.5 397B-A17B-FP8 ในสภาพแวดล้อม Virtual Machine ที่มีการส่งผ่าน GPU (GPU passthrough) และเปิดใช้งาน CC พบว่ามีค่าใช้จ่ายด้านปริมาณงานและเวลาต่อโทเค็นที่สร้างขึ้นเพียงเล็กน้อยในการอนุมานแบบ steady-stateตารางสรุปประสิทธิภาพโดยเปรียบเทียบของ Confidential Computing| ตัวชี้วัด | CC ปิด (Baseline) | CC เปิด (Experiment) | ความแตกต่าง (%) || :---------------------------------------------- | :---------------- | :------------------ | :-------------- || Output Throughput per GPU (tokens/sec/gpu) | 100% | ~92-98% | < 8% || Median Time to First Token (TTFT) (ms) | 100% | ~102-108% | < 8% || Median Time Per Output Token (TPOT) (ms) | 100% | ~102-108% | < 8% |หมายเหตุ: ประสิทธิภาพที่แสดงเป็นค่าประมาณจากผลการทดสอบจริง โดยพิจารณาจากปัจจัยต่างๆ เช่น ความยาวของอินพุต/เอาต์พุต, ขนาด Batch, และจำนวนคำขอพร้อมกันสรุป: ความปลอดภัยที่มาพร้อมประสิทธิภาพ 🌟Hardware-level security ด้วย CC ปกป้องเวิร์กโหลด AI ที่ละเอียดอ่อน ในขณะเดียวกันก็รักษาประสิทธิภาพที่จำเป็นสำหรับเวิร์กโหลด AI ในระดับการผลิต CC มอบรากฐานความปลอดภัยที่แข็งแกร่งยิ่งขึ้นสำหรับเวิร์กโหลดการอนุมานในระดับการผลิต โดยมีค่าใช้จ่ายด้านประสิทธิภาพเพียงเล็กน้อย จากการประเมินของเราโดยใช้ Qwen 3.5 บน SGLang เราสังเกตเห็นสิ่งนี้ได้ในหลากหลายระดับความพร้อมกัน ความยาวของลำดับอินพุต และความยาวของลำดับเอาต์พุต พิสูจน์ให้เห็นว่าองค์กรสามารถรักษาความปลอดภัยเวิร์กโหลดและข้อมูล AI ของตนเอง และปฏิบัติตามกฎระเบียบได้ โดยไม่ลดทอนประสิทธิภาพหากคุณต้องการรักษาความปลอดภัยเวิร์กโหลด AI ของคุณด้วย CC บน Blackwell โปรดศึกษาเอกสารและแหล่งข้อมูลเพิ่มเติมจาก NVIDIA[NVIDIA Confidential Computing Documentation](https://docs.nvidia.com/general/confidential-computing/index.html)[NVIDIA Blackwell Architecture Whitepaper](https://www.nvidia.com/en-us/data-center/blackwell/)[NVIDIA GPU Operator and Container Toolkit](https://docs.nvidia.com/datacenter/cloud-native/gpu-operator/overview.html)[NVIDIA Remote Attestation Service (NRAS)](https://docs.nvidia.com/general/confidential-computing/nras/index.html)[NIST SP 800-207 Zero Trust Architecture](https://csrc.nist.gov/publications/detail/sp/800-207/final)[HIPAA Security Rule (HHS)](https://www.hhs.gov/hipaa/for-professionals/security-rule/index.html)[GDPR Article 32 — Security of Processing](https://gdpr-info.eu/art-32-gdpr/)#AI #ConfidentialComputing #NVIDIA #Cybersecurity #GPUhttps://developer.nvidia.com/blog/hardware-rooted-ai-security-that-wont-slow-you-down/