สร้างระบบสนทนาด้วยเสียงหลายภาษาที่หน่วงเวลาต่ำ ด้วย NVIDIA Magpie TTS

สร้างระบบสนทนาด้วยเสียงหลายภาษาที่หน่วงเวลาต่ำ ด้วย NVIDIA Magpie TTSการโต้ตอบด้วยเสียงทุกรูปแบบล้วนมีข้อจำกัดด้านความหน่วงเวลา (Latency) ตั้งแต่การจับเสียง การแปลงคำพูดเป็นข้อความ การประมวลผล LLM การดึงข้อมูล ไปจนถึงการสร้างคำตอบ และขั้นตอนสุดท้ายคือการแปลงข้อความเป็นคำพูด (Text-to-Speech - TTS) ซึ่งเป็นส่วนที่ผู้ใช้สังเกตเห็นได้ชัดเจนที่สุด หากการสร้างเสียงช้า ประสบการณ์ทั้งหมดก็จะรู้สึกอืดอาดตามไปด้วยยิ่งคุณสามารถควบคุมและปรับแต่งส่วนประกอบต่างๆ ในกระบวนการนี้ได้มากเท่าไหร่ ก็ยิ่งช่วยลดความหน่วงเวลาลงได้มากเท่านั้นเทคโนโลยี Voice AI กำลังพัฒนาไปอย่างรวดเร็ว โมเดลแบบบูรณาการ (Integrated speech models) นำเสนอความง่ายในการใช้งาน เพียงเรียก API เดียว แต่ก็ต้องแลกมากับการจำกัดความสามารถในการปรับแต่งโมเดลให้เข้ากับโดเมนเฉพาะ การอัปเกรดโมเดลใหม่ๆ การควบคุมการจัดเก็บข้อมูล หรือการระบุแหล่งที่มาของความหน่วงเวลาที่แม่นยำแต่หากต้องการควบคุมที่มากขึ้น สถาปัตยกรรมแบบต่อพ่วง (Cascaded architecture) ที่ประกอบด้วยส่วน ASR, TTS และ LLM ที่ออกแบบมาเพื่อวัตถุประสงค์เฉพาะ จะช่วยให้แต่ละส่วนสามารถปรับแต่งและติดตั้งบนโครงสร้างพื้นฐานที่คุณเป็นเจ้าของได้อย่างอิสระNVIDIA Magpie Multilingual TTS ถูกสร้างขึ้นมาเพื่อตอบโจทย์นี้ ด้วยโมเดลแบบ Open Weights, NVIDIA NIM ที่พร้อมใช้งานในระดับโปรดักชัน และรองรับ 12 ภาษา คุณจึงสามารถติดตั้งระบบเสียงหลายภาษาภายในโครงสร้างพื้นฐานของคุณเอง ปรับแต่งความหน่วงเวลาให้เหมาะสมกับปริมาณงาน และปรับแต่งโมเดลให้เข้ากับโดเมนของคุณได้อย่างสมบูรณ์การอัปเดตล่าสุดได้ขยายขีดความสามารถด้านภาษา โดยเพิ่มภาษาอาหรับมาตรฐานสมัยใหม่ (Modern Standard Arabic), เกาหลี (Korean) และโปรตุเกสบราซิล (Brazilian Portuguese) พร้อมปรับปรุงคุณภาพของภาษาที่มีอยู่เดิม ผ่านข้อมูลการฝึกอบรมและโมเดลที่ได้รับการปรับปรุงไม่ว่าคุณกำลังสร้างระบบตอบรับลูกค้า ผู้ช่วยด้านสุขภาพ Copilot สำหรับองค์กร ระบบแปลภาษา หรือแอปพลิเคชันสนทนาด้วยเสียง Magpie คือรากฐานแบบเปิดสำหรับ Voice AI ในระดับโปรดักชันVoice AI กำลังก้าวสู่การรองรับหลายภาษาเป็นค่าเริ่มต้นแอปพลิเคชันเสียงในปัจจุบันไม่ได้จำกัดอยู่เพียงภาษาเดียว การสนับสนุนลูกค้าทั่วโลก ผู้ช่วยในองค์กร การบันทึกข้อมูลทางการแพทย์ ระบบอัตโนมัติในร้านค้าปลีก และเวิร์กโฟลว์การแปล ล้วนต้องการการสนทนาที่เป็นธรรมชาติในหลายภาษา โดยยังคงรักษาความหน่วงเวลาให้ต่ำการรองรับหลายภาษาเป็นเพียงส่วนหนึ่งของความท้าทาย นักพัฒนาจำเป็นต้องสามารถ:ติดตั้งในที่ที่ข้อมูลอยู่: เพื่อให้สอดคล้องกับข้อกำหนดด้านความเป็นส่วนตัวขององค์กรปรับแต่งการออกเสียงและเสียง: ให้ตรงกับแบรนด์หรือความต้องการเฉพาะคาดการณ์ความหน่วงเวลา: ภายใต้ปริมาณงานจริงปรับขนาดบนโครงสร้างพื้นฐานของตนเอง: เพื่อควบคุมค่าใช้จ่ายและประสิทธิภาพโมเดลแบบเปิด (Open models) ได้เข้ามาเปลี่ยนแปลงความเป็นไปได้ในทุกด้านเหล่านี้โมเดลเดียว รองรับสิบสองภาษาMagpie TTS Multilingual เป็นโมเดล Open Weights ขนาด 364M พารามิเตอร์ ที่รองรับภาษาดังต่อไปนี้:อังกฤษ (English)สเปน (Spanish)ฝรั่งเศส (French)เยอรมัน (German)อิตาลี (Italian)เวียดนาม (Vietnamese)จีนกลาง (Mandarin)ฮินดี (Hindi)ญี่ปุ่น (Japanese)อาหรับมาตรฐานสมัยใหม่ (Modern Standard Arabic) - ใหม่เกาหลี (Korean) - ใหม่โปรตุเกสบราซิล (Brazilian Portuguese) - ใหม่แต่ละภาษามีเสียงผู้ชายและผู้หญิงให้เลือกผ่านการแสดงผลเสียงของผู้พูดหลายภาษาที่ใช้ร่วมกันการเปิดตัวครั้งนี้ยังช่วยเพิ่มความยืดหยุ่นในการรองรับหลายภาษา ด้วยการสนับสนุนการสลับภาษา (code-switching) ที่ดีขึ้นสำหรับภาษาฮินดีและญี่ปุ่น ผ่านการประมวลผล IPA grapheme-to-phoneme และพจนานุกรมการออกเสียงที่กำหนดเอง ซึ่งช่วยให้การออกเสียงชื่อ คำศัพท์ทางเทคนิค และเนื้อหาผสมภาษาถูกต้องแม่นยำยิ่งขึ้นแทนที่จะต้องดูแลโมเดล TTS แยกกันสำหรับแต่ละภูมิภาค นักพัฒนาสามารถสร้างแอปพลิเคชันหลายภาษาบนรากฐานแบบเปิดเพียงหนึ่งเดียวความหน่วงเวลาที่ผู้ใช้สังเกตเห็นจริงในการสนทนาด้วยเสียง Text-to-Speech เป็นขั้นตอนสุดท้ายก่อนที่ผู้ใช้จะได้ยินคำตอบ นั่นทำให้ Time to First Audio (TTFA) หรือเวลาที่ใช้ในการเริ่มสร้างเสียงจนกระทั่งเสียงแรกไปถึงผู้ใช้ เป็นหนึ่งในตัวชี้วัดความหน่วงเวลาที่สำคัญที่สุดในกระบวนการเสียงเนื่องจาก Magpie TTS สามารถติดตั้งภายในสภาพแวดล้อมของคุณเอง ความหน่วงเวลาที่คุณวัดได้คือความหน่วงเวลาฝั่งเซิร์ฟเวอร์ที่คุณควบคุมได้จริง โดยไม่มีการเดินทางไปกลับผ่านบริการที่มีการจัดการ(ข้อมูลอ้างอิง: NVIDIA TTS NIM Performance documentation (v26.07), ค่าเฉลี่ยจากการทดลองสามครั้ง, ติดตั้งภายในองค์กร (on-prem). TTFA = latency to first audio; RTFX = throughput as a multiple of real time.)ด้วย TTFA เพียง 32ms บน GPU B200 ทำให้ Magpie มีเวลาเหลือเฟือสำหรับ ASR และ LLM เพื่อให้ความหน่วงเวลาโดยรวมอยู่ในช่วงต่ำกว่า 200ms ซึ่งจำเป็นสำหรับการสนทนาที่เป็นธรรมชาติ บน GPU ของ NVIDIA Magpie สามารถสร้างเสียงแรกได้ใน 32–79ms สำหรับสตรีมเดี่ยว เมื่อมี 64 สตรีมพร้อมกัน GPU B200 สามารถทำ TTFA ได้ 239ms ขณะที่ยังคงมี Throughput สูงถึง 320 เท่าของเวลาจริง ซึ่งหมายถึงการสร้างเสียงเร็วกว่าการเล่นจริงมากกว่า 300 เท่า แม้ภายใต้ภาระงานพร้อมกันตารางข้างต้นแสดงผลการทำงานของ Magpie ในรูปแบบ NVIDIA NIM ที่วัดผลภายในองค์กร ซึ่งเป็นคอนเทนเนอร์ที่ปรับแต่งมาเพื่อทำงานบน GPU ของคุณเอง ส่วน Hugging Face checkpoint แบบ Open Weights คือโมเดลเดียวกันและเป็นช่องทางของคุณสำหรับการวิจัยและการปรับแต่ง ในขณะที่ NIM คือชุดการให้บริการที่ปรับแต่งมาเพื่อให้ได้ความหน่วงเวลาในระดับโปรดักชัน ทั้งสองสามารถทำงานบนฮาร์ดแวร์ที่คุณควบคุมได้การที่โมเดลทำงานบนโครงสร้างพื้นฐานของคุณเอง ทำให้คุณสามารถวัดประสิทธิภาพได้โดยตรง ปรับแต่งให้เข้ากับการใช้งาน และขยายขนาดตามปริมาณงาน สำหรับระบบสนทนาด้วยเสียงแบบเรียลไทม์ นี่คือความแตกต่างระหว่างการสนทนาที่รู้สึกตอบสนองได้ดี กับการสนทนาที่รู้สึกว่าล่าช้าปรับแต่งเพื่อการสร้างเสียงพูดแบบเรียลไทม์ความหน่วงเวลาต่ำไม่ใช่เรื่องบังเอิญ Magpie ได้นำเสนอการปรับปรุงสถาปัตยกรรมสองส่วนที่ช่วยลดเวลาในการอนุมาน (inference time) พร้อมทั้งรักษาคุณภาพเสียง:Frame stacking: ตัวถอดรหัส (decoder) จะทำนายเฟรมเสียงสองเฟรมในแต่ละขั้นตอนการถอดรหัส แทนที่จะเป็นเฟรมเดียว วิธีนี้ช่วยลดจำนวนรอบการทำงานของ decoder ลงครึ่งหนึ่ง ทำให้เวลาในการสร้างลดลงและเพิ่ม ThroughputLocal transformer: การทำ Frame stacking เพียงอย่างเดียวอาจลดคุณภาพเสียงลง เนื่องจากเกิดการพึ่งพาระหว่างโทเค็น (codebook tokens) ที่สร้างขึ้นพร้อมกัน Local transformer จะจำลองการพึ่งพานี้และปรับปรุงเสียงที่สร้างขึ้น เพื่อกู้คืนคุณภาพที่ Frame stacking อาจทำให้สูญเสียไปเทคนิคเหล่านี้ร่วมกันมอบทั้งการสร้างที่เร็วขึ้นและการสังเคราะห์เสียงที่เป็นธรรมชาติ สถาปัตยกรรมนี้ได้รับการอธิบายไว้ในเอกสาร Frame-Stacked Local Transformers for Efficient Multi-Codebook Speech Generation (ICASSP 2026)ความเร็วไม่สำคัญหากไม่เป็นธรรมชาติการเปิดตัวครั้งนี้ไม่เพียงแต่เพิ่มภาษาใหม่เท่านั้น แต่ยังปรับปรุงคุณภาพการสังเคราะห์ในภาษาที่มีอยู่เดิมหลายภาษาอีกด้วย เมื่อเทียบกับการเปิดตัวครั้งก่อน Magpie แสดงให้เห็นถึงอัตราข้อผิดพลาดของตัวอักษร (Character Error Rates - CER) ที่ลดลง และความคล้ายคลึงของผู้พูด (Speaker Similarity - SSIM) ที่สูงขึ้นในหลายภาษา โดยเฉพาะภาษาฝรั่งเศสและสเปนที่เห็นผลชัดเจน(ข้อมูลอ้างอิง: Magpie TTS Multilingual model card. CER ต่ำกว่าถือว่าดีกว่า; SSIM สูงกว่าถือว่าดีกว่า.)โมเดลภาษาอาหรับ (1.62% CER), เกาหลี (2.69%) และโปรตุเกสบราซิล (2.91%) ที่เพิ่มเข้ามาใหม่ ได้สร้างมาตรฐานคุณภาพเบื้องต้นสำหรับการปรับปรุงในอนาคตแม้ว่าตัวชี้วัดเชิงปริมาณจะช่วยวัดความก้าวหน้าได้ แต่คุณภาพเสียงในท้ายที่สุดนั้นขึ้นอยู่กับการรับรู้ของผู้ใช้ คุณสามารถสัมผัสความแตกต่างได้ด้วยตนเองผ่าน NVIDIA Build หรือ Hugging Face demoทำไม Open Weights จึงสำคัญความหน่วงเวลาที่คุณวัดได้นั้นมีประโยชน์ แต่ความหน่วงเวลาที่คุณควบคุมได้นั้นดียิ่งกว่าOpen Weights ให้นักพัฒนาได้รับความสามารถที่มาจากการเป็นเจ้าของระบบการติดตั้ง ด้วย Magpie คุณสามารถ:ติดตั้งบนโครงสร้างพื้นฐานที่คุณควบคุม: ทำงานได้ทั้งหมดภายในโครงสร้างพื้นฐานของคุณเอง รวมถึงสภาพแวดล้อมส่วนตัวหรือแบบ air-gappedเป็นเจ้าของงบประมาณความหน่วงเวลาของคุณ: ไม่มีค่าใช้จ่ายในการเดินทางไปกลับผ่านบริการที่มีการจัดการ และคุณสามารถปรับแต่งได้โดยตรงสำหรับฮาร์ดแวร์และปริมาณงานของคุณปรับแต่งการออกเสียงและเสียง: Fine-tune ด้วย NeMo เพื่อสร้างแบรนด์ คำศัพท์เฉพาะทาง หรือข้อมูลเสียงของผู้พูดของคุณเองขยายขนาดตามเงื่อนไขของคุณ: ปรับแต่งสแต็กการให้บริการให้เหมาะสมกับโครงสร้างพื้นฐานและปริมาณงานของคุณรักษาการควบคุมระดับองค์กร: เก็บการสนทนาที่ละเอียดอ่อนและข้อมูลลูกค้าไว้ภายในสภาพแวดล้อมของคุณสำหรับองค์กรที่กำลังสร้าง Voice AI ในระดับโปรดักชัน การควบคุมการติดตั้ง ประสิทธิภาพ และการปรับแต่งเหล่านี้ มักเป็นสิ่งที่สำคัญที่สุดสร้างระบบสนทนาด้วยเสียงที่สมบูรณ์ ไม่ใช่แค่เสียงที่ดีขึ้นVoice AI ในระดับโปรดักชันคือระบบของโมเดล ไม่ใช่เพียงโมเดลเดียว Magpie TTS เป็นส่วนหนึ่งของ NVIDIA Nemotron Voice Agent Developer Example ซึ่งเป็นการนำร่องการใช้งานที่แสดงให้เห็นว่าโมเดลเสียง ภาษา และการให้เหตุผลที่ออกแบบมาเพื่อวัตถุประสงค์เฉพาะ ทำงานร่วมกันเป็นระบบที่ประสานงานกันได้อย่างไร เพื่อให้คุณสามารถสร้างระบบสนทนาด้วยเสียงที่ทำงานตลอดเวลา ไม่ใช่แค่เสียงที่ฟังดูดีขึ้นนักพัฒนาสามารถผสมผสาน:Nemotron Speech: สำหรับการรู้จำเสียงพูดแบบสตรีมมิ่งMagpie TTS: สำหรับการสังเคราะห์เสียงหลายภาษาที่เป็นธรรมชาติNemotron language and multimodal models: สำหรับการให้เหตุผล การเรียกใช้เครื่องมือ และการเข้าใจข้อมูลหลายรูปแบบNVIDIA NIM: สำหรับไมโครเซอร์วิสการอนุมานที่ปรับแต่งสำหรับ GPU และพร้อมใช้งานในระดับโปรดักชันNeMo: สำหรับการปรับแต่งและการ Fine-tuningตัวอย่าง Nemotron Voice Agent Developer Example เป็นการนำสถาปัตยกรรมอ้างอิงแบบครบวงจร ที่นักพัฒนาสามารถโคลน ปรับแต่ง และติดตั้งได้ภายในไม่กี่ชั่วโมง ประกอบด้วยรูปแบบโปรดักชันสำหรับ:การสนทนาแบบเรียลไทม์ที่สามารถขัดจังหวะได้ (barge-in)ระบบสนทนาด้วยเสียงหลายรูปแบบพร้อมความสามารถในการเข้าใจภาพการจัดการหลายเอเจนต์และการเรียกใช้เครื่องมือการโต้ตอบด้วยเสียงหลายภาษาความหน่วงเวลาแบบ End-to-end ต่ำกว่าหนึ่งวินาทีโดยใช้ NVIDIA NIMแทนที่จะต้องประกอบส่วนประกอบทีละชิ้นจากศูนย์ นักพัฒนาสามารถเริ่มต้นจากสถาปัตยกรรมอ้างอิงที่สมบูรณ์และปรับให้เข้ากับแอปพลิเคชันของตนเองได้ติดตั้งสู่โปรดักชัน: NVIDIA Magpie Multilingual TTS NIM — คอนเทนเนอร์การอนุมานที่ปรับแต่งแล้วปรับแต่งสำหรับโดเมนของคุณ: NVIDIA NeMo Speech — การ Fine-tuning และการฝึกอบรมสร้างระบบสนทนาด้วยเสียงที่สมบูรณ์: NVIDIA voice-agent-examplesOpen weights และ License: Model card บน Hugging Face — Open weights ภายใต้ NVIDIA Open Model License#VoiceAI #TTS #NVIDIAhttps://huggingface.co/blog/nvidia/magpie-tts-multilingual-voice-agents