ประเมินโมเดล ASR ทางคลินิกให้เร็วขึ้น ด้วย Agent Skills และ NVIDIA Nemotron Speech

ประเมินโมเดล ASR ทางคลินิกให้เร็วขึ้น ด้วย Agent Skills และ NVIDIA Nemotron Speechการฝึกโมเดล Speech AI ให้จดจำหรือสังเคราะห์คำศัพท์ทางการแพทย์ได้อย่างถูกต้องนั้นเป็นเรื่องที่ท้าทายอย่างยิ่ง ชื่อยา เช่น Acetaminophen, Amlodipine, Cefazolin หรือ Biktarvy ไม่ใช่คำศัพท์ทั่วไปในชีวิตประจำวัน นอกเหนือจากนี้ ชื่อหัตถการ คำศัพท์ทางกายวิภาค และการวินิจฉัยเฉพาะทางก็สร้างปัญหาในลักษณะเดียวกัน ระบบ Speech ทั่วไปที่ทำงานได้ดีอาจยังคงพลาดคำที่สำคัญที่สุดสำหรับกระบวนการทำงานทางคลินิกการสร้างข้อมูลสังเคราะห์ (Synthetic Data Generation - SDG) สามารถช่วยปิดช่องว่างนี้ได้ แต่มีเงื่อนไขว่าเสียงที่สังเคราะห์ขึ้นต้องมีความถูกต้องทางสัทศาสตร์ ระบบ Text-to-Speech (TTS) ที่ออกเสียงชื่อยาหรือหัตถการผิดพลาด จะสร้างข้อมูลฝึกสอนหรือข้อมูลประเมินที่สอนการออกเสียงผิดๆ แทนที่จะแก้ไขปัญหาเดิม กลับทำให้การตรวจจับข้อผิดพลาดทำได้ยากขึ้น เมื่อนำไปใช้อย่างถูกต้อง SDG ช่วยให้ทีมสามารถสร้างชุดข้อมูลประเมินเฉพาะทางได้ภายในไม่กี่ชั่วโมง โดยไม่ต้องรวบรวมเสียงจากผู้ป่วยจริง หรือรอขั้นตอนการทำ Annotation หรือการอนุมัติจาก IRBบทความนี้จะนำเสนอขั้นตอนการทำงานของ Automatic Speech Recognition (ASR) ทางคลินิก สำหรับการสร้างเสียงสังเคราะห์ที่คำนึงถึงการออกเสียง การตรวจสอบคำศัพท์ทางการแพทย์ และการประเมินคุณภาพการจดจำ โดย NVIDIA Agent Skills จะเป็นผู้นำทางขั้นตอนการทำงาน ขณะที่ NVIDIA NeMo Data Designer และ NVIDIA Nemotron Speech จะให้บริการด้านการสร้างข้อมูลและเสียงทำไม ASR ทางคลินิกจึงต้องการวงจรการตอบรับที่ทำซ้ำได้Voice AI ทางคลินิกกำลังเข้ามามีบทบาทในระบบการบันทึกคำบอกเล่า (dictation) การบันทึกข้อมูลแบบ Ambient Documentation, การทำงานของ Call Center, การรับผู้ป่วย และการติดตามผลหลังการเยี่ยมผู้ป่วย ระบบเหล่านี้คาดหวังว่าจะเข้าใจคำศัพท์ที่พบได้ไม่บ่อยในการพูดทั่วไป แต่มีความสำคัญอย่างยิ่งต่อภารกิจ เช่น ชื่อยา ชื่อหัตถการ กายวิภาค การวินิจฉัย อุปกรณ์ อาการ และตัวย่อเฉพาะทางนอกจากนี้ เสียงจริงจากผู้ป่วยยังเป็นเรื่องยากในการรวบรวมและแบ่งปัน อาจมีค่าใช้จ่ายสูง ใช้เวลานานในการทำ Annotation ถูกจำกัดด้วยข้อกำหนดด้านความเป็นส่วนตัว และมีการกระจายตัวไม่สม่ำเสมอในกลุ่มเฉพาะทางและคำศัพท์ที่พบได้ยาก การบันทึกเสียงผู้ป่วยจริงเป็นข้อมูลสุขภาพที่ได้รับการคุ้มครองภายใต้ HIPAA ซึ่งหมายความว่าไม่สามารถแบ่งปันข้ามทีม ตรวจสอบในระบบ Version Control หรือใช้ในไปป์ไลน์ทดสอบอัตโนมัติได้ หากไม่มีการจัดการด้านการปฏิบัติตามกฎระเบียบอย่างมีนัยสำคัญ เสียงสังเคราะห์ไม่มีข้อมูลระบุตัวตนของผู้ป่วย (PHI) โดยการออกแบบ ทำให้เป็นข้อมูลเสียงทางคลินิกเพียงรูปแบบเดียวที่ทีมสามารถจัดการ Version ควบคุม แบ่งปัน และทดสอบได้ ชุดข้อมูลสาธารณะอาจไม่มีคำศัพท์ที่เฉพาะเจาะจงซึ่งการใช้งานนั้นขึ้นอยู่กับความท้าทายในทางปฏิบัติไม่ใช่แค่การสร้างข้อมูลให้มากขึ้นเท่านั้น นักพัฒนาต้องการวิธีการที่ทำซ้ำได้ในการกำหนดโปรไฟล์ทางคลินิกเป้าหมาย สร้างชุดข้อมูลประเมิน ตรวจสอบความเสี่ยงในการออกเสียง วัดพฤติกรรมของ ASR ปรับปรุงโมเดล และตัดสินใจว่ารอบถัดไปควรขยายคำศัพท์ ปรับปรุงการออกเสียง เพิ่มสัญญาณรบกวน หรือปรับแต่งโมเดล (fine-tune)Agent Skills ช่วย AI ด้านเสียงทางคลินิกได้อย่างไร?Agent Skills จะนำทางนักพัฒนาผ่านขั้นตอนซ้ำๆ ของการประเมิน ASR ทางคลินิก: การกำหนดโปรไฟล์ การสร้างชุดข้อมูลประเมินที่เน้นคำศัพท์ การตรวจสอบการออกเสียง การสร้างเสียงสังเคราะห์ การวัดพฤติกรรมของ ASR และการเลือกการทำซ้ำครั้งต่อไปในโพสต์นี้ วงจรการปรับปรุง (flywheel) คือวงจรการปรับปรุงที่สมบูรณ์: สร้างชุดข้อมูลประเมิน ประเมินพฤติกรรมของ ASR ใช้ผลลัพธ์เพื่อตัดสินใจว่าจะเปลี่ยนแปลงอะไร และประเมินซ้ำหลังจากการเปลี่ยนแปลง ไปป์ไลน์คือการผ่านเพียงครั้งเดียวของส่วนหนึ่งของวงจรนั้น เช่น การสร้างประโยค การเพิ่มเครื่องหมายกำกับ (markup) การสังเคราะห์เสียง และการเขียน Manifestไปป์ไลน์เริ่มต้นจากการสนทนา ไม่ใช่ไฟล์การตั้งค่าแบบคงที่ คุณสามารถเรียกใช้ "Build Skill" ใน Agent Harness ใดก็ได้ (เช่น Claude Code หรือ Codex) และอธิบายกระบวนการทำงานทางคลินิกที่ต้องการทดสอบ Agent Skill ด้านการสร้าง ASR ทางคลินิกสำหรับสุขภาพดิจิทัล (digital health clinical asr build agent skill) จะสอบถามเกี่ยวกับสาขาทางการแพทย์ (specialty) สภาพแวดล้อมเป้าหมาย (target setting) คำศัพท์ที่ทราบว่ามีปัญหา (known failure terms) และบริบทที่ต้องการ (desired contexts) ก่อนที่จะสร้างการตั้งค่าชุดข้อมูลประเมินเบื้องต้นSkill จะถามทีละคำถาม ตามลำดับ:สาขาทางการแพทย์หรือกระบวนการทำงานคืออะไร?พบโหมดข้อผิดพลาดของ ASR ใดบ้าง?คำศัพท์ใดที่พบเจอทุกวัน และคำศัพท์ใดที่ยาก?คำศัพท์ทั่วไปจะกลายเป็น Baseline และคำศัพท์ที่ยากจะกลายเป็นสัญญาณที่ขับเคลื่อนการออกแบบชุดข้อมูลประเมินการเริ่มต้นตามโปรไฟล์นี้ช่วยให้สามารถกำหนดค่าวงจรการปรับปรุงเดียวกันสำหรับศัลยกรรมกระดูก (orthopedic surgery) อายุรเวชโรคหัวใจ (cardiology) มะเร็งวิทยา (oncology) สุขภาพจิต (behavioral health) หรือสาขาอื่นใดที่มีคำศัพท์แตกต่างกัน หน้าที่ของ Agent คือการรักษา Workflow ให้อยู่ในเส้นทางที่ถูกต้อง: รวบรวมโปรไฟล์ทางคลินิก เสนอหรือนำเข้าคำศัพท์ สร้างชุดข้อมูล QA ขนาดเล็กก่อน ส่งต่อ IPA ที่ผิดพลาดไปยังการตรวจสอบ และจึงค่อยสร้างชุดข้อมูลประเมินทั้งหมดการสร้างเสียงสังเคราะห์ที่พร้อมสำหรับ TTS จากคำศัพท์ทางการแพทย์เริ่มต้นเริ่มต้นจากรายการคำศัพท์ที่เฉพาะเจาะจงตามโปรไฟล์ ไปป์ไลน์จะใช้ NeMo Data Designer เพื่อขยายคำศัพท์เริ่มต้นให้เป็นชุดข้อมูลที่สมบูรณ์ยิ่งขึ้น NeMo Data Designer สร้างข้อมูลสังเคราะห์คุณภาพสูงจากศูนย์หรือจากข้อมูลเริ่มต้น นักพัฒนาจะกำหนดคอลัมน์ผลลัพธ์ (output columns) และความสัมพันธ์ระหว่างคอลัมน์เหล่านั้นNeMo Data Designer จะจัดการความสัมพันธ์โดยจัดการการแบ่งกลุ่ม (batching) การประมวลผลแบบขนาน (parallel execution) การตรวจสอบความถูกต้อง (validation) และการดำเนินการแบบ Preview หรือ Full-run ในวงจรการปรับปรุงนี้ คอลัมน์ผลลัพธ์จะสร้างบันทึกเสียงสังเคราะห์ที่สมบูรณ์: ID ตัวอย่างที่ไม่ซ้ำกัน ประโยคทางคลินิกที่มีคำศัพท์เป้าหมาย แหล่งที่มาของการออกเสียง ประโยค Speech Synthesis Markup Language (SSML) พร้อมเครื่องหมายสัทศาสตร์ (phoneme markup) หากมี และเส้นทางเป้าหมายสำหรับเสียงสังเคราะห์สำหรับไปป์ไลน์นี้ ห้าคอลัมน์จะแปลงคำศัพท์ทางคลินิกให้เป็นประโยคที่พร้อมสำหรับ TTS และมีเครื่องหมายสัทศาสตร์ (ดูรูปที่ 1)พรอมต์ประโยคที่สร้างขึ้นควรคงคำศัพท์เป้าหมายไว้เหมือนเดิม หากโมเดลแทนที่ด้วยชื่อแบรนด์ ชื่อสามัญ ตัวย่อ หรือการสะกดแบบอื่น ชุดข้อมูลประเมินจะไม่สามารถทดสอบ Entity ที่ต้องการได้ Agent Skill สามารถตรวจสอบเงื่อนไขนี้และสร้างประโยคใหม่ หรือปฏิเสธแถวที่ไม่ตรงกับคำศัพท์ที่ต้องการการแทรกแท็ก Phoneme ใน SSMLSSML เป็นภาษา Markup ที่ใช้ XML ซึ่งให้คำแนะนำแก่เครื่องมือ TTS เกี่ยวกับวิธีการสังเคราะห์เสียง มีความสำคัญอย่างยิ่งในการควบคุมแง่มุมต่างๆ เช่น การออกเสียง จังหวะ เสียง และการเน้นเสียง ขั้นตอน SSML จะครอบคลุมประโยคที่สร้างขึ้นด้วยองค์ประกอบ ` และแทรกแท็ก ` รอบทุกที่ที่พบคำศัพท์เป้าหมาย การนำไปใช้ใช้ Regular Expression ที่ไม่คำนึงถึงตัวพิมพ์เล็ก/ใหญ่ (case-insensitive regex) เพื่อรักษารูปแบบตัวพิมพ์เดิมในประโยค ในขณะที่การจับคู่ยังคงมีความแม่นยำการตรวจสอบการออกเสียงด้วยตนเองสำหรับช่องว่าง IPAการค้นหาในพจนานุกรมครอบคลุมคำศัพท์ทางการแพทย์จำนวนมาก แต่ไม่ใช่ทั้งหมด ชื่อยาใหม่ ชื่อทางการค้า คำศัพท์หัตถการที่พบได้ยาก และวลีเฉพาะทางอาจขาดหายไป หรืออาจให้ผลลัพธ์การออกเสียงที่ต้องได้รับการตรวจสอบ วงจรการปรับปรุงจัดการช่องว่างเหล่านั้นด้วยเส้นทางการตรวจสอบด้วยตนเองที่ชัดเจนเมื่อไม่มีการออกเสียงที่เชื่อถือได้จากพจนานุกรม Agent Harness ที่ใช้ LLM สามารถเสนอ IPA ที่เป็นไปได้ ขอบเขตที่สำคัญคือข้อเสนอของ LLM จะไม่ถูกถือว่าเป็นความจริง (ground truth) แต่เป็นข้อเสนอที่ต้องผ่านการตรวจสอบความถูกต้องและการทบทวนโดยมนุษย์วงจรการตรวจสอบด้วยตนเองมีดังนี้:ทำเครื่องหมายแถวที่ไม่มี IPA หรือมี IPA ที่ความมั่นใจต่ำใช้ Agent Harness เพื่อเสนอ IPA อย่างน้อยหนึ่งรายการตรวจสอบความถูกต้องของ IPA กับคลังสัทศาสตร์ของ TTSสังเคราะห์คลิป QA สั้นๆ สำหรับคำศัพท์ในบริบทตรวจสอบเพื่อยอมรับ แก้ไข หรือปฏิเสธ IPA ที่เสนอเขียน IPA ที่ยอมรับลงในไฟล์ Override ที่ตรวจสอบแล้วสร้าง SSML และเสียงที่ได้รับผลกระทบใหม่กระบวนการนี้จะเปลี่ยนช่องว่างในการออกเสียงให้กลายเป็นคิวการตรวจสอบขนาดเล็ก แทนที่จะเป็นปัญหาคุณภาพชุดข้อมูลประเมินที่ซ่อนอยู่ ตัวอย่างเช่น ในการจำลองการปฏิบัติงานด้านกระดูก (orthopedic practice) คำศัพท์เช่น Femoroacetabular impingement, Hemiarthroplasty, Ketorolac, Pertrochanteric และ Ropivacaine จำเป็นต้องได้รับการตรวจสอบหรือ Override หลังจากการตรวจสอบ ชุดข้อมูลประเมินทั้งหมดได้สร้างตัวอย่างเสียง 67 รายการ โดยไม่มีแถวใดที่ต้องพึ่งพาการออกเสียง TTS ดั้งเดิมที่ยังไม่ได้รับการตรวจสอบวงจรจะทำงานได้ก็ต่อเมื่อ Agent หยุดและรอผู้ใช้ในเวลาที่เหมาะสม Skill เองบังคับให้เกิดการหยุดชั่วคราว คำแนะนำใน Skills เขียนขึ้นสำหรับ Agent ไม่ใช่นักพัฒนา และบอก Agent ด้วยภาษาที่เข้าใจง่ายว่าไม่สามารถดำเนินการต่อได้จนกว่าผู้ใช้จะฟังคลิปการสังเคราะห์เสียงและสร้าง Manifestเมื่อแต่ละแถวมีประโยค SSML และเส้นทางเสียงเป้าหมายแล้ว Workflow จะสังเคราะห์ไฟล์เสียงหนึ่งไฟล์ต่อตัวอย่างที่สร้างขึ้น NVIDIA Magpie TTS Multilingual เหมาะสำหรับขั้นตอนนี้ เนื่องจากรองรับแท็ก SSML Phoneme ด้วย IPA และ ARPAbet สิ่งนี้ช่วยให้ Synthesizer สามารถสร้างคำศัพท์ทางคลินิกโดยใช้ลำดับสัทศาสตร์ที่ตรวจสอบแล้ว แทนที่จะพึ่งพาการคาดการณ์ Grapheme-to-Phoneme ของตัวเองเท่านั้นผลลัพธ์สุดท้ายคือ Manifest ที่เข้ากันได้กับ NeMo ในรูปแบบ JSONL แต่ละบรรทัดจะเชื่อมโยงไฟล์เสียงเข้ากับ Transcript และ Metadata:audio\_filepath: เส้นทางไปยังไฟล์เสียงtext: Transcript ที่ถูกต้องของประโยคspeaker\_id: ตัวระบุผู้พูด (หากมี)accent/language: สำเนียง/ภาษา (หากมี)other metadata: ข้อมูลเมตาอื่นๆ เช่น ID ตัวอย่าง, คำศัพท์เป้าหมาย, ประเภทบริบทManifest คือจุดส่งต่อระหว่าง SDG, การประเมิน ASR และการปรับปรุงโมเดล นอกจากนี้ยังเป็นที่ที่ชุดข้อมูลประเมินเก็บ Metadata ที่จำเป็นสำหรับการแบ่งผลลัพธ์ตามหมวดหมู่ Entity, แหล่งที่มาของการออกเสียง, ประเภทบริบท, เสียง หรือสภาวะอะคูสติกคุณค่าของวงจรคุณภาพ ASR ทางคลินิกแบบ Skill-Native คืออะไร?แม้ว่าการสร้างเสียงที่มีการควบคุมสัทศาสตร์จะเป็นประโยชน์ในตัวเอง แต่คุณค่าที่มากกว่านั้นคือ Agent AI ที่ทำงานร่วมกับนักพัฒนาผ่านวงจรการปรับปรุง ผู้ใช้เริ่มต้นด้วยโปรไฟล์ทางคลินิก Build Skill จะสร้างชุดข้อมูลประเมิน Evaluation Skill จะรายงานว่าระบบ ASR มีปัญหาที่จุดใด Adaptation Skill จะช่วยตัดสินใจว่าจะปรับแต่ง (fine-tune) ขยายรายการคำศัพท์ ปรับปรุงความครอบคลุมของการออกเสียง หรือเพิ่มสภาวะที่ยากขึ้นหรือไม่ จากนั้น ขั้นตอนการประเมินซ้ำ (reevaluation) จะตรวจสอบว่าการเปลี่ยนแปลงนั้นได้ผลหรือไม่Evaluation Skill มีกฎการกำหนดเส้นทาง (routing rule) ที่อาจขัดกับสัญชาตญาณซึ่งควรนำมากล่าวถึง หากคะแนนเสียงของ Merriam-Webster ดีขึ้น แต่คะแนนเสียงสำรองของ Magpie ต่ำ Skill จะส่งผู้ใช้กลับไปที่ Build แทนที่จะ Fine-tune รูปแบบนั้นคือช่องว่างความครอบคลุมของการออกเสียง ไม่ใช่ช่องว่างของโมเดล การ Fine-tune บนช่องว่างการออกเสียงของ TTS จะสอนโมเดลให้จดจำข้อผิดพลาดของโมเดลเอง การถอดความ ASR เองนั้นให้บริการโดย NVIDIA Nemotron Speechการประเมินประสิทธิภาพ ASRวงจรการปรับปรุงยังคงรายงานเมตริก ASR ที่คุ้นเคย แต่ Skill จะนำเสนอเมตริกเหล่านั้นในฐานhttps://developer.nvidia.com/blog/evaluate-clinical-asr-models-faster-with-agent-skills-and-nvidia-nemotron-speech/