Apple Speech API แม่นยำกว่า Whisper แล้วจริงหรือ? ผล Benchmark ฉบับแรกที่นักพัฒนาควรรู้
การแปลงเสียงพูดเป็นข้อความ (Speech-to-Text) เป็นเทคโนโลยีที่พัฒนาไปอย่างรวดเร็ว โดยเฉพาะอย่างยิ่งเมื่อ Apple ได้เปิดตัว API ใหม่สำหรับ SpeechAnalyzer และ SpeechTranscriber ใน iOS 17 และ macOS 14 ทำให้เกิดคำถามว่าเทคโนโลยีนี้จะแม่นยำแค่ไหนเมื่อเทียบกับโมเดลยอดนิยมอย่าง Whisper จาก OpenAI
สำหรับนักพัฒนาที่ต้องตัดสินใจว่าจะย้ายไปใช้ API ใหม่ของ Apple หรือยังคงใช้ Whisper อยู่ รวมถึงผู้ที่ต้องการเปรียบเทียบประสิทธิภาพของฟีเจอร์แปลงเสียงพูดในตัวของ Apple กับ Whisper บทความนี้จะนำเสนอผลการทดสอบ benchmark ที่ไม่เคยมีใครเปิดเผยมาก่อน
การทดสอบ Benchmark: SpeechAnalyzer vs Whisper vs SFSpeechRecognizer
ทีมงาน Inscribe ได้ทำการทดสอบเปรียบเทียบประสิทธิภาพของ SpeechAnalyzer (API ใหม่ของ Apple) กับ SFSpeechRecognizer (API เดิมของ Apple) และโมเดล Whisper ในขนาดต่างๆ (Whisper Small, Tiny) โดยใช้ชุดข้อมูล LibriSpeech จำนวน 5,559 วลี ซึ่งแบ่งเป็น:
- LibriSpeech test-clean: ชุดข้อมูลเสียงอ่านที่ชัดเจน จำนวน 2,620 วลี
- LibriSpeech test-other: ชุดข้อมูลเสียงที่ยากขึ้นและมีเสียงรบกวน จำนวน 2,939 วลี
การทดสอบนี้ดำเนินการบนฮาร์ดแวร์ Apple M2 Pro (32GB, macOS 14.5.1) โดยทุกเอนจินทำงานแบบ On-device อย่าง
ขอบคุณ แหล่งข้อมูล
https://get-inscribe.com/blog/apple-speech-api-benchmark.html