Apple Speech API แม่นยำกว่า Whisper แล้วจริงหรือ? ผล Benchmark ฉบับแรกที่นักพัฒนาควรรู้

การแปลงเสียงพูดเป็นข้อความ (Speech-to-Text) เป็นเทคโนโลยีที่พัฒนาไปอย่างรวดเร็ว โดยเฉพาะอย่างยิ่งเมื่อ Apple ได้เปิดตัว API ใหม่สำหรับ SpeechAnalyzer และ SpeechTranscriber ใน iOS 17 และ macOS 14 ทำให้เกิดคำถามว่าเทคโนโลยีนี้จะแม่นยำแค่ไหนเมื่อเทียบกับโมเดลยอดนิยมอย่าง Whisper จาก OpenAI

สำหรับนักพัฒนาที่ต้องตัดสินใจว่าจะย้ายไปใช้ API ใหม่ของ Apple หรือยังคงใช้ Whisper อยู่ รวมถึงผู้ที่ต้องการเปรียบเทียบประสิทธิภาพของฟีเจอร์แปลงเสียงพูดในตัวของ Apple กับ Whisper บทความนี้จะนำเสนอผลการทดสอบ benchmark ที่ไม่เคยมีใครเปิดเผยมาก่อน

การทดสอบ Benchmark: SpeechAnalyzer vs Whisper vs SFSpeechRecognizer

ทีมงาน Inscribe ได้ทำการทดสอบเปรียบเทียบประสิทธิภาพของ SpeechAnalyzer (API ใหม่ของ Apple) กับ SFSpeechRecognizer (API เดิมของ Apple) และโมเดล Whisper ในขนาดต่างๆ (Whisper Small, Tiny) โดยใช้ชุดข้อมูล LibriSpeech จำนวน 5,559 วลี ซึ่งแบ่งเป็น:

  • LibriSpeech test-clean: ชุดข้อมูลเสียงอ่านที่ชัดเจน จำนวน 2,620 วลี
  • LibriSpeech test-other: ชุดข้อมูลเสียงที่ยากขึ้นและมีเสียงรบกวน จำนวน 2,939 วลี

การทดสอบนี้ดำเนินการบนฮาร์ดแวร์ Apple M2 Pro (32GB, macOS 14.5.1) โดยทุกเอนจินทำงานแบบ On-device อย่าง

ขอบคุณ แหล่งข้อมูล
https://get-inscribe.com/blog/apple-speech-api-benchmark.html

Apple Speech API แม่นยำกว่า Whisper แล้วจริงหรือ? ผล Benchmark ฉบับแรกที่นักพัฒนาควรรู้การแปลงเสียงพูดเป็นข้อความ (Speech-to-Text) เป็นเทคโนโลยีที่พัฒนาไปอย่างรวดเร็ว โดยเฉพาะอย่างยิ่งเมื่อ Apple ได้เปิดตัว API ใหม่สำหรับ SpeechAnalyzer และ SpeechTranscriber ใน iOS 17 และ macOS 14 ทำให้เกิดคำถามว่าเทคโนโลยีนี้จะแม่นยำแค่ไหนเมื่อเทียบกับโมเดลยอดนิยมอย่าง Whisper จาก OpenAIสำหรับนักพัฒนาที่ต้องตัดสินใจว่าจะย้ายไปใช้ API ใหม่ของ Apple หรือยังคงใช้ Whisper อยู่ รวมถึงผู้ที่ต้องการเปรียบเทียบประสิทธิภาพของฟีเจอร์แปลงเสียงพูดในตัวของ Apple กับ Whisper บทความนี้จะนำเสนอผลการทดสอบ benchmark ที่ไม่เคยมีใครเปิดเผยมาก่อนการทดสอบ Benchmark: SpeechAnalyzer vs Whisper vs SFSpeechRecognizerทีมงาน Inscribe ได้ทำการทดสอบเปรียบเทียบประสิทธิภาพของ SpeechAnalyzer (API ใหม่ของ Apple) กับ SFSpeechRecognizer (API เดิมของ Apple) และโมเดล Whisper ในขนาดต่างๆ (Whisper Small, Tiny) โดยใช้ชุดข้อมูล LibriSpeech จำนวน 5,559 วลี ซึ่งแบ่งเป็น:LibriSpeech test-clean: ชุดข้อมูลเสียงอ่านที่ชัดเจน จำนวน 2,620 วลีLibriSpeech test-other: ชุดข้อมูลเสียงที่ยากขึ้นและมีเสียงรบกวน จำนวน 2,939 วลีการทดสอบนี้ดำเนินการบนฮาร์ดแวร์ Apple M2 Pro (32GB, macOS 14.5.1) โดยทุกเอนจินทำงานแบบ On-device อย่างhttps://get-inscribe.com/blog/apple-speech-api-benchmark.html
Shared content
GET-INSCRIBE.COM
Apple's New Speech API vs Whisper: The First Real Benchmark
SpeechAnalyzer vs SFSpeechRecognizer vs Whisper on 5,559 LibriSpeech utterances. Apple never published accuracy numbers. Here they are, with raw transcripts you can rescore.
3 Commentarii 0 Distribuiri 572 Views 0 previzualizare