Hugging Face 發表研究，引入三項特定測試來量化語音辨識（ASR）模型中的「基準最佳化」（benchmaxxing）現象。此現象指模型在公開基準上表現良好，但在生產環境中卻表現不佳，導致難以衡量其真實世界泛化能力。透過量化這種差距，研究人員和工程師可以更準確地評估模型效率，並避免過度擬合特定資料集。文章強調，雖然基準最佳化在機器學習中很常見，但在語音辨識領域卻難以衡量。這些新測試為提升 Hugging Face 上 ASR 模型的效率提供了可操作的見解。

事件背景

Hugging Face 是機器學習模型的重要平台，許多 ASR 模型（如 Whisper）在此分享。了解模型是否過度擬合基準，對於選擇合適的語音辨識引擎至關重要。