野球の打順、なぜ「よんばん」ではなく「よばん」と読む？

[となりのテレ金ちゃん－テレビ金沢]2018年6月4日放送の「仰天コロンブス」のコーナーで、野球の打順の読み方について調べていました。

通常、4番は「よんばん」と読みますが、野球では「よばん」と読みます。それはなぜでしょうか？