入居時に畳の表替えがしてある状態で入居されたのであれば、大家さんの言うとおりでしょうが、
表替えしていない状態で入居したなら、払う必要はないのではないでしょうか？

大家さんが契約に書いてると言ってきても、それは民法の契約自由のことを言ってるのであって、
民法よりも賃貸物件で優先される借地借家法では、一方的に貸主に不利な条項を禁じているので、
その辺りを根強く言い返したら、どうにかなるかもしれないですね。
国の方も引渡し時のトラブルが多くて、新たにガイドラインを作り直すとか？少し前に新聞で読みました。