からだに悪い影響は寒い中、昔のような長時間稽古をした場合でしょう。
現代は趣味なのでやっても稽古時間が短いでしょう。
普段働いている体力があれば平気ですよ。
長い期間寒暑中でやるわけじゃなし。
そのくらいで参るような体なら武道やっても無駄ですよ。
武道は虚弱体質者対象で作られてないしね。