低い声で怒ったところで、馬は馬耳東風です。騎乗者が何をしたいか馬が理解していなければ鞭で叩かれても脚で蹴られても動きません。
状況によって多少は強い鞭や脚が必要な場合もありますが、まずはシートバランスを含めた扶助の見直しをおすすめします