ビット不足から来るという認識は正しいが、情報が少なすぎてなんとも。
とりあえずffmpegとx264のバージョンを上げて、より圧縮率の高いプリセットを使え。
あとビットレート指定なら2passにしろ。
取りあえずのアドバイスはそんなとこ。