原因不明ですが、とりあえず起動できるレベルで自己解決しました。

メニューからavimdemuxをまず起動して、avimdemuxのメニューからオープン操作で
目的のファイルを選択したところ起動できました。