うーん、裏でmakeとは関係ない何か実行していたとか
kubuntu 19.10&同じオプション&-j8で一回づつ試してみた
0.1.0はgtk3版がない&onigurumaもエラーで使えないから修正時点のコミット

JDim 0.2.0-20191208(git:43c7bc6b26):real 1m14.103s
JDim 0.2.0-20190720(git:f5e5b66767):real 1m14.591s
JDim 0.1.0-20190309(git:374686a572):real 1m12.970s