cc_config.xmlに、こんな風にアーキテクチャを複数書いたらどうだろう

<options>
<alt_platform>aarch64-unknown-linux-gnueabihf</alt_platform>
<alt_platform>arm-unknown-linux-gnueabihf</alt_platform>
<alt_platform>aarch64-unknown-linux-gnu</alt_platform>
</options>