15.4にアップデートするまでは不安定すぎてHomeKitは使用できる状態ではありませんでしたが、アップデートしてからは不安定さがかなり解消されたように思います。

現在はHomePod mini5台をWiFiの5GHzで接続、Apple TV 4K3台を有線LAN接続で一応安定化しています。
但し、OSが14の際よりはSiriの反応はもたついてますね。
この問題はiPhoneやiPadのSiriでは起こらない問題だと思うのでHomePod OSの問題？だろ思ってその都度Appleにはフィードバックはしています。