家族でご飯を食べに行くんですが、私が選んだ店に行きます

後日妻から「パパだけが行きたいところなんだよね」
(私たちは行きたくないけど、付き合わされる)と言ってきたので、
別に行きたい訳ではないし、料金も高いので、予約をキャンセルするように言いました
すると、妻から子供も楽しみにしてるから云々言われて…

訳がわかりません
機嫌が悪くて愚痴っぽく言っただけみたいなんですが…
腹も立つし、お金ももったいないので、キャンセルしろと強行するつもりなんですが、
大人げないでしょうか？
皆さんはこういう事がありませんか？