たしか渋谷区の公営はどこも石鹸シャンプー類使用OK
Yahoo知恵袋にもあったけど区の見解として石鹸シャンプーNGにする理由が無いとか

＞渋谷区のプールは使えないところはありません
コレは区のスポーツ施設の責任担当者の考え方で
「水を循環させているわけでもないのに使えないのはおかしい」って言ってました
あと東京都体育館、辰巳国際水泳場が使えます

＞公立で使えない所は、排水をトイレ等で二次利用しているか、シャワールームが狭い施設だと思います
有楽町線沿いで使える所は麹町小学校、辰巳国際。
他ですと渋谷区や港区、目黒区民センター等