curl/wget でダウンロードせずに、
リソースのURL だけを取得するようなオプションは無いのか？

例えば、ボタンを押すと、Ajax でHTML を書き換えて、
今まで存在しなかった、URLが現れると、非常に厄介

5ch がそう

最初に空のHTMLを送ってきてから、Ajaxで内容を取得する。
そこには、200のURLが書いてあるが、ボタンを押せば、500のURLが現れる

このように、ユーザーのアクションによって、
ドンドンHTMLが変わっていくので、その中にあるURLも変わっていくのが、厄介