>>995
その通りです

細かくは
１．実験用に３台でPROXMOXのクラスタ・Cephを構築してRBDとCephFSに適当なデータをいれる
２．ノード２台が爆弾で本体もストレージも死んだと想定して電源切断
３．新たにPROXMOXをインストールしたマシン２台を用意
４．生きてるノードにCLIでログインして“pvecm expected 1”で操作可能にする
５．新規マシン２台をクラスタに参加させてCephのインストールを行う
６．色々な作業をしてCephの再構築が出来ないで悩む
　　（大抵のコマンドを受け付けてくれない（モニターを追加できない）
７．>>994の手順で古い(死んだ)モニターを削除したら各種操作が可能になった
８．モニターを追加
９．OSDを追加
１０．Cpehの再構築が行われる（再構築が終わったら故障以前の環境に復帰）
１１．古いOSDを削除（今ここ）

課題
PVECEPHコマンド以外での操作が必要だったため
・CRUSHマップに古いノードの情報が残ってる
・WEBGUIのCeph(OSD)に前のノード情報が残ってる
・恐らく把握できてない箇所に古いノードのデータが残ってる
これらをクリーンにしたい