【PVE】Proxmox VE【KVM, LXC】NODE-2
Proxmox VEについて語りましょう！
Proxmox VEは、Debianをベースとしたオープンソースのサーバー仮想化プラットフォームです
仮想マシンとコンテナの管理を、統合されたWebインターフェイスを通じて直感的に行うことができます
【公式サイト】
http://www.proxmox.com/
【公式ドキュメント】
https://pve.proxmox.com/pve-docs/
【特徴】
・オープンソース: コスト効率が良く、広範なコミュニティサポートが利用可能
・仮想マシンとコンテナの統合: KVMとLXCのサポートにより、柔軟な仮想化ソリューションを提供
・クラスタリングによる高可用性: 複数サーバの統合管理で、負荷分散や冗長性を実現
・Web GUIによる簡単管理: 直感的なインターフェースで専門知識がなくても管理可能
・多様なストレージサポート: NFS、iSCSI、Cephなど複数のオプション対応
・統合バックアップとレプリケーション: 簡単設定でデータ保護と災害復旧をサポート
・ライブマイグレーション: 稼働中のVMをダウンタイムなしで移動可能
【前スレ】
【PVE】Proxmox VE【KVM, OpenVZ】
https://mao.5ch.net/test/read.cgi/linux/1381916363/ 勝手にいくつか変更させてもらった
・WikipediaへのリンクはWikiの情報が古く少ないため削除
・Proxmox公式ドキュメントへのリンク追加
・OpenVZは現在サポート対応してないためLXCに変更
・説明文をChatGPT-4で生成 >>1
おつです。
ESXi用のCiscoの有償トレーニングソフトCisco Modeling LabsをProxmoxで動かした記事がネットに上がっていた。
そんなこんなでProxmox利用者がどんどん増えるかもね。 乙
> 1001 名前：1001 []： Over 1000 Thread
> このスレッドは１０００を超えました。
> 新しいスレッドを立ててください。
> life time: 3829日 17時間 37分 12秒
前スレ完走まで10年超えで草 前スレ>>996だけど
>CRUSHマップに古いノードの情報が残ってる
ceph osd crush remove {bucket-name}で古いProxmoxのノード情報を消したら
＞WEBGUIのCeph(OSD)に前のノード情報が残ってる
これも上記の操作で綺麗になった
恐らくだけど、Cephの運用でProxomox側で管理してるのは極一部で（pmxcfsでceph.confを同期＋α）
Proxomox側で情報や管理は行ってる部分は殆どなく、WebGUI等はその都度Cephから直接情報取得して表示してるのだろう
（ソースコード見ればいいのだろけど、すごく面倒・・・）
pvecephコマンドも基本的にはproxmoxのディレクトリ構造前提にCephをコマンド操作してる程度の動きなんだと思う
（pvecephでCephの認証キー？とかをクラスタ間で送受信もしてるはず）
※以下日記なのだけど・・・
【現在】 NASサーバーｘ1台、Proxmoxｘ2台
【今後(妄想)】 NASサーバーｘ1台、Proxmoxｘ3台（CephとHAを運用したい）
妄想中に思い付いたのだが・・・
追加でNASサーバーを冗長化したいと思ったら、いっそProxmoxｘ5台にしてCephを中心にNAS化したほうが管理が楽じゃないか？
（なお電気代がヤバイので無謀な気もする） 2.5GbEでクラスタ組んでる3台6OSD構成のProxmoxクラスタだけど、ストレージの速度は100MB/sくらいしか出ないよ 普通の1000BASE-Tで3台3OSD（2.5インチSSD）構成のProxmoxだけど、ストレージの速度は
VM（ubuntu）のKDiskMarkでSEQ1M Read 190MB/s、Write 50MB/sとか出てるけどなぁ。
NASの容量や目的にも依るだろうけど自分はVMにインストールしたNextcloudで不満は無い。 >>9
Ceph組んだことないんだけど、Proxmox3台で、HAとCephを一緒に組めるものなのじゃないのか？ >>9
Ceph組んだことないんだけど、Proxmox3台で、HAとCephを一緒に組めるものなのじゃないのか？ Cephに渡すドライブって /dev/sdb とかの丸ごとじゃないとダメなの？
N100の安miniPCで追加ドライブ用意するのが面倒
（Proxmox自体をUSBメモリにインストールすればいいのだけど、挿ってるのがちょっと気に入らないｗ） raidzで組みたいんだが後からSSD増設できない仕様なのにSSD値上がりしまくってるせいで痛い
何かいい案ないものか >10,11
参考になります
自分の環境だと3台( NIC 1Gbps )で Write 42MB/s 位でした（想定の範囲）
（一応 public と cluster のネットワークを分けてみたけど、内部の vm からだとあまり変わらず）
複数のノードから同時に書き込みして、その合計を書き込み速度って考えならもっと増えるかな（今度試してみよう・・・） >>12
3台でCeph,HA,VMが共存できます
ただ、手元にPRIMERGY10台（使用中４台）あるから・・・ >>15
試したことが無いから憶測だけど
ある程度Linuxの知識あって、Cephのドキュメント読みながらOSD構築できるなら
LV(LVM)でも任意のパーテーションでもOSD用に割り当てできるはず
いま調べてる途中なんだけど、Cephのモニターかマネージャーノード（両方？）が
OSDじゃなくLinuxのインストール側のディスクに常に0.5MBye/sec位謎の書き込みしてる
（内容(原因)追ってるんだけど、inotifywaitでは？特定できてない）
それで、高耐久ではない一般的なUSBメモリだと直ぐに死ぬ！ Cephの謎の連続書き込みこれっぽい
/var/lib/ceph/mon/ceph-{host-name}/store.db
（ find / -mmin -1 の結果から、それっぽいの見つけた ）
123456.log , 123456.sst（6桁？の数値.logと.sst）が原因っぽい
0.5MBye/sec≒15TByte/yearはちょっと多い・・・
Proxmoxの起動用に容量少ないSSD使ってるから不安しかない・・・ UNIXの頃から、安全を見てrootの予定空き容量は50%以上を確保しておけと。
（たいした容量は必要ない） 今日の悲しい報告
fstrimコマンドを100回は打った
Lvm(thin)もZFSもCephもThin Provisioningなのに、なぜ確保した範囲が解放されないって悩み過ぎた
Discardを有効にするために/etc/pve/qemu-server/<vmid>.conf 弄ったり
/etc/lvm/lvm.conf 弄ったり
zpool set autotrim=on pool 打ったり・・・
Vmで使う仮想DiskのDiscradのオプションに気づかずに・・・ >>20
OSDじゃなくLinuxのインストール側のディスクはHDDにしたほうが安全だね。。 PVEでのcephの運用勉強してたら
前提条件が変わってきて用意したパーツが無駄に(笑)
データ用SSD180GB(MLC)ｘ14個
起動用SSD32GB(SLC)ｘ14個 ← これ、窓から投げ捨てて
起動用に100GB+α以上で高耐久のSSD調達しないと(涙) >>24
起動用はもう、HDDでいんじゃね？（笑
実際のところ、Proxmox起動用と、iso保存用は、HDDを使うのとSSD使うのどっちがいいんだろうね。 ISO置き場は読み込み速度がほしいのでSSDにしてるな /var/lib/ceph/mon 以下をtmpfsにしちゃうとか 逆にProxmoxサーバーのシステムディスクがHDDの場合、cephのパフォーマンスにどのぐらい影響するか知りたい。 >>25
[最初の計画]
32GB(SLC)をZFS・ミラーで冗長化して起動用(6台分)2個は予備
180GBｘ3をZFS・RAIDZで冗長化（4台分）
Proxmox ｘ3＋予備マシンｘ1、NASｘ1、実験用ｘ1
[途中の計画]
32GB(SLC)をZFS・ミラーで冗長化して起動用(6台分)2個は予備
180ｘ3をCephに使う(マシン3台＋1台）2個は予備
Proxmox ｘ3＋予備マシン＊1、NASｘ1、実験用ｘ1
[現在(中断する計画)]
32GB(SLC)をZFS・ミラーで冗長化して起動用(6台分)2個は予備 （Cpehの書き込み量に対して不安）
NASに使ってるSSDとかHDDをCephに集結して、Proxmox ｘ５＋１(予備)でCephを構築してNASも兼ねる >>26
HDD、1万回転のSASのなら使ってないのが・・・
＞Proxmox起動用
Ceph無し、容量それほど必要じゃないならSSD（ただし、信頼性の高いメーカー・モデルが良い）
HDDは電源切断直後に衝撃を与えると簡単に壊た
>>28
Optaneは昔数点確保してたけど、入手性が悪くて必要量確保するのが・・・
>>29
Cephの公式ドキュメントだとモニターノード用に100GB確保する事が推奨されてた
OSD少な目でも数十GBの容量は確保する必要が有りそうなので、tmpfsでの運用は難しいと思う
tmpfsを定期的に保存してたとして、障害発生時にモニターとOSDでの配置マップの整合性が合わないと最悪データ壊れたり、未知の不具合が起こるかも
モニターが保存してるデータベースは重要みたいで、モニターノードは頻繁にfsync発行してるらしい（ちょっと曖昧） Cephのベンチマーク
Proxmoxの３台のノードでCephを構築
３ノードで同時に書き込み（シーケンシャル）をして書き込みレートを合計
NIC1Gbps(cluster・public同) 60~70MByte/sec
NIC1Gbps(cluster・public別) 85~95MBye/sec
NIC1Gbpsｘ2 ( balance-rr cluster・public同 ) 115~130MByte/sec
NIC1Gbpsｘ2 ( balance-rr cluster・public同 ecpool ( k=2,m=1 ) ) 230~290MByte/sec へぇ。8.1.8以降だと、ESXiからのライブマイグレーションもGUIからできるようになっているのか。
ttps://qiita.com/oishi-d/items/0cc452a022fa1ea07a7b
戻し(PVE→ESXi)もできるようになると面白いと思う。 >>37
なんと
前に調べた時は、ESXi -> proxmox の移行が割と面倒なのと、そもそもハードウエアの準備が間に合わなかったので、当面ESXi を使い続ける決断をしたのだが、いよいよ現実的になってきたな ZFS RAID1のバグは直ったかな
完全同容量でないと入れられないやつ >>40
これ変わらないと将来片方壊れたとき復元できないんだよな DebianやUbuntuのZFS RAID1なら問題ないの？ >>42
ProxmoxのインストールでZFSのMirrorだと同容量じゃないとインストール出来ないけど
コマンド前提で、インストール後のデータディスクなどにで、異なる容量でミラーを新規作成は-fオプションで可能
壊れたディスクを新しい容量の違う（より容量の多きい）に交換も可能 >>43
詳しく
pve片肺で入れたあとにもう1個繋いでzfsコマンドの-fでraid1作るってこと？-fなんかあったっけ
あとbootパーティションどうにかしないと起動しないよな。grub2再構築だけだといけなかった記憶 >>44
ちょっと気になったから実際に試してみた
◆Proxmoxの起動ディスクを異なる容量のZFS・Mirrorを構築する手順？
（BIOSのUEFI、CSM、SecureBoot等々の組み合わせで、ダメかもしれないが・・・）
インストール画面でZFSのRAID0を選択して容量の少ない方の単独のディスクにインストール
（ disk 0にインストール先 disk 1~ に --do not use-- を選択 ）
インストール後に、以下の手順でbootやら、ZFSミラーやらを構築
gdisk /dev/sdxでパーテーションを作成 （Mirror先が /dev/sdb の場合）
・1 MB BIOS Boot Partition ( gdisk type EF02 )
・512 MB EFI System Partition ( ESP, gdisk type EF00 )
・ZFSミラー用のパーテーション( Type BF01 )
以下のコマンドで起動部分を構築
・proxmox-boot-tool format /dev/sdb2
・proxmox-boot-tool init /dev/sdb2
zpool statusで既存のプールのディスク名を確認「 例）scsi-0QEMU_QEMU_HARDDISK_drive-scsi0-part3 」
以下のコマンドで単独のディスクからMirrorに変更
zpool attach rpool scsi-0QEMU_QEMU_HARDDISK_drive-scsi0-part3 /dev/sdb3
（容量に関する警告が出来る場合は -f で無視できる）
データのミラーリングが完了したら構築完了
参考用検索ワード 「proxmox Host_Bootloader」 kernel更新したらpt3_drv.koの組み込みでコケるようになった
素人判断で合っているのかどうか分からんけど、これで直った
diff pt3_pci.c-dist pt3_pci.c
929c929
< rc = dma_set_coherent_mask((struct device *)pdev, DMA_BIT_MASK(64));
---
> rc = dma_set_coherent_mask(&pdev->dev, DMA_BIT_MASK(64)); EPYCがAM5で出るらしい
普通のパソコンで16C32Tで組める時代になった >>45
神ですな
proxmox-boot-toolが重要なのかもしれないね
これ使わないとうまく構築できんかった おいおいdRAIDが選べるのか
RAIDZとどっちがいいんだ？ 藤井聡太の師匠、杉本昌隆に使ってもらう事を想定したEPYCだろうか >>47
16C32Tで何するん？
マルチスレッド番長なCPUが増えてるけど、
シングルスレッド性能がほしい Webサーバ、DBサーバを分けて、Active/Standby用も分けて建てられるやん。
1環境に2コア割くとして16台のサーバ群が...
楽しいー >>52
シングルならRyzenだな
IntelはPコア/Eコアの制御が微妙だし、PコアオンリーのXeonは普通のPCで動かない >>47
AM4でも組めた（3950/5950）けど、使い勝手が悪かったのか？ EPYCならECCメモリ使えるから大容量でも安心じゃん？
と思ったんだけど、RyzenってそもそもECCメモリ普通に使えんのね
知らなかったわ
でも、そうなるとRyzen9との差別化的にEPYC4004シリーズって微妙に思えてきた RyzenのECCは使えるけど公式サポートされてない
EPYCはされてる Ryzen7 PRO 4x50Gは無駄にECC正式サポートだったりする。 >>53
CPUオーバーコミットすれば更にドン！
メモリーはしらんけど USB延長コードとキーボードをつないでいたら起動できなかったが、外したら普通に起動ができてまた震えさされた今日
前回お世話になったものでようやくバックアップしようとSSDを増設しlvm-thin でフォーマットしたのですが
たのですが、今使ってるexfatの仮想マシーンを移動することができてもコピーすることが出来ません。
全部LVMTHINに移動してからEXFATのをLVMにフォーマットすればいいのかもしれませんがいろいろと間違わないか不安です。
CHATGPTに聞くとディレクトリ間でコピーしてからコピーしたのを移動すればいいといわれたので、先ずバックアップしようとしたのですが、
LVMTINが選べないのは当然としてLOCALという覚えのない100gのところが指定されるのですが、使っていいか不安です 起動ディスク partitions 500gb
BIOSBOOT 1mb
EFI 1Gb
LVM 499gb
データディスク partitions ２ｔb
EXT4 ２ｔb
バックアップディスク LVM 2tb
データセンター下の表示
LOCAL 100G （どこから出てきたかわからず
LOCAL LVM 362G （どこから出てきたかわからず
RED
RED２BACKUP
LOCAL LVM 362GをフォーマットしてEXT4にすればいいようにも思いますが、何もわからないので動けない状態で、お知恵をおかしいただけると幸いです。 XEON 2g 18コア からRYZEN7950に移行したら20ぐらいの仮想マシンの環境でブラウジングやエクスプローラーの速度が数倍になりました。
実機よりちょい重いぐらいかなのレベルで動くんですごいですね。
XEONマシンはいろいろとガタが来て超重かっただけかもですが、世代が違うと性能以上の差が出るんですかね 性能以上の差ってどういうことだ？
仮想マシンの場合、passmark の総合スコアだけでなく single thread rating の数字も見ておかないといかんですの 
