X



トップページLinux
60コメント22KB
【PVE】Proxmox VE【KVM, LXC】NODE-2
0001login:Penguin
垢版 |
2024/04/11(木) 10:49:45.45ID:8tgVZdvA
Proxmox VEについて語りましょう!

Proxmox VEは、Debianをベースとしたオープンソースのサーバー仮想化プラットフォームです
仮想マシンとコンテナの管理を、統合されたWebインターフェイスを通じて直感的に行うことができます

【公式サイト】
http://www.proxmox.com/
【公式ドキュメント】
https://pve.proxmox.com/pve-docs/

【特徴】
・オープンソース: コスト効率が良く、広範なコミュニティサポートが利用可能
・仮想マシンとコンテナの統合: KVMとLXCのサポートにより、柔軟な仮想化ソリューションを提供
・クラスタリングによる高可用性: 複数サーバの統合管理で、負荷分散や冗長性を実現
・Web GUIによる簡単管理: 直感的なインターフェースで専門知識がなくても管理可能
・多様なストレージサポート: NFS、iSCSI、Cephなど複数のオプション対応
・統合バックアップとレプリケーション: 簡単設定でデータ保護と災害復旧をサポート
・ライブマイグレーション: 稼働中のVMをダウンタイムなしで移動可能

【前スレ】
【PVE】Proxmox VE【KVM, OpenVZ】
https://mao.5ch.net/test/read.cgi/linux/1381916363/
0002login:Penguin
垢版 |
2024/04/11(木) 10:50:04.79ID:8tgVZdvA
勝手にいくつか変更させてもらった
・WikipediaへのリンクはWikiの情報が古く少ないため削除
・Proxmox公式ドキュメントへのリンク追加
・OpenVZは現在サポート対応してないためLXCに変更
・説明文をChatGPT-4で生成
0003login:Penguin
垢版 |
2024/04/11(木) 17:18:04.64ID:Hfg72VNC
>>1
おつです。
ESXi用のCiscoの有償トレーニングソフトCisco Modeling LabsをProxmoxで動かした記事がネットに上がっていた。
そんなこんなでProxmox利用者がどんどん増えるかもね。
0004login:Penguin
垢版 |
2024/04/11(木) 20:02:44.00ID:1cumj1yf


> 1001 名前:1001 []: Over 1000 Thread
> このスレッドは1000を超えました。
> 新しいスレッドを立ててください。
> life time: 3829日 17時間 37分 12秒

前スレ完走まで10年超えで草
0005login:Penguin
垢版 |
2024/04/11(木) 21:39:36.04ID:DDVcaDW8
300までに9年、残りで1年くらいだったな
0006login:Penguin
垢版 |
2024/04/12(金) 08:38:56.98ID:etktpG2b
すげえな
VMwareの影響か知らんけど
0007login:Penguin
垢版 |
2024/04/12(金) 09:43:41.59ID:qjVadYHY
>>6
影響でしょう
0008login:Penguin
垢版 |
2024/04/12(金) 20:15:06.16ID:V/kew/aY
これからは、VMware関係スレが
0009login:Penguin
垢版 |
2024/04/13(土) 12:11:12.74ID:v/AkNgnq
前スレ>>996だけど
>CRUSHマップに古いノードの情報が残ってる
ceph osd crush remove {bucket-name}で古いProxmoxのノード情報を消したら
>WEBGUIのCeph(OSD)に前のノード情報が残ってる
これも上記の操作で綺麗になった

恐らくだけど、Cephの運用でProxomox側で管理してるのは極一部で(pmxcfsでceph.confを同期+α)
Proxomox側で情報や管理は行ってる部分は殆どなく、WebGUI等はその都度Cephから直接情報取得して表示してるのだろう
(ソースコード見ればいいのだろけど、すごく面倒・・・)

pvecephコマンドも基本的にはproxmoxのディレクトリ構造前提にCephをコマンド操作してる程度の動きなんだと思う
(pvecephでCephの認証キー?とかをクラスタ間で送受信もしてるはず)


※以下日記なのだけど・・・
【現在】 NASサーバーx1台、Proxmoxx2台
【今後(妄想)】 NASサーバーx1台、Proxmoxx3台(CephとHAを運用したい)
妄想中に思い付いたのだが・・・
追加でNASサーバーを冗長化したいと思ったら、いっそProxmoxx5台にしてCephを中心にNAS化したほうが管理が楽じゃないか?
(なお電気代がヤバイので無謀な気もする)
0010login:Penguin
垢版 |
2024/04/13(土) 12:33:55.92ID:/8ovMMuD
2.5GbEでクラスタ組んでる3台6OSD構成のProxmoxクラスタだけど、ストレージの速度は100MB/sくらいしか出ないよ
0011login:Penguin
垢版 |
2024/04/15(月) 19:21:37.36ID:fRj4O/TW
普通の1000BASE-Tで3台3OSD(2.5インチSSD)構成のProxmoxだけど、ストレージの速度は
VM(ubuntu)のKDiskMarkでSEQ1M Read 190MB/s、Write 50MB/sとか出てるけどなぁ。
NASの容量や目的にも依るだろうけど自分はVMにインストールしたNextcloudで不満は無い。
0012login:Penguin
垢版 |
2024/04/16(火) 12:23:19.23ID:NhU3tAT8
>>9
Ceph組んだことないんだけど、Proxmox3台で、HAとCephを一緒に組めるものなのじゃないのか?
0013login:Penguin
垢版 |
2024/04/16(火) 12:23:31.09ID:NhU3tAT8
>>9
Ceph組んだことないんだけど、Proxmox3台で、HAとCephを一緒に組めるものなのじゃないのか?
0014login:Penguin
垢版 |
2024/04/16(火) 12:24:10.57ID:NhU3tAT8
ごめん、2どかいてしまった。
0015login:Penguin
垢版 |
2024/04/16(火) 19:06:59.62ID:8Lk4PPte
Cephに渡すドライブって /dev/sdb とかの丸ごとじゃないとダメなの?

N100の安miniPCで追加ドライブ用意するのが面倒
(Proxmox自体をUSBメモリにインストールすればいいのだけど、挿ってるのがちょっと気に入らないw)
0016login:Penguin
垢版 |
2024/04/16(火) 20:46:42.01ID:A3/wW9/s
raidzで組みたいんだが後からSSD増設できない仕様なのにSSD値上がりしまくってるせいで痛い
何かいい案ないものか
0017login:Penguin
垢版 |
2024/04/16(火) 22:28:39.62ID:mI+fghI5
>10,11
参考になります
自分の環境だと3台( NIC 1Gbps )で Write 42MB/s 位でした(想定の範囲)
(一応 public と cluster のネットワークを分けてみたけど、内部の vm からだとあまり変わらず)
複数のノードから同時に書き込みして、その合計を書き込み速度って考えならもっと増えるかな(今度試してみよう・・・)
0018login:Penguin
垢版 |
2024/04/16(火) 22:34:01.06ID:mI+fghI5
>>12
3台でCeph,HA,VMが共存できます

ただ、手元にPRIMERGY10台(使用中4台)あるから・・・
0019login:Penguin
垢版 |
2024/04/16(火) 22:46:23.70ID:mI+fghI5
>>15
試したことが無いから憶測だけど
ある程度Linuxの知識あって、Cephのドキュメント読みながらOSD構築できるなら
LV(LVM)でも任意のパーテーションでもOSD用に割り当てできるはず

いま調べてる途中なんだけど、Cephのモニターかマネージャーノード(両方?)が
OSDじゃなくLinuxのインストール側のディスクに常に0.5MBye/sec位謎の書き込みしてる
(内容(原因)追ってるんだけど、inotifywaitでは?特定できてない)

それで、高耐久ではない一般的なUSBメモリだと直ぐに死ぬ!
0020login:Penguin
垢版 |
2024/04/17(水) 02:43:13.08ID:4BQwGIn7
Cephの謎の連続書き込みこれっぽい
/var/lib/ceph/mon/ceph-{host-name}/store.db
( find / -mmin -1 の結果から、それっぽいの見つけた )
123456.log , 123456.sst(6桁?の数値.logと.sst)が原因っぽい
0.5MBye/sec≒15TByte/yearはちょっと多い・・・
Proxmoxの起動用に容量少ないSSD使ってるから不安しかない・・・
0021login:Penguin
垢版 |
2024/04/17(水) 18:41:45.47ID:Yk0P1tcC
UNIXの頃から、安全を見てrootの予定空き容量は50%以上を確保しておけと。
(たいした容量は必要ない)
0022login:Penguin
垢版 |
2024/04/18(木) 02:02:02.25ID:sxqnCYwL
今日の悲しい報告

fstrimコマンドを100回は打った
Lvm(thin)もZFSもCephもThin Provisioningなのに、なぜ確保した範囲が解放されないって悩み過ぎた

Discardを有効にするために/etc/pve/qemu-server/<vmid>.conf 弄ったり
/etc/lvm/lvm.conf 弄ったり
zpool set autotrim=on pool 打ったり・・・

Vmで使う仮想DiskのDiscradのオプションに気づかずに・・・
0023login:Penguin
垢版 |
2024/04/18(木) 07:02:23.16ID:ZsCkLYIp
>>20

OSDじゃなくLinuxのインストール側のディスクはHDDにしたほうが安全だね。。
0024login:Penguin
垢版 |
2024/04/18(木) 16:35:24.54ID:uoBtp6XI
PVEでのcephの運用勉強してたら
前提条件が変わってきて用意したパーツが無駄に(笑)

データ用SSD180GB(MLC)x14個
起動用SSD32GB(SLC)x14個 ← これ、窓から投げ捨てて

起動用に100GB+α以上で高耐久のSSD調達しないと(涙)
0025login:Penguin
垢版 |
2024/04/18(木) 21:42:57.67ID:Kdf+IRuC
>>24
どんな構成なのか気になる・・・
0026login:Penguin
垢版 |
2024/04/19(金) 12:23:07.99ID:mQduTie0
>>24
起動用はもう、HDDでいんじゃね?(笑

実際のところ、Proxmox起動用と、iso保存用は、HDDを使うのとSSD使うのどっちがいいんだろうね。
0027login:Penguin
垢版 |
2024/04/19(金) 12:24:14.61ID:wZPPiKHf
ISO置き場は読み込み速度がほしいのでSSDにしてるな
0028login:Penguin
垢版 |
2024/04/19(金) 13:33:58.38ID:v99+h0jJ
Optaneでいいよもう
0029login:Penguin
垢版 |
2024/04/19(金) 17:35:56.25ID:ipLNXoOs
/var/lib/ceph/mon 以下をtmpfsにしちゃうとか
0030login:Penguin
垢版 |
2024/04/19(金) 18:14:15.03ID:ZWzGj4KO
逆にProxmoxサーバーのシステムディスクがHDDの場合、cephのパフォーマンスにどのぐらい影響するか知りたい。
0031login:Penguin
垢版 |
2024/04/19(金) 23:40:58.82ID:5OhZYjuR
>>25
[最初の計画]
32GB(SLC)をZFS・ミラーで冗長化して起動用(6台分)2個は予備
180GBx3をZFS・RAIDZで冗長化(4台分)
Proxmox x3+予備マシンx1、NASx1、実験用x1

[途中の計画]
32GB(SLC)をZFS・ミラーで冗長化して起動用(6台分)2個は予備
180x3をCephに使う(マシン3台+1台)2個は予備
Proxmox x3+予備マシン*1、NASx1、実験用x1

[現在(中断する計画)]
32GB(SLC)をZFS・ミラーで冗長化して起動用(6台分)2個は予備 (Cpehの書き込み量に対して不安)
NASに使ってるSSDとかHDDをCephに集結して、Proxmox x5+1(予備)でCephを構築してNASも兼ねる
0032login:Penguin
垢版 |
2024/04/19(金) 23:55:22.06ID:5OhZYjuR
>>26
HDD、1万回転のSASのなら使ってないのが・・・

>Proxmox起動用
Ceph無し、容量それほど必要じゃないならSSD(ただし、信頼性の高いメーカー・モデルが良い)
HDDは電源切断直後に衝撃を与えると簡単に壊た

>>28
Optaneは昔数点確保してたけど、入手性が悪くて必要量確保するのが・・・

>>29
Cephの公式ドキュメントだとモニターノード用に100GB確保する事が推奨されてた
OSD少な目でも数十GBの容量は確保する必要が有りそうなので、tmpfsでの運用は難しいと思う
tmpfsを定期的に保存してたとして、障害発生時にモニターとOSDでの配置マップの整合性が合わないと最悪データ壊れたり、未知の不具合が起こるかも
モニターが保存してるデータベースは重要みたいで、モニターノードは頻繁にfsync発行してるらしい(ちょっと曖昧)
0033login:Penguin
垢版 |
2024/04/21(日) 04:19:58.10ID:+W2a3iqk
Cephのベンチマーク
Proxmoxの3台のノードでCephを構築
3ノードで同時に書き込み(シーケンシャル)をして書き込みレートを合計
NIC1Gbps(cluster・public同) 60~70MByte/sec
NIC1Gbps(cluster・public別) 85~95MBye/sec
NIC1Gbpsx2 ( balance-rr cluster・public同 ) 115~130MByte/sec
NIC1Gbpsx2 ( balance-rr cluster・public同 ecpool ( k=2,m=1 ) ) 230~290MByte/sec
0036login:Penguin
垢版 |
2024/04/27(土) 10:10:27.03ID:6v5SZCGA
なんか変わったん?
0037login:Penguin
垢版 |
2024/04/27(土) 14:16:11.46ID:eLbjLiTZ
へぇ。8.1.8以降だと、ESXiからのライブマイグレーションもGUIからできるようになっているのか。
ttps://qiita.com/oishi-d/items/0cc452a022fa1ea07a7b

戻し(PVE→ESXi)もできるようになると面白いと思う。
0038login:Penguin
垢版 |
2024/04/27(土) 20:40:22.11ID:y3s0D4bu
>>37
なんと

前に調べた時は、ESXi -> proxmox の移行が割と面倒なのと、そもそもハードウエアの準備が間に合わなかったので、当面ESXi を使い続ける決断をしたのだが、いよいよ現実的になってきたな
0039login:Penguin
垢版 |
2024/04/27(土) 23:30:42.39ID:38nUrolh
ZFS RAID1のバグは直ったかな
完全同容量でないと入れられないやつ
0040login:Penguin
垢版 |
2024/05/01(水) 12:13:10.01ID:yauHbW51
>>39
バグか仕様かは知らないが
直ってない
0041login:Penguin
垢版 |
2024/05/07(火) 23:10:49.83ID:6CprziQV
>>40
これ変わらないと将来片方壊れたとき復元できないんだよな
0042login:Penguin
垢版 |
2024/05/08(水) 00:10:42.82ID:muzT1nO8
DebianやUbuntuのZFS RAID1なら問題ないの?
0043login:Penguin
垢版 |
2024/05/08(水) 01:34:52.53ID:zpyAB8xc
>>42
ProxmoxのインストールでZFSのMirrorだと同容量じゃないとインストール出来ないけど
コマンド前提で、インストール後のデータディスクなどにで、異なる容量でミラーを新規作成は-fオプションで可能
壊れたディスクを新しい容量の違う(より容量の多きい)に交換も可能
0044login:Penguin
垢版 |
2024/05/08(水) 19:06:40.48ID:tbsAi4FE
>>43
詳しく
pve片肺で入れたあとにもう1個繋いでzfsコマンドの-fでraid1作るってこと?-fなんかあったっけ
あとbootパーティションどうにかしないと起動しないよな。grub2再構築だけだといけなかった記憶
0045 警備員[Lv.6][初]
垢版 |
2024/05/09(木) 01:18:37.80ID:cDB0ceXi
>>44
ちょっと気になったから実際に試してみた

◆Proxmoxの起動ディスクを異なる容量のZFS・Mirrorを構築する手順?
(BIOSのUEFI、CSM、SecureBoot等々の組み合わせで、ダメかもしれないが・・・)

インストール画面でZFSのRAID0を選択して容量の少ない方の単独のディスクにインストール
( disk 0にインストール先 disk 1~ に --do not use-- を選択 )

インストール後に、以下の手順でbootやら、ZFSミラーやらを構築

gdisk /dev/sdxでパーテーションを作成 (Mirror先が /dev/sdb の場合)
・1 MB BIOS Boot Partition ( gdisk type EF02 )
・512 MB EFI System Partition ( ESP, gdisk type EF00 )
・ZFSミラー用のパーテーション( Type BF01 )

以下のコマンドで起動部分を構築
・proxmox-boot-tool format /dev/sdb2
・proxmox-boot-tool init /dev/sdb2

zpool statusで既存のプールのディスク名を確認「 例)scsi-0QEMU_QEMU_HARDDISK_drive-scsi0-part3 」
以下のコマンドで単独のディスクからMirrorに変更
zpool attach rpool scsi-0QEMU_QEMU_HARDDISK_drive-scsi0-part3 /dev/sdb3
(容量に関する警告が出来る場合は -f で無視できる)

データのミラーリングが完了したら構築完了

参考用検索ワード 「proxmox Host_Bootloader」
0046login:Penguin
垢版 |
2024/05/12(日) 13:35:30.68ID:q/r/YdEQ
kernel更新したらpt3_drv.koの組み込みでコケるようになった
素人判断で合っているのかどうか分からんけど、これで直った

diff pt3_pci.c-dist pt3_pci.c
929c929
< rc = dma_set_coherent_mask((struct device *)pdev, DMA_BIT_MASK(64));
---
> rc = dma_set_coherent_mask(&pdev->dev, DMA_BIT_MASK(64));
0047login:Penguin
垢版 |
2024/05/22(水) 19:57:59.89ID:yAPLoZBx
EPYCがAM5で出るらしい
普通のパソコンで16C32Tで組める時代になった
0048login:Penguin
垢版 |
2024/05/22(水) 23:58:54.39ID:KYfP2r/f
>>45
神ですな
proxmox-boot-toolが重要なのかもしれないね
これ使わないとうまく構築できんかった
0049login:Penguin
垢版 |
2024/05/23(木) 07:25:28.85ID:6ybBmxjM
X950は16C32Tだよね
0050login:Penguin
垢版 |
2024/05/23(木) 10:11:49.22ID:Am3yVS3J
おいおいdRAIDが選べるのか
RAIDZとどっちがいいんだ?
0051login:Penguin
垢版 |
2024/05/23(木) 10:24:14.55ID:pOhkl8LS
藤井聡太の師匠、杉本昌隆に使ってもらう事を想定したEPYCだろうか
0052login:Penguin
垢版 |
2024/05/23(木) 11:21:25.02ID:UxOCbtxe
>>47
16C32Tで何するん?

マルチスレッド番長なCPUが増えてるけど、
シングルスレッド性能がほしい
0053login:Penguin
垢版 |
2024/05/23(木) 11:56:07.21ID:pOhkl8LS
Webサーバ、DBサーバを分けて、Active/Standby用も分けて建てられるやん。
1環境に2コア割くとして16台のサーバ群が...
楽しいー
0054login:Penguin
垢版 |
2024/05/23(木) 12:52:49.41ID:nmScwMeV
>>52
シングルならRyzenだな
IntelはPコア/Eコアの制御が微妙だし、PコアオンリーのXeonは普通のPCで動かない
0055login:Penguin
垢版 |
2024/05/24(金) 07:25:42.20ID:A2aWVnMx
>>47
AM4でも組めた(3950/5950)けど、使い勝手が悪かったのか?
0056login:Penguin
垢版 |
2024/05/24(金) 11:41:04.22ID:wm4NCQtE
EPYCならECCメモリ使えるから大容量でも安心じゃん?
と思ったんだけど、RyzenってそもそもECCメモリ普通に使えんのね
知らなかったわ
でも、そうなるとRyzen9との差別化的にEPYC4004シリーズって微妙に思えてきた
0057login:Penguin
垢版 |
2024/05/24(金) 12:20:54.52ID:l3H7jR5C
RyzenのECCは使えるけど公式サポートされてない
EPYCはされてる
0058login:Penguin
垢版 |
2024/05/24(金) 14:19:10.37ID:A2aWVnMx
Ryzen7 PRO 4x50Gは無駄にECC正式サポートだったりする。
0059login:Penguin
垢版 |
2024/05/24(金) 14:27:04.47ID:2sr7EHLE
Proはみんなそうじゃね?
0060login:Penguin
垢版 |
2024/05/25(土) 17:49:44.23ID:fFAo6mQe
>>53
CPUオーバーコミットすれば更にドン!
メモリーはしらんけど
レスを投稿する


ニューススポーツなんでも実況