X



トップページLinux
68コメント26KB

【PVE】Proxmox VE【KVM, LXC】NODE-2

0001login:Penguin
垢版 |
2024/04/11(木) 10:49:45.45ID:8tgVZdvA
Proxmox VEについて語りましょう!

Proxmox VEは、Debianをベースとしたオープンソースのサーバー仮想化プラットフォームです
仮想マシンとコンテナの管理を、統合されたWebインターフェイスを通じて直感的に行うことができます

【公式サイト】
http://www.proxmox.com/
【公式ドキュメント】
https://pve.proxmox.com/pve-docs/

【特徴】
・オープンソース: コスト効率が良く、広範なコミュニティサポートが利用可能
・仮想マシンとコンテナの統合: KVMとLXCのサポートにより、柔軟な仮想化ソリューションを提供
・クラスタリングによる高可用性: 複数サーバの統合管理で、負荷分散や冗長性を実現
・Web GUIによる簡単管理: 直感的なインターフェースで専門知識がなくても管理可能
・多様なストレージサポート: NFS、iSCSI、Cephなど複数のオプション対応
・統合バックアップとレプリケーション: 簡単設定でデータ保護と災害復旧をサポート
・ライブマイグレーション: 稼働中のVMをダウンタイムなしで移動可能

【前スレ】
【PVE】Proxmox VE【KVM, OpenVZ】
https://mao.5ch.net/test/read.cgi/linux/1381916363/
0018login:Penguin
垢版 |
2024/04/16(火) 22:34:01.06ID:mI+fghI5
>>12
3台でCeph,HA,VMが共存できます

ただ、手元にPRIMERGY10台(使用中4台)あるから・・・
0019login:Penguin
垢版 |
2024/04/16(火) 22:46:23.70ID:mI+fghI5
>>15
試したことが無いから憶測だけど
ある程度Linuxの知識あって、Cephのドキュメント読みながらOSD構築できるなら
LV(LVM)でも任意のパーテーションでもOSD用に割り当てできるはず

いま調べてる途中なんだけど、Cephのモニターかマネージャーノード(両方?)が
OSDじゃなくLinuxのインストール側のディスクに常に0.5MBye/sec位謎の書き込みしてる
(内容(原因)追ってるんだけど、inotifywaitでは?特定できてない)

それで、高耐久ではない一般的なUSBメモリだと直ぐに死ぬ!
0020login:Penguin
垢版 |
2024/04/17(水) 02:43:13.08ID:4BQwGIn7
Cephの謎の連続書き込みこれっぽい
/var/lib/ceph/mon/ceph-{host-name}/store.db
( find / -mmin -1 の結果から、それっぽいの見つけた )
123456.log , 123456.sst(6桁?の数値.logと.sst)が原因っぽい
0.5MBye/sec≒15TByte/yearはちょっと多い・・・
Proxmoxの起動用に容量少ないSSD使ってるから不安しかない・・・
0021login:Penguin
垢版 |
2024/04/17(水) 18:41:45.47ID:Yk0P1tcC
UNIXの頃から、安全を見てrootの予定空き容量は50%以上を確保しておけと。
(たいした容量は必要ない)
0022login:Penguin
垢版 |
2024/04/18(木) 02:02:02.25ID:sxqnCYwL
今日の悲しい報告

fstrimコマンドを100回は打った
Lvm(thin)もZFSもCephもThin Provisioningなのに、なぜ確保した範囲が解放されないって悩み過ぎた

Discardを有効にするために/etc/pve/qemu-server/<vmid>.conf 弄ったり
/etc/lvm/lvm.conf 弄ったり
zpool set autotrim=on pool 打ったり・・・

Vmで使う仮想DiskのDiscradのオプションに気づかずに・・・
0023login:Penguin
垢版 |
2024/04/18(木) 07:02:23.16ID:ZsCkLYIp
>>20

OSDじゃなくLinuxのインストール側のディスクはHDDにしたほうが安全だね。。
0024login:Penguin
垢版 |
2024/04/18(木) 16:35:24.54ID:uoBtp6XI
PVEでのcephの運用勉強してたら
前提条件が変わってきて用意したパーツが無駄に(笑)

データ用SSD180GB(MLC)x14個
起動用SSD32GB(SLC)x14個 ← これ、窓から投げ捨てて

起動用に100GB+α以上で高耐久のSSD調達しないと(涙)
0025login:Penguin
垢版 |
2024/04/18(木) 21:42:57.67ID:Kdf+IRuC
>>24
どんな構成なのか気になる・・・
0026login:Penguin
垢版 |
2024/04/19(金) 12:23:07.99ID:mQduTie0
>>24
起動用はもう、HDDでいんじゃね?(笑

実際のところ、Proxmox起動用と、iso保存用は、HDDを使うのとSSD使うのどっちがいいんだろうね。
0027login:Penguin
垢版 |
2024/04/19(金) 12:24:14.61ID:wZPPiKHf
ISO置き場は読み込み速度がほしいのでSSDにしてるな
0028login:Penguin
垢版 |
2024/04/19(金) 13:33:58.38ID:v99+h0jJ
Optaneでいいよもう
0029login:Penguin
垢版 |
2024/04/19(金) 17:35:56.25ID:ipLNXoOs
/var/lib/ceph/mon 以下をtmpfsにしちゃうとか
0030login:Penguin
垢版 |
2024/04/19(金) 18:14:15.03ID:ZWzGj4KO
逆にProxmoxサーバーのシステムディスクがHDDの場合、cephのパフォーマンスにどのぐらい影響するか知りたい。
0031login:Penguin
垢版 |
2024/04/19(金) 23:40:58.82ID:5OhZYjuR
>>25
[最初の計画]
32GB(SLC)をZFS・ミラーで冗長化して起動用(6台分)2個は予備
180GBx3をZFS・RAIDZで冗長化(4台分)
Proxmox x3+予備マシンx1、NASx1、実験用x1

[途中の計画]
32GB(SLC)をZFS・ミラーで冗長化して起動用(6台分)2個は予備
180x3をCephに使う(マシン3台+1台)2個は予備
Proxmox x3+予備マシン*1、NASx1、実験用x1

[現在(中断する計画)]
32GB(SLC)をZFS・ミラーで冗長化して起動用(6台分)2個は予備 (Cpehの書き込み量に対して不安)
NASに使ってるSSDとかHDDをCephに集結して、Proxmox x5+1(予備)でCephを構築してNASも兼ねる
0032login:Penguin
垢版 |
2024/04/19(金) 23:55:22.06ID:5OhZYjuR
>>26
HDD、1万回転のSASのなら使ってないのが・・・

>Proxmox起動用
Ceph無し、容量それほど必要じゃないならSSD(ただし、信頼性の高いメーカー・モデルが良い)
HDDは電源切断直後に衝撃を与えると簡単に壊た

>>28
Optaneは昔数点確保してたけど、入手性が悪くて必要量確保するのが・・・

>>29
Cephの公式ドキュメントだとモニターノード用に100GB確保する事が推奨されてた
OSD少な目でも数十GBの容量は確保する必要が有りそうなので、tmpfsでの運用は難しいと思う
tmpfsを定期的に保存してたとして、障害発生時にモニターとOSDでの配置マップの整合性が合わないと最悪データ壊れたり、未知の不具合が起こるかも
モニターが保存してるデータベースは重要みたいで、モニターノードは頻繁にfsync発行してるらしい(ちょっと曖昧)
0033login:Penguin
垢版 |
2024/04/21(日) 04:19:58.10ID:+W2a3iqk
Cephのベンチマーク
Proxmoxの3台のノードでCephを構築
3ノードで同時に書き込み(シーケンシャル)をして書き込みレートを合計
NIC1Gbps(cluster・public同) 60~70MByte/sec
NIC1Gbps(cluster・public別) 85~95MBye/sec
NIC1Gbpsx2 ( balance-rr cluster・public同 ) 115~130MByte/sec
NIC1Gbpsx2 ( balance-rr cluster・public同 ecpool ( k=2,m=1 ) ) 230~290MByte/sec
0036login:Penguin
垢版 |
2024/04/27(土) 10:10:27.03ID:6v5SZCGA
なんか変わったん?
0037login:Penguin
垢版 |
2024/04/27(土) 14:16:11.46ID:eLbjLiTZ
へぇ。8.1.8以降だと、ESXiからのライブマイグレーションもGUIからできるようになっているのか。
ttps://qiita.com/oishi-d/items/0cc452a022fa1ea07a7b

戻し(PVE→ESXi)もできるようになると面白いと思う。
0038login:Penguin
垢版 |
2024/04/27(土) 20:40:22.11ID:y3s0D4bu
>>37
なんと

前に調べた時は、ESXi -> proxmox の移行が割と面倒なのと、そもそもハードウエアの準備が間に合わなかったので、当面ESXi を使い続ける決断をしたのだが、いよいよ現実的になってきたな
0039login:Penguin
垢版 |
2024/04/27(土) 23:30:42.39ID:38nUrolh
ZFS RAID1のバグは直ったかな
完全同容量でないと入れられないやつ
0040login:Penguin
垢版 |
2024/05/01(水) 12:13:10.01ID:yauHbW51
>>39
バグか仕様かは知らないが
直ってない
0041login:Penguin
垢版 |
2024/05/07(火) 23:10:49.83ID:6CprziQV
>>40
これ変わらないと将来片方壊れたとき復元できないんだよな
0042login:Penguin
垢版 |
2024/05/08(水) 00:10:42.82ID:muzT1nO8
DebianやUbuntuのZFS RAID1なら問題ないの?
0043login:Penguin
垢版 |
2024/05/08(水) 01:34:52.53ID:zpyAB8xc
>>42
ProxmoxのインストールでZFSのMirrorだと同容量じゃないとインストール出来ないけど
コマンド前提で、インストール後のデータディスクなどにで、異なる容量でミラーを新規作成は-fオプションで可能
壊れたディスクを新しい容量の違う(より容量の多きい)に交換も可能
0044login:Penguin
垢版 |
2024/05/08(水) 19:06:40.48ID:tbsAi4FE
>>43
詳しく
pve片肺で入れたあとにもう1個繋いでzfsコマンドの-fでraid1作るってこと?-fなんかあったっけ
あとbootパーティションどうにかしないと起動しないよな。grub2再構築だけだといけなかった記憶
0045 警備員[Lv.6][初]
垢版 |
2024/05/09(木) 01:18:37.80ID:cDB0ceXi
>>44
ちょっと気になったから実際に試してみた

◆Proxmoxの起動ディスクを異なる容量のZFS・Mirrorを構築する手順?
(BIOSのUEFI、CSM、SecureBoot等々の組み合わせで、ダメかもしれないが・・・)

インストール画面でZFSのRAID0を選択して容量の少ない方の単独のディスクにインストール
( disk 0にインストール先 disk 1~ に --do not use-- を選択 )

インストール後に、以下の手順でbootやら、ZFSミラーやらを構築

gdisk /dev/sdxでパーテーションを作成 (Mirror先が /dev/sdb の場合)
・1 MB BIOS Boot Partition ( gdisk type EF02 )
・512 MB EFI System Partition ( ESP, gdisk type EF00 )
・ZFSミラー用のパーテーション( Type BF01 )

以下のコマンドで起動部分を構築
・proxmox-boot-tool format /dev/sdb2
・proxmox-boot-tool init /dev/sdb2

zpool statusで既存のプールのディスク名を確認「 例)scsi-0QEMU_QEMU_HARDDISK_drive-scsi0-part3 」
以下のコマンドで単独のディスクからMirrorに変更
zpool attach rpool scsi-0QEMU_QEMU_HARDDISK_drive-scsi0-part3 /dev/sdb3
(容量に関する警告が出来る場合は -f で無視できる)

データのミラーリングが完了したら構築完了

参考用検索ワード 「proxmox Host_Bootloader」
0046login:Penguin
垢版 |
2024/05/12(日) 13:35:30.68ID:q/r/YdEQ
kernel更新したらpt3_drv.koの組み込みでコケるようになった
素人判断で合っているのかどうか分からんけど、これで直った

diff pt3_pci.c-dist pt3_pci.c
929c929
< rc = dma_set_coherent_mask((struct device *)pdev, DMA_BIT_MASK(64));
---
> rc = dma_set_coherent_mask(&pdev->dev, DMA_BIT_MASK(64));
0047login:Penguin
垢版 |
2024/05/22(水) 19:57:59.89ID:yAPLoZBx
EPYCがAM5で出るらしい
普通のパソコンで16C32Tで組める時代になった
0048login:Penguin
垢版 |
2024/05/22(水) 23:58:54.39ID:KYfP2r/f
>>45
神ですな
proxmox-boot-toolが重要なのかもしれないね
これ使わないとうまく構築できんかった
0049login:Penguin
垢版 |
2024/05/23(木) 07:25:28.85ID:6ybBmxjM
X950は16C32Tだよね
0050login:Penguin
垢版 |
2024/05/23(木) 10:11:49.22ID:Am3yVS3J
おいおいdRAIDが選べるのか
RAIDZとどっちがいいんだ?
0051login:Penguin
垢版 |
2024/05/23(木) 10:24:14.55ID:pOhkl8LS
藤井聡太の師匠、杉本昌隆に使ってもらう事を想定したEPYCだろうか
0052login:Penguin
垢版 |
2024/05/23(木) 11:21:25.02ID:UxOCbtxe
>>47
16C32Tで何するん?

マルチスレッド番長なCPUが増えてるけど、
シングルスレッド性能がほしい
0053login:Penguin
垢版 |
2024/05/23(木) 11:56:07.21ID:pOhkl8LS
Webサーバ、DBサーバを分けて、Active/Standby用も分けて建てられるやん。
1環境に2コア割くとして16台のサーバ群が...
楽しいー
0054login:Penguin
垢版 |
2024/05/23(木) 12:52:49.41ID:nmScwMeV
>>52
シングルならRyzenだな
IntelはPコア/Eコアの制御が微妙だし、PコアオンリーのXeonは普通のPCで動かない
0055login:Penguin
垢版 |
2024/05/24(金) 07:25:42.20ID:A2aWVnMx
>>47
AM4でも組めた(3950/5950)けど、使い勝手が悪かったのか?
0056login:Penguin
垢版 |
2024/05/24(金) 11:41:04.22ID:wm4NCQtE
EPYCならECCメモリ使えるから大容量でも安心じゃん?
と思ったんだけど、RyzenってそもそもECCメモリ普通に使えんのね
知らなかったわ
でも、そうなるとRyzen9との差別化的にEPYC4004シリーズって微妙に思えてきた
0057login:Penguin
垢版 |
2024/05/24(金) 12:20:54.52ID:l3H7jR5C
RyzenのECCは使えるけど公式サポートされてない
EPYCはされてる
0058login:Penguin
垢版 |
2024/05/24(金) 14:19:10.37ID:A2aWVnMx
Ryzen7 PRO 4x50Gは無駄にECC正式サポートだったりする。
0059login:Penguin
垢版 |
2024/05/24(金) 14:27:04.47ID:2sr7EHLE
Proはみんなそうじゃね?
0060login:Penguin
垢版 |
2024/05/25(土) 17:49:44.23ID:fFAo6mQe
>>53
CPUオーバーコミットすれば更にドン!
メモリーはしらんけど
0061login:Penguin
垢版 |
2024/06/01(土) 05:16:24.52ID:+8qEOzTG
USB延長コードとキーボードをつないでいたら起動できなかったが、外したら普通に起動ができてまた震えさされた今日

前回お世話になったものでようやくバックアップしようとSSDを増設しlvm-thin でフォーマットしたのですが
たのですが、今使ってるexfatの仮想マシーンを移動することができてもコピーすることが出来ません。
全部LVMTHINに移動してからEXFATのをLVMにフォーマットすればいいのかもしれませんがいろいろと間違わないか不安です。

CHATGPTに聞くとディレクトリ間でコピーしてからコピーしたのを移動すればいいといわれたので、先ずバックアップしようとしたのですが、
LVMTINが選べないのは当然としてLOCALという覚えのない100gのところが指定されるのですが、使っていいか不安です
0062login:Penguin
垢版 |
2024/06/01(土) 05:17:01.08ID:+8qEOzTG
起動ディスク  partitions 500gb
BIOSBOOT 1mb
EFI 1Gb
LVM 499gb
データディスク partitions 2tb
EXT4 2tb
バックアップディスク LVM 2tb

データセンター下の表示
LOCAL   100G   (どこから出てきたかわからず
LOCAL LVM  362G (どこから出てきたかわからず
RED
RED2BACKUP

LOCAL LVM  362GをフォーマットしてEXT4にすればいいようにも思いますが、何もわからないので動けない状態で、お知恵をおかしいただけると幸いです。
0063login:Penguin
垢版 |
2024/06/01(土) 05:23:37.75ID:+8qEOzTG
XEON 2g 18コア からRYZEN7950に移行したら20ぐらいの仮想マシンの環境でブラウジングやエクスプローラーの速度が数倍になりました。
実機よりちょい重いぐらいかなのレベルで動くんですごいですね。
XEONマシンはいろいろとガタが来て超重かっただけかもですが、世代が違うと性能以上の差が出るんですかね
0064login:Penguin
垢版 |
2024/06/01(土) 08:36:17.91ID:81E7+yO4
性能以上の差ってどういうことだ?
仮想マシンの場合、passmark の総合スコアだけでなく single thread rating の数字も見ておかないといかんですの
0065login:Penguin
垢版 |
2024/06/01(土) 22:40:54.33ID:mGTROnXd
7950Xは16コアとはいえ基本クロック4.5GHzでDDR5だから、Xeon 2GHz 18コアの倍の性能は出るじゃろ。
0066login:Penguin
垢版 |
2024/06/04(火) 13:24:12.03ID:YWOEOOvj
XEONだと鈍重でまともに動かなかったのは別の理由だったんですかね
ロード100にはなってなかったのでエクスプローラーの重さは異常でした
0067login:Penguin
垢版 |
2024/06/04(火) 17:01:00.55ID:Dv/XpoeW
>>66
xeon 2G 18coreってE5-2686 v3か?
同一クロック同一コア数で半分くらいの性能しか無さそうだな
その上でクロックが倍になるわけで性能はかなり違うのは頷けるね
それくらいの世代だとssdもsataだったりするんじゃないか?
0068login:Penguin
垢版 |
2024/06/08(土) 12:05:25.04ID:X5VmB4qE
>>61 が実現したいのは次の理解で正しい?

1. VMのバックアップを保存したい
 保存先はストレージRED2BACKUP

2. VMをコピーしたい
 コピーしたVMのHDD保存先はストレージRED

※ストレージlocalとlocal lvmはよくわからないから不安
レスを投稿する


ニューススポーツなんでも実況