X
トップページ⇒Linux
980コメント302KB
ファイルシステム総合スレ その19
レス数が950を超えています。1000を超えると書き込みができなくなります。
0307login:Penguin
垢版 |
2021/09/27(月) 10:11:27.65ID:8b0UHmE8
ddrescue 絡みで以下

$ sudo mount -o subvol=@ /dev/loop0p2 /mnt

$ sudo btrfs scrub start /mnt
scrub started on /mnt, fsid 98d2193c-b09e-4f8b-b78d-dc9ff9906263 (pid=1929)

<< scrub　が一瞬にして終わり、

$ watch sudo btrfs scrub status /mnt

$
Every 2.0s: sudo btrfs scrub status /mnt kyo: Sat Sep 25 13:17:40 2021

scrub status for 98d2193c-b09e-4f8b-b78d-dc9ff9906263
scrub started at Sat Sep 25 13:17:35 2021 and was aborted after 00:00:00

<< この行からまったくスクラブしてないことが読み取れる

total bytes scrubbed: 0.00B with 0 errors
次はどうすればよいですか？
0308login:Penguin
垢版 |
2021/09/29(水) 18:34:19.27ID:fGc1oPa1
windowsでNTFS圧縮したフォルダってlinuxで使うと問題あるのかな？
linuxでNTFSを扱う事にリスクがあるのは知ってるけど圧縮する事でそのリスクがさらに大きくなったりするのかどうか
0309login:Penguin
垢版 |
2021/10/02(土) 15:29:45.10ID:kc4v6amD
>>308
昔、PC-DOSに標準付属だったFAT16ファイルシステム圧縮ソフトを使ってたが、他のシステムと互換性が無くてファイル交換に困った。
あまり特殊な機能を使うと、Windowsの異なるバージョン間でもファイルの読み書きが出来なくなる可能性が有るから、あまりオススメはしない。
XP時代にあれだけ推していたダイナミックディスクがdepricatedになったみたいにね。
Linuxの事は知らんん。
0310login:Penguin
垢版 |
2021/10/02(土) 15:31:47.16ID:kc4v6amD
>>308
ZFS等の他のファイルシステムのファイル圧縮機能を使って、Samba等のCIFS系でネットワーク越しに共有するとかでは駄目なの？
0311login:Penguin
垢版 |
2021/10/02(土) 19:04:03.09ID:EgCcoSU6
NTFS圧縮のどこが特殊な機能だよ
0312login:Penguin
垢版 |
2021/10/02(土) 20:31:54.58ID:EB7kVLAn
そもそもLinuxのNTFSサポート(特にrw)はリバースエンジニアリングの賜物だし、あんまり信用しない方がいいと思うけどなあ。カーネルモジュールのroで使うのが無難だと思うよ。
0313login:Penguin
垢版 |
2021/10/02(土) 23:12:43.44ID:KqC7ziZl
こないだMSと契約してて仕様見れる企業がLinux用ドライバ書いてくれたとかなかったっけ？
0314login:Penguin
垢版 |
2021/10/03(日) 19:44:44.17ID:2jfRA+HE
でもMSが書いてるわけじゃないからねえ。btrfsとか仕様を自分たちだけで決めて実装してるものだって、完璧ではないわけだし、
ファイルシステムは個人的には枯れてることや、トラブルシュートのノウハウの蓄積が重要かなと思う。
まあAPFSを普段使ってて何言ってるんだって感じだが、ユーザーはめちゃ多いからなあ。
0315login:Penguin
垢版 |
2021/10/04(月) 13:08:55.60ID:TXzl7kYV
>>314 FAT32実装でも完璧になることはほぼないよ
0316login:Penguin
垢版 |
2021/10/04(月) 19:36:08.93ID:fn2oJW0l
>>315
うん、だからext4とかxfsとかしか使わないよ。
NTFSマウントしたかったらVM経由でCIFSマウントするわ。
0317login:Penguin
垢版 |
2021/10/21(木) 18:38:36.21ID:AxEaN9Vn
クライアントマシンのルートパーティションをBtrfsからext4に戻してみた
扱い簡単だし日々のバックアップなんかdumpで十分じゃねとか思って
0318login:Penguin
垢版 |
2021/10/22(金) 00:37:11.94ID:LPm9gNbQ
Fedoraの傾向からすると
今後はバックアップだけじゃなくて高速化でもBtrfsの機能を活用する方向だから
新しいディストリを使うならBtrfsにしておいたほうが良い
0319317
垢版 |
2021/10/22(金) 07:30:15.12ID:DPzRrjD6
さすがFSスレ住民　未来を見据えてらっしゃる
再フォーマット＆データリストアはワケないんで近いうちに出戻りBtrfsやるかも知れないっす
0320login:Penguin
垢版 |
2021/10/23(土) 04:27:16.95ID:I1Xbj+ci
Facebookの全面協力で安定してきたから
最新のカーネルを扱えるならBtrfsでも良いけど
DebianやRHELクローンだとカーネルが古いからBtrfsは早いかな
0321login:Penguin
垢版 |
2021/10/24(日) 09:22:16.94ID:1yf+lTo0
Debian11を使用中なんですが、

> DebianやRHELクローンだとカーネルが古いからBtrfsは早いかな
との事なのでZFSを仕込んでみました
https://i.imgur.com/ND3SXwC.png
0322login:Penguin
垢版 |
2021/10/24(日) 17:47:04.20ID:lKWonQWJ
ZFSはメモリ消費が激しすぎてイマイチでしょ。
最近のBtrtfsのメリットは
Btrfsを前提とした周辺機能が充実してきた事。
例えばFedora35からはソフトウェアの更新がBtrfsで高速化される事になった。
0323login:Penguin
垢版 |
2021/10/24(日) 19:24:24.84ID:DfnSHm2O
ちょっと前まではbtrfsディスっとけばできる男を演出できてたけど
最近はbtrfsを褒めるほうが有能そうな雰囲気出せる時代になってきたん？
0324login:Penguin
垢版 |
2021/10/24(日) 19:35:29.46ID:jhNfOHT2
俺は一貫してBtrfsの素晴らしさを讃えてきたので……というのはともかく、風向きが変わってきたなとは思う
0325login:Penguin
垢版 |
2021/10/24(日) 19:41:59.94ID:lKWonQWJ
昔から壊れるという欠点を除けば素晴らしいファイルシステムだった。
最近のカーネルでその欠点が急速に改善されているからメインでOKという流れ。
FedoraがデフォルトをBtrfsにしたのに阿鼻叫喚になっていないし本当に安定してきてるんだと思うね。
0326login:Penguin
垢版 |
2021/10/24(日) 20:49:19.85ID:SkXAlUtd
最近のカーネルにCentOS 8の4.18はともかく、debian 11の5.10は含まれないの
0327login:Penguin
垢版 |
2021/10/24(日) 21:28:44.29ID:4t2MKVSe
ZFSがメモリ食いなんてまだ言ってる人いるんだくらいの感想
0328login:Penguin
垢版 |
2021/10/25(月) 00:04:16.92ID:iwYvMRD6
カーネル5.4で安定化したらしいからdebian11なら大丈夫じゃない？
それ以降のカーネルでも高速化が入っていたりするから新しいに越したことはないだろうけど
0329login:Penguin
垢版 |
2021/10/25(月) 00:16:24.92ID:iwYvMRD6
あとは透過圧縮で利用するzstdの改善が5.13で入った
安定面ではなくパフォーマンス面で考えるとカーネル5.10だともったいない気がする
0330login:Penguin
垢版 |
2021/10/25(月) 05:51:44.96ID:kkWUslu3
ZFSはまあまあメモリ食う時もあるけどあまり気にした事ないな
心配ならARC制限すればいいし
Btrfsはパフォーマンスが上がるのか
個人レベルでは問題視する様な不具合は見てないし今後がますます楽しみ
0331login:Penguin
垢版 |
2021/10/25(月) 06:45:49.20ID:ZAX3MeqU
>>329
知らなかったから調べてみたらBtrfsでzstd圧縮を利用している場合5～15%パフォーマンスアップとあるね。必須とまでは言わないけど、あれば嬉しい感じ
0332login:Penguin
垢版 |
2021/10/25(月) 09:40:15.48ID:qncdQ78l
ext4でcrc32c_intelが有効になっているか確認する方法ありますか？
カーネルモジュールは組み込まれていて、
dumpe2fs -hで見ると、crc32cとだけ表示されています。
intelの使ってるのでしょうか…？
0335login:Penguin
垢版 |
2021/11/09(火) 11:16:06.66ID:C2t7c7MT
EXT4って巨大ファイル（数十GB～数百GB）のファイルを削除しようとしたらめちゃくちゃ遅くない？
ずっと前からそうで久々に新しいシステムセットアップして最近は改善されたかな？と思ったけど同じだった
0337login:Penguin
垢版 |
2021/11/09(火) 22:15:53.46ID:C2t7c7MT
ext4でもそうなんだよな
0338login:Penguin
垢版 |
2021/11/10(水) 12:55:17.02ID:Gmm1clxh
inodeに削除フラグ立ててるだけならおかしいよね
SSD のハードウェア側で何か処理が行われているのかな
0339login:Penguin
垢版 |
2021/11/10(水) 18:23:09.04ID:NkSwIMlY
まさかマウントオプションでTrim有効にしてないか？
0340login:Penguin
垢版 |
2021/11/10(水) 20:25:56.39ID:HeWruaDL
ext4は昔からNTFSと比べると削除は遅いよ
0341login:Penguin
垢版 |
2021/11/12(金) 21:57:58.67ID:9wzH1mCG
On-Disk Format Changes Ahead To Improve "Painful" Parts Of Btrfs Design

https://www.phoronix.com/scan.php?page=news_item&;px=Btrfs-Improving-Painful-Parts

そろそろ安定してきたっぽいからbtrfsに乗り換えようかと思ってたけど
来年Disk Format変わるのかよ……
0342login:Penguin
垢版 |
2021/11/13(土) 01:26:17.24ID:e0PvumLs
そうだとしても乗り換えてOKでしょう
Fedora34でBtrfsにして35へのアップグレードも済ませたけど相変わらず安定だよ
即座に壊れたカーネル4.xx時代とは大違い
0343login:Penguin
垢版 |
2021/11/13(土) 01:29:53.82ID:e0PvumLs
Fedoraが透過圧縮有効のBtrfsをデフォルトにして問題なしだから
カーネルさえ新しければデスクトップ用途ではまず問題は発生しないと思う
0344login:Penguin
垢版 |
2021/11/13(土) 02:04:13.93ID:GWxfAFmk
Fedora の方がRedhatの見立てより正しかったのか。
xfs Cow を頑張るべきかで楽しみ増えたね。
0345login:Penguin
垢版 |
2021/11/13(土) 02:17:42.38ID:jL/cp8Sk
見立てが正しいとかじゃなくて性質の違いじゃないかなあ。
半年ごとに新しいバージョンが出て、サポート期間が1年のものと、
10年近くサポートしなければいけないものでは、物事の決定が大きく変わるよ。
Fedoraで徹底的にbtrfsのバグを潰して、RHELに再導入したいんじゃないかな。
ちゃんと動くなら、btrfsはどう考えてもRHELの売りにはなるから。
0346login:Penguin
垢版 |
2021/11/13(土) 02:20:55.49ID:e0PvumLs
RHELは単純にRedHatの従業員にBtrfsのメンテナが居ないという理由だったはず。
Btrfs側にパッチを当てる権限がないと商業利用でメインに据えるのは難しい。
0347login:Penguin
垢版 |
2021/11/14(日) 01:41:15.55ID:05NxiEGH
bcachefsを使ってる方いますか？使い心地を伺いたく。
たまにしか使わないvmを、使うときはssdの速度、保存は大容量のhdd、といいとこ取り出来たらいいなと思ったので。
0348login:Penguin
垢版 |
2021/11/14(日) 22:17:45.69ID:8yaYENO9
Bcachefsはやめときな。
開発が事実上個人に依存している上に
Btrfsが安定化した今となっては存在意義が薄れてる。
0349login:Penguin
垢版 |
2021/11/14(日) 22:53:51.95ID:9NKXbiYN
BcacheFSの作者にはPatreonで投げ銭してたけどBtrfsが普通に快適で順調に安定性も上がってるようだったから投げ銭止めちまったな。
0350login:Penguin
垢版 |
2021/11/15(月) 22:07:17.58ID:4zDn1QCD
>>348
>>349
ありがとうございます。
このスレでも使われてなさそうで、常用はまだまだという感じました。
大人しくメインライン入りを待ちます。
0351login:Penguin
垢版 |
2021/11/16(火) 02:02:48.51ID:jPDcGScd
いや、メインライン入りしても使わないほうがいい
Bcachefsはリソースが足りてないから常用はまだまだというか多分無理
素直に安定化したBtrfsを利用するのがおすすめ
0352login:Penguin
垢版 |
2021/11/18(木) 03:36:45.41ID:qTns37yC
結局のところBtrfsの圧縮はlzoかzstdどっちがいいのか教えて偉い人
0353login:Penguin
垢版 |
2021/11/18(木) 04:04:50.86ID:15FxU4NQ
>>352
zstd:1一択
FedoraチームがCPU使用率と圧縮率のバランスから検証した結論
自分も1年以上zstd:1で運用してるけど快適そのもの
0354login:Penguin
垢版 |
2021/11/18(木) 06:57:17.00ID:yAyQZrWM
マジか。長らくlzoだったけどzstdにするかな?
RaspberryPi4な自宅ファイルサーバだからCPU弱いけど
0355login:Penguin
垢版 |
2021/11/18(木) 10:07:14.65ID:kJ0Z9QmQ
zstdが進化しすぎてlzoはもはや存在意義がない
圧縮率、圧縮速度、解凍速度、全てでzstdが上回ってる
しかもzstdは未だにアルゴリズムの改善による高速化が続いてるから差は広がるばかり
強いて弱点を挙げるなら古いカーネルとの互換性くらいかな
0356login:Penguin
垢版 |
2021/11/18(木) 10:20:13.51ID:PS7LS2tl
zstdの圧縮アルゴリズム自体が負荷が少なくて
しかも圧縮率でもほぼ全てのケースで
gzipとかの系統の圧縮方法より縮むみたい
(さすがにlzoよりは多少負荷かかるだろうけど)

将来的にgzip使ってるとこをを完全に置き換えそう
自分でもarm系の非力な環境でtarに使ってると
時間ベースで倍以上早い感じ
0357login:Penguin
垢版 |
2021/11/18(木) 12:17:53.39ID:vBDA9b/+
開発中の5.16カーネルでZstd更に速度アップ（四年前のコードが新しく）
0358login:Penguin
垢版 |
2021/11/18(木) 13:05:16.60ID:ePhyqPG7
今fstabでcompress=lzoとかしてるんだけど、既存のファイルは別に今すぐzstdにしなくていいけど今後作られる新規のファイルとかはzstdで圧縮してほしいと思ったらcompress=zstdにするだけでいいの？
0359login:Penguin
垢版 |
2021/11/18(木) 13:12:53.19ID:KkteLCRf
上記に書かれてるのはcompress=zstd:1かな。
自分はcompress-force=zstd:1にしてる。
zstdはアルゴリズム自体に圧縮の可否の判定コードが組み込まれているから
compress-forceでも問題ないらしい。（実際に使ってるけどデメリットは感じない）
0360login:Penguin
垢版 |
2021/11/18(木) 13:23:27.34ID:GASrRsZg
BtrfsもZstandardもFacebookが本番環境でゴリゴリに利用しながら開発協力してるから進化が早いね
0361login:Penguin
垢版 |
2021/11/19(金) 00:01:05.30ID:olu0IGqg
リーナスがbtrfsの時代を見越して特権でマージしてからはや12年
やっといい感じになったのか
一時期の停滞はなんだったんだろうな
0362login:Penguin
垢版 |
2021/11/19(金) 02:04:08.97ID:zywWlpj/
compress-forceはやめたほうがいいぞ
画像や動画や音声みたいにすでに圧縮されていて圧縮する意味がないファイルまで圧縮するから
0363login:Penguin
垢版 |
2021/11/19(金) 02:21:10.12ID:9V6nr5YI
だからそれをzstdなら自動で判定してくれるって話なんじゃないの？
俺はcompress=zstdにしてるけど
0365login:Penguin
垢版 |
2021/11/19(金) 07:22:27.39ID:9u0Wrd2T
forceとはいったい……

>>364
そんなの見れるんだ、コマンド教えて
0367login:Penguin
垢版 |
2021/11/19(金) 16:59:38.83ID:9u0Wrd2T
>>366
おー、Debianにもパッケージあるし、見れた。ファイルサーバで試したら思ってたよりすげー圧縮してたわ。
ありがとう。
0368login:Penguin
垢版 |
2021/11/19(金) 22:14:57.88ID:dMVwvFav
まじでここ最近のBtrfs進化凄まじいな
圧縮によってSSDが長持ちする効果も。
個人ユースレベルの話だけど、fedora34、35と使っててトラブルなし

>>366
横からですがGJ！

kernel 5.16でbtrfsパフォUP
ttps://www.phoronix.com/scan.php?page=news_item&px=Btrfs-Linux-5.16
0369login:Penguin
垢版 |
2021/11/21(日) 14:51:49.00ID:bYykWTis
qemuイメージをbtrfs上で使う場合、どのような方法がオススメでしょうか？ thin provisipningが目的で、qcow2自体のsnapshotや圧縮は使っておりません。
・qcow2+nocow(btrfs)
・raw+cow(btrfs)
・raw+cow(btrfs)+compress(btrfs)
・raw+nocow(btrfs)
・その他など
0370login:Penguin
垢版 |
2021/11/21(日) 16:13:24.94ID:shHqGKFO
thin provisioningがディスク容量の削減を指すんだったら
qcow2の圧縮にzstdを使ったら「初期イメージは」RAWの
20%以上ぐらい？まで縮んだなあ…
debianインストール済みイメージで、/はext4、ディスク使用量
約2GBで、イメージサイズは300MB台だった記憶
インストールして初期イメージ作成までは一旦RAWで作って、
空き容量いっぱいにddでzero埋めファイルを作ってから削除、
それからqcow2変換ってことをしたけど
0371370
垢版 |
2021/11/21(日) 16:25:51.92ID:shHqGKFO
圧縮方式はデフォルトでzstdは勘違いだった
0372login:Penguin
垢版 |
2021/11/21(日) 21:17:36.62ID:a95bCROj
牛さんパワーktkr
0373login:Penguin
垢版 |
2021/11/22(月) 03:14:17.87ID:Sspgrqlg
うーん、btrfs上のqcow2はcowだとパフォーマンス劣化が激しいという記事や、btrfs NOCOW filesにはchecksumや圧縮が効かない？ようなんですよね。。
https://btrfs.wiki.kernel.org/index.php/Compression#How_does_compression_interact_with_direct_IO_or_COW.3F
ならば、cowや圧縮はqcow2ではなくbtrfsに任せるよう、rawが良いのかなと考えたのですが、ネットに事例見当たらず、考え違いしてないか気になりまして。。
0374login:Penguin
垢版 |
2021/11/22(月) 10:33:10.09ID:tMXPzEWO
自分は/homeとか/varとか、書き換え頻度の高そうな
マウントポイントだけ分離するために別のRAWイメージファイルを
作成して、メインのqcow2イメージとは別に
追加でマウントとかしてた
例えばqemu内のfstabでは sdb1を/var とか sdb2を/home とか

頻繁に書き換えのあるディレクトリだけを
別のディスクイメージにまとめて、/のファイルシステム上では
そこへのシンボリックリンクにしてしまってもいいかも
0375login:Penguin
垢版 |
2021/11/22(月) 10:35:56.55ID:tMXPzEWO
redditでちょうどそんなこと議論してるスレッドがあった
https://www.reddit.com/r/btrfs/comments/fcntc6/qcow2_on_btrfs_performance/

これ読んで、Btrfs上でなら自分はこうするかも
・Btrfs上でqemuイメージ専用のサブボリューム作成
　　・そのサブボリュームはマウントオプションでCoW無効・圧縮無効
・/以下メインのディスクイメージはqcow2
　　　・一旦RAWイメージで環境をインストールして安定させてからqcow2変換
・/home, /varほか用に同じサブボリューム内に別でRAWディスクイメージを作成
　　・こっちは chattr +c <RAWイメージファイル> で個別にBtrfs圧縮だけ有効
0376login:Penguin
垢版 |
2021/11/22(月) 23:15:14.86ID:Sspgrqlg
みなさん、アドバイスありがとうございます。
rawにした方がパフォーマンスはいいけど、qcow2の方が他のメリットがあるから？使う人が多いような印象を受けました。
rawを試してみようと思います。
0378login:Penguin
垢版 |
2021/12/11(土) 16:21:22.87ID:QzQGI3Jf
いやならないけど
0379login:Penguin
垢版 |
2021/12/12(日) 08:17:39.09ID:cpwBL7PZ
使ってみようかなという気にはさせるねバター FS
新しいハードディスク買ったんだけど今回は zfs から変えてみた
0380login:Penguin
垢版 |
2021/12/12(日) 20:35:12.39ID:vXaeyJFG
「Btrfs」って「バター FS」って読むの？
「ビートゥリーFS」って読んでたや
0381login:Penguin
垢版 |
2021/12/19(日) 17:24:06.42ID:mSL3klp3
Windows機からLAN経由でLinux機の共有フォルダにアクセスした場合に
Linux機の共有フォルダがext4でフォーマットしてあるHDD上に作られているにも関わらず
Windows機側から問題なく読み書きできるのは何故なのでしょうか？

Windows機にはサードパーティ製のext4ドライバをインストールしていないので不思議です
0382login:Penguin
垢版 |
2021/12/19(日) 17:48:44.26ID:M0LazKhz
ext4じゃなくてCIFSを読んでいるからです
0383login:Penguin
垢版 |
2021/12/19(日) 18:01:02.94ID:mSL3klp3
>>382
レス有難う御座います
てっきりデフォルトのWindowsがext4を読めるようになったのかと思っていました
Windows機とLinux機で使えるように外付けHDDをext4でフォーマットしようと思ったのですが無条件では無理なんですね
0385login:Penguin
垢版 |
2021/12/21(火) 00:41:30.48ID:VORHfyX5
ここ１ヶ月ほどでbtrfsのエラーが急に増えたのですが、このエラーの直し方ご存じの方いますか？
デバイスはWDS512G1X0C nvmeです。

Dec 20 10:24:57 xxx kernel: BTRFS warning (device nvme0n1p4): csum failed root 257 ino 284 off 101092372480 csum 0x3423b0e6 expected csum 0xb17c434b mirror 1
Dec 20 10:24:57 xxx kernel: BTRFS error (device nvme0n1p4): bdev /dev/nvme0n1p4 errs: wr 0, rd 0, flush 0, corrupt 1453, gen 0

$ sudo btrfs dev stat /disk/btrfs_nvme0n1p4
[/dev/nvme0n1p4].write_io_errs 0
[/dev/nvme0n1p4].read_io_errs 0
[/dev/nvme0n1p4].flush_io_errs 0
[/dev/nvme0n1p4].corruption_errs 1457
[/dev/nvme0n1p4].generation_errs 0
0386login:Penguin
垢版 |
2021/12/21(火) 06:10:52.48ID:TC2x/Bp/
それ破損エラーたけど
SSDが壊れているのでは？
0387login:Penguin
垢版 |
2021/12/21(火) 08:17:40.23ID:Ll1T4oMZ
ZFSの機能について質問させて下さい
スナップショット・ブックマーク・チェックポイント　それぞれどういうものでどう機能するのでしょうか
今のところバックアップや有事のrollback等、スナップショット機能+sendくらいでニーズは満たしてはいるのですが

>>385
$ sudo btrfs dev stats -z /disk/btrfs_nvme0n1p4　でステータスリセット後にscrub
それでも同様になるならストレージ交換を推奨
0388login:Penguin
垢版 |
2021/12/21(火) 08:38:54.22ID:4osIJ+cx
エラーが急に増えた、とかいうことはまだ読めるんじゃないか
それだったら先にデータをバックアップしたほうが良くないか？
0389login:Penguin
垢版 |
2021/12/21(火) 08:45:40.45ID:Ll1T4oMZ
それもそうですね
dev stats 使える人ならばたぶんバックアップのやり方も知っているでしょう
0390login:Penguin
垢版 |
2021/12/21(火) 11:05:51.12ID:LG40fTb8
そもそもファイルシステム関係あるの？
0391login:Penguin
垢版 |
2021/12/21(火) 11:43:39.02ID:Zj9XuLmV
どっちかと言えばハードウェアの領域か
0392login:Penguin
垢版 |
2021/12/21(火) 20:19:44.01ID:VORHfyX5
>>386,387,388
アドバイスありがとうございます。
エラーはhw故障の可能性でしたか。。
バックアップは取りました。
btrfs scrub、試して様子見てみます
0393login:Penguin
垢版 |
2022/01/30(日) 16:43:37.08ID:YDeubZLZ
385 (369)です。
btrfsのcorruption_errですが、原因が(多分)判明したので報告します。
原因はDirectIOだった様です。
ttps://www.reddit.com/r/btrfs/comments/pwkkmj/comment/hepr7ct/?utm_source=share&utm_medium=web2x&context=3
ttps://www.spinics.net/lists/linux-btrfs/msg25940.html
0394login:Penguin
垢版 |
2022/01/30(日) 16:44:46.57ID:YDeubZLZ
自分の場合、qemuでWindows guestをqcow2 image(NoCoW,nocomp)、cache mode=none で使っており、raw(CoW,comp)に変更した後もcache mode=noneのままでした。writebackにしたらcorruption_errが発生しなくなりました。
btrfsのDirectIOは、NoCoWでは問題ないが、CoWだと問題がある(？)ようです。
ttps://lwn.net/Articles/442355/
ttps://bugzilla.redhat.com/show_bug.cgi?id=1914433#c19
ファイルシステムのDirectIOを使う際は、Stable pages(？)もチェックしておく必要があるということを初めて知りました。。
0395login:Penguin
垢版 |
2022/01/30(日) 16:59:25.31ID:YzatN2Pg
btrfsのDirectIOについては、ttps://btrfs.wiki.kernel.org/index.php/Gotchas#Direct_IO_and_CRCs に記載されてました。
0396login:Penguin
垢版 |
2022/02/22(火) 03:39:13.71ID:2ssZI16J
$ timeshift-launcher &
で　あるスナップショットで　非共有サイズが109メガバイトだとして、具体的に以前の状態からどんな変更をくわえたかの
具体的情報は、どうすればわかるのでしょうか？
0398login:Penguin
垢版 |
2022/03/12(土) 21:51:56.02ID:Rf7pMd17
TimeshiftでRsyncでバックアップしたのですが、
RestoreしようとするもInvalid argumentと出てRestore出来ません。
TimeshiftみたいなのってVPSでは使えないものなのでしょうか？
ちなみにbtrfsでフォーマットされたパーティションです…
0399login:Penguin
垢版 |
2022/03/13(日) 02:14:25.83ID:/q/1mXoW
引数間違ってるって書いてるやん
間違えてるんでしょう
0401login:Penguin
垢版 |
2022/03/17(木) 08:17:01.36ID:Xqtw5Hi8
うちは全てのマシンにUPSをおごる金など無い
昨日の大規模停電は図らずもファイルシステムの信頼性を確認する出来事となった
電力回復後fsck的なものも走らず復旧するZFS・Btrfs　つよい
0402login:Penguin
垢版 |
2022/03/17(木) 23:23:35.45ID:fuiYI/4E
Debian ではいつインストーラーにOpenZFSを付けてくれるんだろ。
https://wiki.debian.org/ZFS
xfs に関しては、上記のwikiには記載ないとかドキュメント化で差があるけど。
0403login:Penguin
垢版 |
2022/03/18(金) 00:47:17.84ID:yCqU+awR
mainパッケージ入り出来ないうちは無理なんじゃね
0406login:Penguin
垢版 |
2022/03/21(月) 23:23:12.49ID:PMPLxowA
ｷﾀ━━━━(ﾟ∀ﾟ)━━━━!!
0407login:Penguin
垢版 |
2022/03/21(月) 23:59:22.85ID:FOQLXsvF
ユーザースペースのなら前からあったような
0408login:Penguin
垢版 |
2022/03/23(水) 06:35:53.49ID:W+gk/0wT
10TBあたりわずか1GBのハッシュテーブルを使用できます
ファイルシステム全体の重複排除-スナップショットを含む
btrfs圧縮で動作します-圧縮ファイルと非圧縮ファイルの任意の組み合わせを重複排除します
デーモンは、btrfsツリー検索を使用して新しいデータを段階的に重複排除します
シャットダウン後の迅速な再起動のための永続的なハッシュテーブル
データセットが大きくなってもRAM使用量は増加しません
ライブで動作します-スケジュールされたダウンタイムは必要ありません

おいおい神か！？
もうzfsを使う理由がなくなってきたな
0409login:Penguin
垢版 |
2022/03/23(水) 08:43:47.82ID:oNwCL5VO
raid6はいつ安定しますか…？
0410login:Penguin
垢版 |
2022/03/27(日) 14:09:56.65ID:BHPkkIfn
>>408
> データセットが大きくなってもRAM使用量は増加しません

これってZFSだとメモリ食うやつだよね？
ZFSしか使ったことないけど次は調べてbtrfsするかな
0411login:Penguin
垢版 |
2022/04/11(月) 13:31:32.14ID:28SRxXFF
ext4でいいじゃん・・・
0412login:Penguin
垢版 |
2022/04/11(月) 16:02:18.94ID:hvOblzS0
Fedoraで2年間Btrfsを圧縮有効にしてtimeshiftも使ってるけど一切不安定になったことがない。
以前にDebianでBtrfsを試して即座にデータが吹き飛んだ頃と比べると相当安定してきたと感じてる。
最新のカーネルを使えるなら今はBtrfsが第一選択肢でもいいんじゃないかな。
0413login:Penguin
垢版 |
2022/04/11(月) 17:23:02.02ID:1RMzXaNK
・空き容量が不正確
・空き容量カツカツでの運用は非推奨
・scrubを定期的に実行しないといけない
・vmイメージの置き場所にはあまり適さない
・ext4と比べると容量食い
ってな感じのことを聞いたんだけどほんと？
0414login:Penguin
垢版 |
2022/04/11(月) 18:48:41.13ID:WGF5H3C+
・btrfsユーティリティが正確な容量を教えてくれる
・空き容量カツカツは大抵のフォイルシステムで非推奨じゃね？
・定期実行しなくても問題出ない
・VMイメージの置き場所には適さないけどオプション指定があったような
・透過圧縮もあるのでむしろ食わない
0415login:Penguin
垢版 |
2022/04/11(月) 19:57:21.84ID:HZzXsyjN
・ちんちんシュッ！シュッ！シュッ！
0416login:Penguin
垢版 |
2022/04/11(月) 20:23:34.01ID:sEAd7XzV
イメージ置くならlvm推奨、raid5,6使うならdevice-mapper推奨、quota使うならxfs推奨
0417login:Penguin
垢版 |
2022/04/11(月) 21:07:01.93ID:/rTzXMzJ
VMイメージやDBファイルについてはCoWを無効化した方が良いとArchWikiにあるな
ファイルやディレクトリ単体で無効化できる模様
0418login:Penguin
垢版 |
2022/04/12(火) 16:02:03.24ID:OdAks5dN
自動でその設定してくれんかな
sqliteとか多すぎて手動で設定するの大変だよ
0419login:Penguin
垢版 |
2022/04/12(火) 16:16:50.72ID:8C6toS04
パフォーマンス追求するケースの話であって一般的にはそこまで困らんでしょ
0420login:Penguin
垢版 |
2022/04/12(火) 20:03:02.55ID:XoxKNETm
>>417
chatter +C dir
だけで良いのでしょうか?
0421login:Penguin
垢版 |
2022/04/12(火) 23:40:33.09ID:urXgeN0C
CoWを無効にすると圧縮も無効になるから一長一短だよ
0422login:Penguin
垢版 |
2022/04/13(水) 07:21:15.65ID:ELY+bluI
多少性能低下するだけだしVMディスクイメージはCOW有効化するな
無効化したらスナップショットからのお手軽ロールバック出来なくなるし
0423login:Penguin
垢版 |
2022/04/13(水) 10:08:48.71ID:fv2dkzRd
スナップショットをVM Consistentでとれる確証がなければ、やめておいた方がいいよ
0424login:Penguin
垢版 |
2022/04/13(水) 14:29:58.02ID:hXXP1Y6R
>>413
・ツール類に信頼がおけない

EXT4の感覚でUUIDを変更したら
特に警告等なく完了したがその後エラーを検出してファイルにアクセスできなくなった
0425login:Penguin
垢版 |
2022/04/13(水) 14:47:06.35ID:hXXP1Y6R
>>413
空き領域まわりは強いクセがあるな
btrfsの場合は常に5GB以上は空けておかないと安心できない

btrfsは未使用領域を"chunk"と呼ばれる1GB（公式の説明）のブロックで切り出してから書き込むが
切り出すときに用途を固定してしまう（実データ・メタデータ・システム）
全ての未使用領域を切り出したあとにメタデータ領域が枯渇すると実データ領域に空きがあっても一切のファイル操作ができなくなる

ファイルの削除は可能だが空き領域が回復しないことも多い
メモリ上では削除成功したことになってもディスク上ではメタデータの更新に失敗するため
こうなったら復旧するには特殊な手順が必要になる
0426login:Penguin
垢版 |
2022/04/13(水) 14:51:31.77ID:hXXP1Y6R
NTFSはフォーマット時にメタデータ領域を切り出すが
空き領域が枯渇するとメタデータ領域を実データ用に転用したり、メタデータ領域を拡張する仕組みがあるので
最後まで表示通りに書き込みができる
その代わり断片化が激しくなる
0427login:Penguin
垢版 |
2022/04/13(水) 15:32:39.16ID:dVO4/n+j
なる
パフォーマンスを取るか緩く安定を取るかみたいなもんか
0428login:Penguin
垢版 |
2022/04/13(水) 15:33:43.53ID:+IAQCF5I
空き容量はメタデータ云々といよりスナップショットの関係だよ
スナップショット取ってる場合には、削除が空き容量の増加にならないからという単純な話
スナップショット使ってないパーティションで何度も空き容量不足になってるけど一度も壊れた事はない (カーネル5以降の話)
0429login:Penguin
垢版 |
2022/04/16(土) 14:26:12.78ID:tF/izOz2
サーバーはともかく
デスクトップPCならBtrfsに切り替えても問題ない頃合いだね
Fedoraがデフォルトにしてしばらく大きな不具合は見つかってないし
0430login:Penguin
垢版 |
2022/04/16(土) 16:04:38.05ID:t4vxTGvP
なんかええんかそれ
0431login:Penguin
垢版 |
2022/04/16(土) 16:22:16.47ID:y438Thu7
レッツビギン　使ってみればわかるさきっと
0432login:Penguin
垢版 |
2022/04/16(土) 17:45:27.35ID:4lwQorlw
未だに10年前と同じ感覚でbtrfsを語ってる人たまに居るよね
くっそ古いカーネル使ってるならその認識で合ってるかもしれないけど
0433login:Penguin
垢版 |
2022/04/16(土) 17:52:11.59ID:nOVJDdzD
ファイルシステムはカーネルバージョンでガッツリ変わるからな
btrfsだけでなくext4やxfsも変わってる
0434login:Penguin
垢版 |
2022/04/16(土) 17:53:43.66ID:y438Thu7
怖いのはFS信頼性よりヒューマンエラー(ヒューマンとは俺自身含む)と思ってる
有事への備えさえしておけば先進のFSでも大丈夫
ラズパイですら再フォーマット無しにほぼ放置で２年ちょっと経過
0435login:Penguin
垢版 |
2022/04/16(土) 19:32:29.52ID:b4hVpIAm
今でこそBtrfsを愛用しているけど
カーネル4.xx時代はヒューマーンエラーとかいうレベルじゃない不安定さで使い物にならなかったよ
前兆なしでサルベージすら不可能な壊れ方するからヤバかった
0436login:Penguin
垢版 |
2022/04/16(土) 19:47:51.64ID:y438Thu7
使用開始時はさすがにおっかないFSだと言う認識はあった
当時のラズパイOSのカーネルはよく覚えてないけど5.4.*とかだったかなぁ

ラズパイでの試験運用開始時は十重二十重にスナップショット取ったり
日時バックアップしたりを欠かさなかった
0437login:Penguin
垢版 |
2022/04/16(土) 20:07:09.86ID:b4hVpIAm
調べるとBtrfsは丁度カーネル5.4から安定してきたらしい
確かにそのくらいからBtrfsユーザーの阿鼻叫喚が鳴りを潜めた気がする
0438login:Penguin
垢版 |
2022/04/16(土) 20:15:32.08ID:y438Thu7
「ラズパイだからいいややってみよ　バックアップも取るし」くらいの安易な気持ちだったのを覚えている
運が良かったのか引きが強かったと言えるのかわからんけど特にFSが飛ぶ事も無く現在に至る
使用開始後調子に乗ってPCでも使い始めるまでにそれ程時間はかからなかった
0439login:Penguin
垢版 |
2022/04/16(土) 20:41:33.26ID:ALi/F0DO
ふっるいカーネルと言われると3とか4あたりを想像するわ
5.4ってまだ2〜3年前くらいじゃね
0440login:Penguin
垢版 |
2022/04/16(土) 20:54:53.45ID:Cxdwk3KI
従って今日はそのふっるいカーネルの感覚で語ってる者はいないと言う事だな
0441login:Penguin
垢版 |
2022/04/17(日) 00:25:54.64ID:FWZKWgiO
Fedoraはdnfインストールでreflinkを扱ったりと
既にBtrfsの利用を前提とした周辺ソフトウェアの最適化に取り組んでたりするから
他のディストリにも成果が流れてBtrfsがデフォルトになっていくだろうね
0442login:Penguin
垢版 |
2022/04/17(日) 01:51:38.91ID:XLgIjm9T
ZFS みたいにメモリが沢山ないとパフォーマンスが出ないみたいな低スペ野郎は使えない制限はBtrfsにはないんですか？
ext4 と比べるとディスク容量は少し食うみたいですが。
0443login:Penguin
垢版 |
2022/04/17(日) 03:03:00.73ID:FWZKWgiO
XfsでCoW有効にした時にはメモリ食いすぎて常にカツカツだったけど
Btrfsは省メモリで特にロースペに厳しいとかはないね
透過圧縮も普通に有効にしてる
0444login:Penguin
垢版 |
2022/04/17(日) 15:47:14.78ID:xi4dvUYy
btrfsもそれなりにスペック依存性あって、
職場NASをHP ProLiant MicroServer(Athlon II NEO N36L)から
Ryzen 5 Pro 3600自作機に更新したらメチャ早くなった。どっちもCentOS7。

なので試しに自宅NAS(4HDD@UbuntuServer)を200GEから2400Gに変更したら早くなったので、
今は欲を出して余りHDD全部(4x3.5CMR, 4x2.5CMR, 1x3.5SMR)を繋ごうと考えてSATAカード物色中。
0445login:Penguin
垢版 |
2022/04/17(日) 19:40:20.31ID:o3E9K/21
BtrfsというかZstdの進化が凄まじいから
なるべく最新のカーネルを扱えるディストリの方がいいよね
今だと公式にBtrfsをデフォルトにしてるFedoraがベストかな
0446login:Penguin
垢版 |
2022/04/17(日) 19:51:44.94ID:o3E9K/21
Btrfsのカーネル選び
5.4～　安定化(事実上これ以前は非推奨)
5.16～　Zstd圧縮のパフォーマンスが大幅に向上
Ubuntu 22.04でもカーネル5.15だから入れ替えないならFedoraしかない
本格的な普及はサーバー向けの定番ディストリに5.16が降りてくる来年以降かな
0447login:Penguin
垢版 |
2022/04/18(月) 00:12:22.45ID:H/gUmSKT
ほなCentOS Stream使いましょうねえ
0448login:Penguin
垢版 |
2022/04/18(月) 00:46:36.56ID:7pkk+FE/
>>447
先生、質問です。
CentOS Stream はインストーラがBtrfsに対応していますか？
RHEL が Btrfs を利用しないとインストーラに出てこない気がしました。
0449login:Penguin
垢版 |
2022/04/18(月) 01:32:56.76ID:xB+OMS2q
インストーラが対応してないどころかbtrfs-progsのパッケージもないしそもそもカーネルが対応してない
自分でビルドして入れれば使える
0450login:Penguin
垢版 |
2022/04/18(月) 18:36:05.91ID:pP5e1xMZ
先生スパルタ過ぎませんか…？

僕はArchで行きます
0451login:Penguin
垢版 |
2022/04/18(月) 18:51:32.65ID:JAVvjsLe
CentOS Stream だと、/ に一式インストールした後、カーネルのリビルドして、必要なパッケージ入れて分ける予定のパーティションはその後フォーマットして色々移動させてから、残りは btrfs-convert でext4 から Btrfs に変換するんかな。
0452login:Penguin
垢版 |
2022/04/18(月) 19:19:47.38ID:WCMNsdhx
昔はデスクトップでArch使ってたけど
BtrfsやZram等、結果的にFedoraのデフォルト構成に近い部分が多くなって
だったら最初からFedoraでいいじゃんと思って以来ずっとFedoraだな
0453login:Penguin
垢版 |
2022/04/20(水) 08:15:50.77ID:4V340LVP
今、透過的圧縮対応のファイルシステムって何が主流なんですか
バターFSですか
0454login:Penguin
垢版 |
2022/04/20(水) 20:01:34.92ID:Z3bbGBjd
デスクトップ用途だとFedoraのデフォルトインストール設定が
Btrfs+zstd圧縮だから圧倒的にBtrfs
サーバーだと実績を考えてまだ無難なZFSで動かしてるケースが多いんじゃないかな
0455login:Penguin
垢版 |
2022/04/20(水) 20:25:16.48ID:EEBifDNl
ZFS ハードル高いのとRHELはxfs、Debianはext4 だと思うけど。
0456login:Penguin
垢版 |
2022/04/20(水) 20:39:53.00ID:fQvTkgaj
xfsはRedHatがBtrfs駄目だからって言ってCOW持ち込んだらすげーぶっ壊れになったり、32bit環境で致命的なバグ出した事あったり、急に鉄板ハイスピードFS扱いになったりととにかく評価が安定しないイメージ
0457login:Penguin
垢版 |
2022/04/20(水) 22:02:13.27ID:ZDR7sTAh
RedHatは社内にBtrfsのメンテナがいないから導入予定はないらしい
Btrfs側のバグが原因で不具合発生した場合にRedHatで解決できないのが理由かな

>>455
透過圧縮の話題だぞ
0458login:Penguin
垢版 |
2022/04/20(水) 22:04:48.14ID:Myq2ka8B
ちんちんシュッ！シュッ！シュッ！
0459login:Penguin
垢版 |
2022/04/20(水) 22:06:29.81ID:Qm6iTfJp
Redhatクラスの会社はエンジニアが必要ならいくらでも雇えると思うけど、そもそも市場にbtrfsのメンテできるエンジニアがほとんどいないとかなんかな
まぁしょうじき政治的な理由な気がする
0460login:Penguin
垢版 |
2022/04/20(水) 22:20:36.07ID:0X67q2nR
自宅だと最新kernel追えるが、職場だと怖いね
0461login:Penguin
垢版 |
2022/04/20(水) 22:38:36.47ID:ZDR7sTAh
>>459
RedHatの言うメンテナってのは本家のコードへのコミット権を保有してるレベルの話だから簡単じゃない
0462login:Penguin
垢版 |
2022/04/20(水) 22:42:14.55ID:+dTCpvcy
>>458
ニキ
0463login:Penguin
垢版 |
2022/04/20(水) 23:48:54.56ID:Qm6iTfJp
>>461
その基準だと最終権限はリーナスしか持ってないしサブシステム単位の権限を基準にしてもext4すら使えなくなるが
0464login:Penguin
垢版 |
2022/04/21(木) 01:09:55.47ID:I5yQjODX
だからXfsがデフォルトなんでしょうよ
0465login:Penguin
垢版 |
2022/04/21(木) 01:24:26.88ID:srfaurpM
xfsの人oracleだけど
0466login:Penguin
垢版 |
2022/04/21(木) 01:47:41.95ID:KalF/zpO
私が間違っておりましたm(_ _)m
0467login:Penguin
垢版 |
2022/04/21(木) 12:54:53.07ID:5U6ZkiPz
>>459
落ちて来たとは言えFacebookから引き抜けるほどお金積める気がしない…
0468login:Penguin
垢版 |
2022/04/21(木) 20:20:13.80ID:Zk6H540j
Facebookは業務でバリバリBtrfsを使っていて現場の情報も入ってくるから
やりがい作戦での引き抜きも困難だろうしな
0469login:Penguin
垢版 |
2022/04/22(金) 08:12:03.27ID:jZiBDVrO
元々Redhatには、btrfs主要開発者のjosefさん(現Facebook)が在籍してたんだけどな。
会社の方針が変わったから転職したのか、
転職しちゃって開発者がいなくなったからサポートやめたのかどっちだろ。
0470login:Penguin
垢版 |
2022/04/22(金) 16:52:47.96ID:5g5kzzmH
Stratisっていつ完成する予定なんだ
0471login:Penguin
垢版 |
2022/04/23(土) 21:07:58.07ID:qZnjF4sP
フリーランスに立ちはだかる「常駐」の壁。慣例を打ち壊し、
“テレワーク”案件3割→8割へと成長を遂げた「クラウドテック」の軌跡

リモートワーク求人専門サイト「プロリモート」がリニューアルオープン、業務委託契約の求職者と企業をマッチング

1/3以上が採用につながる高マッチング率、リモートワーク×エンジニア・デザイナー専門の
人材紹介サービス「ReworkerAgent」正式リリース場所からも時間からも自由な働き方を実現！

『ReWorks（リワークス）』リモートワーク特化型転職サイトとして 3月5日 リニューアル

副業・兼業マッチングサービス「クラウドリンクス」登録者数2万人突破
中小企業で進む副業人材の採用、96％が継続採用を希望

茨城県日立市、県外からの「テレワーク移住者」に最大151万円の助成金

長野市、市内に移転・事業所設置し、移住することで最大550万円の支援金を支給

フリーランスが活用できる「最大1,000～3,000万円・補助率50%～75%」の
『ものづくり・商業・サービス補助金』とは？概要や条件を解説
0472login:Penguin
垢版 |
2022/04/24(日) 14:24:37.94ID:NHQlztSx
Open ZFSの zfs-dkms今日降って来るのかと思ってたけど来ないのかな
リリース予定日とかってどこかに載ってたりする？
0473login:Penguin
垢版 |
2022/04/24(日) 14:49:03.18ID:qCQScQBJ
どのディストリのどのバージョン？
なおOpenZFS の 2.1.4 なら sid と bullseye-backports には来てるけど
0474login:Penguin
垢版 |
2022/04/24(日) 15:41:29.65ID:NHQlztSx
Arch Linuxで2.1.4使ってます
0477login:Penguin
垢版 |
2022/04/25(月) 01:49:54.00ID:UGDT6XoN
archでzfsなんて使うもんじゃないよ
0478login:Penguin
垢版 |
2022/04/25(月) 02:14:07.93ID:qqwuYFp1
archなんて使うもんじゃないよ
0479login:Penguin
垢版 |
2022/04/29(金) 23:54:58.67ID:s+FK0s2a
aufsみたいな、FSの上にFSを被せる系のFSで
今安定しておすすめのやつってどれになんの？
0481login:Penguin
垢版 |
2022/05/08(日) 18:53:38.55ID:840uxcKI
Fedora36めっちゃいいぞ
完全にGnome一強時代の到来を感じさせる作り
0482login:Penguin
垢版 |
2022/05/08(日) 20:41:55.97ID:XFL8YPf4
ファイルシステムにGnome関係ないやん
0484login:Penguin
垢版 |
2022/05/09(月) 18:57:31.40ID:KxV+cFub
Fedora36に際してはBtrfsをやめるなんて議題にも上がらなかったところを見ると
デスクトップに関してはBtrfsは安定したと考えて良さそうだね
0485login:Penguin
垢版 |
2022/05/12(木) 05:32:10.71ID:IH8uyqjg
SUSEなんて何年も前からエンタープライズ領域でbtrfs使ってるからな
0486login:Penguin
垢版 |
2022/05/15(日) 14:09:34.67ID:SB3ccrEq
>>444だが自宅NASも本格稼働して嬉しいので書き込む。
M.2. ext4 /
2xSataSSD btrfs(raid1) ~/work
3xCmrHDD btrfs(raid0) ~/tmp
1xSmrHDD ext4 ~/arc

SATAカードは起動が遅いので外した。
snapperは便利だけれど自宅では不要だった。職場では評判良い。
鳥はUbuntu, CentOS7(kernel3→5), SuSEの順で試して大差ないので、好みの問題でdebianにした。
CPUは最初の200GE以外は、R3-1200, R5-2400G, RPro5-4650Gを試して差がない。メモリも1x8GB, 2x8GB, 2x16GBで変化なし。
0487login:Penguin
垢版 |
2022/05/28(土) 03:18:22.46ID:NSOwZ8lu
aufsってカーネルのメインラインからいつの間にか外れてたんだな
0488login:Penguin
垢版 |
2022/05/29(日) 16:31:35.70ID:1BV98f7M
ZFSのARC上限を制限するチューニングですが、これってどんなpros/consありますか？
ZFSでなくても、Linuxなどはメモリがあるだけキャッシュするのが一般的と思ってます。(手元のbtrfs使ってるPCのbuff/cacheは17Gi表示)
わざわざ制限するのはどういう理由からか、知っている方いれば教えて頂きたく。
0489login:Penguin
垢版 |
2022/05/30(月) 09:15:53.34ID:wJQ/WRFV
>>488
DBサーバーだったら、DB自体がキャッシュするから、ファイルキャッシュしない方がいいよ。メモリ勿体ない。
0490login:Penguin
垢版 |
2022/05/30(月) 11:13:19.91ID:uyd0SUnZ
>>489
ありがとう。用途はNAS、docker、vm少々です。
DBサーバーだとARCよりDBにメモリ回した方が良さそうですね。参考になります。
0491login:Penguin
垢版 |
2022/05/31(火) 18:09:50.63ID:bZp66LZU
XFS　5.19で改良・高速化予定
ttps://www.phoronix.com/scan.php?page=news_item&px=Linux-5.19-XFS
0492login:Penguin
垢版 |
2022/06/01(水) 18:58:04.34ID:dOLmiJfZ
Btrfsが安定した今ではもう用済みのFSだな
0493login:Penguin
垢版 |
2022/06/01(水) 19:59:57.13ID:CRtSl/+G
Btrfs の良いところって透過的圧縮?
0494login:Penguin
垢版 |
2022/06/01(水) 20:51:56.99ID:+2lVFzvV
良いところ・・・
・fsck不要、マウントが成功すればファイルシステムはclean（ということになっている）
・スナップショット、サブボリューム機能
・Copy on Writeのファイルコピー
・透過的圧縮
・ファイルシステムの機能としての複数デバイス機能（JBODっぽいやつ、RAIDなど）。ただしRAIDはRAID5など未完成。
・send/receive機能

他の～～ファイルシステムだってその機能はあるだろ！というのもあるけど、別にBtrfsだけの機能という話ではないので・・・
0495login:Penguin
垢版 |
2022/06/01(水) 20:58:14.09ID:0rwCsUmC
ブロック単位での重複排除も期待できる
0496login:Penguin
垢版 |
2022/06/01(水) 21:06:15.90ID:LSU9vOwc
俺は xfs 使ってるから助かる
実際に恩恵を受けるのはあとだろうが
0497login:Penguin
垢版 |
2022/06/01(水) 21:31:24.75ID:Pey+ovy8
シングルディスクだとXFSにするかBtrfsにするか迷う
0498login:Penguin
垢版 |
2022/06/01(水) 21:58:21.64ID:8yJK90kV
Btrfsは凄い高機能な割にリソース食わないのが結構嬉しい
0499login:Penguin
垢版 |
2022/06/01(水) 23:58:59.25ID:DS4CLYHo
btrfsはファイル内容のcheck summingがあるので安心感ある。
0500login:Penguin
垢版 |
2022/06/03(金) 08:33:27.69ID:DazIiVq4
ZFSでZVOL使うのとBtrfsで.imgファイル作って使うのに特質すべき差ってある？

>>495
これが出来たら良いのに
0502login:Penguin
垢版 |
2022/06/03(金) 10:51:57.40ID:Dqry4wE4
Btrfs の色々な機能を使っている人は、インストール時点では/に一通りをインストールしてから、新規のパーティションのフォーマットをBtrfsで適切なフラグ付けて、mount オプションも適切なフラグ付けてってされていますか？
その後、/var の中身を移動させるとか。
インストーラの時の設定のみで良いのか疑問です。
0503login:Penguin
垢版 |
2022/06/03(金) 11:49:54.71ID:xcPUldd7
昔xfsでCoWを有効にした時には
ディストリのインストーラーのソースコードを弄ってフラグ変更したな
再フォーマットでID変わると不具合出る事があるからその方が安全だと判断した
0504login:Penguin
垢版 |
2022/06/03(金) 12:28:46.42ID:Y9pyqtcH
>>501
ありがとう
パッチ当てなくても良いのか、後で試してみる
0505login:Penguin
垢版 |
2022/06/04(土) 13:30:50.83ID:KfY54W04
>>502
Arch Linuxをbtrfsオンリーで使っている。
他のディストリ事情は分からないけど、btrfs自体は圧縮やCoWのOFF/ONは後でディレクトリとファイル単位でできるし、subvolumeも後でpoolからいくつでも切り出せる。
一部のmount optionもsubvolume単位で変えられる。
自分の場合、partitionを分ける理由はsubvolumeで変えられないoption(autodefragとか)を使いたいときぐらい。
使い方次第だけど、分けたくなったら後でsubvolumeを切り出したりresizeすればいいかと。
/varとかはrsyncで適当に移動しているけどArchは動いている。
1byteの差も許せない場合はlivecdとbtrfs send/recvを使うのかな。やったことないけど。
0507login:Penguin
垢版 |
2022/06/06(月) 04:14:57.99ID:dUD2Slaj
>>505
btrfsのマウントオプションは今のところ
最初にマウントされた時点のオプションが
同じファイルシステムからの後のマウントにも一律に適用されるのであって
例外はほとんどない(それこそsubvol指定ぐらいである)はずなんだけど
「サブボリューム単位で変えられるオプション」って逆に一体どういった物のことなんです？

上記の理由で圧縮周りもCoW無効もサブボリュームトップのディレクトリにプロパティを適用する事でしか
いちファイルシステムに混在で運用出来ないって認識なんですが……

ttps://btrfs.readthedocs.io/en/latest/btrfs-man5.html#mount-options
0508login:Penguin
垢版 |
2022/06/06(月) 13:43:25.52ID:pqWX/OuS
>>507
あ！申し訳ない。。btrfs WiKi FAQ を見直したら確かにsubvol以外はまだ Planned だった。。訂正します。
ただ、圧縮とCoWはsubvolではなくディレクトリ、ファイル単位にできている。
https://wiki.archlinux.jp/index.php/Btrfs#CoW_.E3.81.AE.E7.84.A1.E5.8A.B9.E5.8C.96
chattr +C で CoW無効、chattr +c 圧縮有効かな。確認は lsattrやcompsizeで。
空ファイル以外はファイル作成後の変更は効かないかも。。

btrfsはopenSUSEが標準でrootfs対応していてsubvolumeやsnapshotも色々考えられているようなので、VMなどに入れて参考にするのも良いかと。
0509login:Penguin
垢版 |
2022/06/06(月) 18:08:26.83ID:prkafuiv
>>508
chattr で CoW 無効にしても swap file にしようとすると結構ボロボロだった経験が…
今はマシになったかな？
0510login:Penguin
垢版 |
2022/06/06(月) 18:57:02.07ID:pqWX/OuS
>>509
swapfile、どうなんですかね。。
btrfs使い始めた頃はswapfile無く、ずっとswap partition切っているので分からず。。
使っている方の情報知りたいですね。
0511login:Penguin
垢版 |
2022/06/06(月) 19:25:13.95ID:xU/tX20b
CoW のおかげでファイルコピーが早く終わるシチュエーションが思いつかない
0512login:Penguin
垢版 |
2022/06/06(月) 20:02:57.70ID:w0jkq8L7
ファイルコピーがCoWってのはBtrfsの1つの側面に過ぎなくて、
Btrfsの重要なところは、既存ファイルの上書き保存であっても、（chattrで無効化してなければ）常にCoWがなされるってところなんだ。
つまり、既存ファイルの上書きでも、ブロックが上書きされるんじゃなく、新しいデータが別のブロックに書き込まれてから、
当該ファイルがそのブロックを参照するようにメタデータが変更される。

だから何だと言われると困るが・・・
0513login:Penguin
垢版 |
2022/06/06(月) 21:16:10.91ID:pqWX/OuS
cpでreflink使うと巨大ファイルのコピーでもすぐ終わるのが便利。raw imageの簡易バックアップとか。
reflinkはCoWの副産物の認識。
変更箇所が少なければ容量の節約にもなってるはず。。
0514login:Penguin
垢版 |
2022/06/07(火) 06:25:40.64ID:fVuIiiKk
CoWなのに上書きはそのまましちゃうファイルシステムなんて存在するの？
0515login:Penguin
垢版 |
2022/06/18(土) 02:18:08.88ID:r1TLOhzS
いまのカーネルはスワップファイルとその物理領域をロックして直接アクセスするので性能はスワップパーティションと変わらない
そのときcowは発生しない
0516login:Penguin
垢版 |
2022/06/19(日) 16:03:31.02ID:qsibPTFk
ZFSですが、ashift、recordsize、volblocksizeなど重要パラメータがいくつもあるようで、最適設定が分からずにいます。
詳しい方のアドバイス頂きたく(できれば仕組みや考え方も。。)

用途：ホームサーバ(NFS、KVM)
H/W：CPU:Xeon E3-1220 V2 RAM:16GB SSD:CT1000MX500 x2 HDD:ST8000DM004 x2
ホストOS： Debian 11 bullseye (OpenZFS)
KVMゲスト: Linux、OpenMediaVault、Windows10

この用途だと、SSDとHDDのashift=12(4K)、データ倉庫のrecordsize=1M、VM用zvolのvolblocksize=16K かなと考えているのですが。
0517login:Penguin
垢版 |
2022/06/23(木) 16:58:16.36ID:TMc4AaIu
5.20でXFSがIOuringを使うようになるみたい
btrfsも対応中で近いうちに使えるようになる
0518login:Penguin
垢版 |
2022/06/23(木) 17:38:09.63ID:Ep5Zy0Ip
>>516
> HDD:ST8000DM004 x2
私だったらの話ですがこのドライブ(SMR)をZFSで使うのは割と勇気が要ります
事例リサーチの上でご決断を

ashiftは12で良いでしょう
recordsize や zvolブロックサイズについてはより詳しい人をお待ち下さい
0519login:Penguin
垢版 |
2022/06/23(木) 19:52:23.21ID:v0yzdsN/
>>518
ありがとうございます。
SMRは確かに遅いけど、現状自分の使い方だとbtrfsであまり気にならないので、ZFSでもいけるかなと。
さすがにWin10 VMは難があると思うのでSSDへの配置も考えてます。
0520login:Penguin
垢版 |
2022/06/24(金) 00:22:37.02ID:76F5ouZf
>>519
私もだいぶ前バラクーダ2TBでZFSを試した事があり
その時S.M.A.R.Tのなんだかの値がやたら増えたんです
(なんてやつだったかは忘れてしまいました)

「ZFSをSMRドライブで使うとデータロストするかもよ」みたいな記事もある様で
怯えた私はCMRドライブを手に入れバラクーダはテレビ録画用(FSはXFS)に回してしまいました
0522login:Penguin
垢版 |
2022/07/25(月) 12:10:29.58ID:oBMCUNvG
ZFSの暗号化ですが、ZILやl2arc使う場合特に注意する点あります？
attach先poolの暗号化が適用される、であってますかね？
0523login:Penguin
垢版 |
2022/08/15(月) 08:35:31.40ID:Wqm7CiAN
OpenZFSでdRAID使っている方います？
安定性や性能、使い勝手はどうなのか参考にさせて頂きたく。
0524login:Penguin
垢版 |
2022/08/19(金) 15:16:48.11ID:9vosFDnq
このところautofsとかいうのにハマりつつある
車輪の再発明？別にfstabや手動マウントでじゅうぶん？
いやー面白いじゃん　マウントしてないのにcpコマンド打ったりしたときに自動マウントされて通ったりするの
0525login:Penguin
垢版 |
2022/08/19(金) 15:57:20.70ID:iSOCHkdV
そういえばそんな仕組みもありましたね。
ftpのマウントとかと組み合わせると案外便利なのかもしれませんね。
0526login:Penguin
垢版 |
2022/08/19(金) 16:02:37.91ID:9vosFDnq
なおNFSとSMB(CIFS)は余裕で設定できた
0528524
垢版 |
2022/08/19(金) 21:52:00.73ID:gInZ6PMI
幾多のNASやFTPやクラウドストレージをマウントしていてもサービス再起動するだけで一括アンマウント
mountコマンドやfuseで使えるものならなんでも動的マウントが可能
WANストレージを多用する人には有用　かもね
0531login:Penguin
垢版 |
2022/08/20(土) 19:43:59.50ID:Bw63l/mK
なおautofsはローカルストレージにも使える
fstabでnoauto指定したマウントポイントにアクセスするまではマウントしないという使い方
例えばバックアップ用やマル秘ファイル満載のHDD、使うまではオフラインにしておくなんて事が可能
多少の電気代とコマンド叩くカロリー節約にはなる
0532login:Penguin
垢版 |
2022/08/20(土) 22:40:25.42ID:seP7+Qij
> fstabでnoauto指定したマウントポイントにアクセスするまではマウントしないという使い方
これLinuxでは結構手こずるわ
FreeBSDなら当該行頭の#を消すだけ
0533login:Penguin
垢版 |
2022/09/12(月) 11:27:55.61ID:EKZ5iDu6
外付けのデータがこっそり壊れてる可能性がある、
というのを極力避けるためにwindows捨ててlinux(btrfs)使う価値ある？

そもそもそんな破損の仕方はそれほど起こらない？
0534login:Penguin
垢版 |
2022/09/12(月) 12:29:19.52ID:wJlIRGX5
OSやファイルシステムのせいにする以前に
ヘタったストレージはさっさと交換して廃棄しちまえ、とだけ
付け加えるとしたら消えたら困る様なデータの保管先が中古ドライブだったらもってのほか
0535login:Penguin
垢版 |
2022/09/12(月) 13:27:25.39ID:EKZ5iDu6
> ヘタったストレージはさっさと交換して廃棄しちまえ、とだけ
定期的に新しいHDDに移してはいるんやけどね
10TBとかのデータをまったくの欠け無しにどんどん世代交代してくなんて可能なんかと不思議でさ
保存中に気づかない欠けが発生したりしないもんかと

その点ファイルシステムがハッシュチェックしてくれたら少なくとも気づくことはできるかなと思った
zfsやらbtrfsやらを使ってる人でその宇陰でデータ破損に気づけたという経験をした人はここにいる？
0536login:Penguin
垢版 |
2022/09/12(月) 13:31:33.85ID:8VmosxAD
クレクレ君が張り付いてんなら俺は何も情報出さんよ
普段どんな構成で運用してて現在どんな状態か等を「正直に」カミングアウトすれば別かもしれんが
0537login:Penguin
垢版 |
2022/09/12(月) 14:01:17.47ID:saGl8sEK
ファイルシステムの機能以前にそんなに完全性を気にするなら普通はベリファイなりハッシュチェックなりかけるので…
0538login:Penguin
垢版 |
2022/09/12(月) 18:05:47.10ID:ty0CoN/s
Oracle Linux 9 は btrfs サポートするのかー、と今調べた。
RHEL 9 も次では btrfs 復活させないのだろうか。
0539login:Penguin
垢版 |
2022/09/12(月) 19:21:01.75ID:/T1h+qWP
情報出さんよと煽れば情報貰えると思ってる
クレクレ君が張り付いてるな
0540login:Penguin
垢版 |
2022/09/12(月) 19:50:06.79ID:iumAOYEz
欠けるってなんだ
ディスクのチェックすり抜ける破損なんてあるか？
0541login:Penguin
垢版 |
2022/09/12(月) 21:01:49.15ID:zezXgxg3
> 情報出さんよと煽れば情報貰えると思ってる
>>536か？
あの短い文章で気持ち悪さを醸し出せるって大した才能だよ
0542login:Penguin
垢版 |
2022/09/13(火) 00:27:35.82ID:/2PyzOea
>>538
Oracle Linuxは普通に8でもbtrfs使えるので・・・
そりゃ自分のところで作ってるんだから当たり前である
0543login:Penguin
垢版 |
2022/09/13(火) 04:06:03.75ID:natg+7os
もうsolarisぶん投げたんだからzfs移植してくれればいいのに
0544login:Penguin
垢版 |
2022/09/13(火) 10:55:34.31ID:26SDvzTI
>>540
> 欠けるってなんだ
> ディスクのチェックすり抜ける破損なんてあるか？

RAID スクラビングでググれ
H/w RAID 製品だとデフォなんで結構あるんじゃね？
0545login:Penguin
垢版 |
2022/09/13(火) 12:25:23.32ID:SZX+oLYW
>>544
そういうのはあるけど
質問者のいうファイルシステムを変えたからって回避できる問題ではないよね
0546login:Penguin
垢版 |
2022/09/13(火) 13:04:17.87ID:IWngxX9u
oracle にはzfsをGPL化して解放して欲しい。
もう面倒見る気ないでしょ。
0547login:Penguin
垢版 |
2022/09/13(火) 15:20:48.56ID:26SDvzTI
変更しないデータは iso ファイルで固めた後にパリティアーカイブコマンド
(par2 コマンドとか MultiPar(Windows) とか) でパリティ付けてるわ。

誤り訂正符号なんでパリティをギガ単位でつけておけばギガ単位でデータロスト
しても修復できるんでお勧め。
0549login:Penguin
垢版 |
2022/09/14(水) 12:38:59.56ID:bYfFHp12
RHELがbtrfs捨てたんだからbtrfsはもうダメって雰囲気から、未だにbtrfs採用しないとかRHELは遅れてんなみたいな雰囲気にまで変わったのは何気にすげーわ
0550login:Penguin
垢版 |
2022/09/14(水) 13:52:40.76ID:nq/UBHqF
RHELというかRed Hatには早くファイルシステムレベルの透過圧縮を実現して欲しい。
アプリ側で圧縮展開なんて面倒すぎてやってられん。。
0551login:Penguin
垢版 |
2022/09/14(水) 14:21:54.84ID:3+fnCgkr
>>550
どのオペレーションの事言ってるの？
圧縮するとパフォーマンスに影響あるから、理解して使わないとダメだと思うのだけど。
0552login:Penguin
垢版 |
2022/09/14(水) 17:32:22.56ID:5xcyS0Dn
確かに適用先は気をつける必要があるね。
自分の場合はサービスアプリの大量のJSONログ。zstdならAWS EBS節約にかなり効果ある。
通常のOS領域でも、lz4ならパフォーマンス上がるという報告もあるし。
0553login:Penguin
垢版 |
2022/09/15(木) 11:18:18.47ID:lBhke55s
Redhatはbtrfs捨てた代わりにstratisとかいうの開発してただろう
使ってる人いるのか知らんけど
0554login:Penguin
垢版 |
2022/09/15(木) 11:54:40.70ID:Cc+Q8Ruh
ここからのリンクでRAID5,6 でbtrfsは、まだ問題抱えている気はする。
パーソナルユースでRAID5,6 使う人は多くないから問題ないのかな。
https://btrfs.wiki.kernel.org/index.php/Using_Btrfs_with_Multiple_Devices

CoW はDBのファイルシステムに向かないという話もあったと思う。
そんな事を気にし始めるとext4いいね、って一周するんだけど。
0556login:Penguin
垢版 |
2022/09/15(木) 12:04:36.92ID:U8x9yY/A
RHはxfsに梶切っていた認識。
btrfsは開発facebookメインで圧縮もfb自身が実環境で使ってる記事あった気がする。
世界最大級のサービスで使われてるのは強みかな。
0557login:Penguin
垢版 |
2022/09/15(木) 15:05:48.87ID:tkXHiVbC
>>554
これってデータベースが更新頻度の高い巨大なバイナリだからって意味だよね？
cowの利点は活かせないけど特段デメリットも無い気がする EXT 4に比べるとパフォーマンスが落ちるぐらいかな
0558login:Penguin
垢版 |
2022/09/15(木) 16:29:17.79ID:FJNLk0E4
RHはxfsに舵を切ったんじゃなくてファイルシステムからは撤退でしょ
EMCやNetAppと違って利益に直結しないbtrfsにお金かけられないよ
0559login:Penguin
垢版 |
2022/09/15(木) 17:05:26.20ID:TtrJqiPo
btrfsはファイル毎にCoW切れるからDBも行けるよ。まぁ本気でやるなら専用パーティション切れってのは確かだけど
0560login:Penguin
垢版 |
2022/09/15(木) 18:15:23.16ID:RUJ684lp
レッドハットはXFSに行ったけどfedoraはbtrfsなんだよな？
0561login:Penguin
垢版 |
2022/09/16(金) 01:39:51.29ID:UTE3VPOH
デスクトップだけね
fedoraサーバーはbtrfsではなかったはず
0562login:Penguin
垢版 |
2022/09/16(金) 01:45:24.63ID:UQnaXGMd
Fedora Server で btrfs インストール時に選べるよ。
ただ LVM との組み合わせではリストに出てこないから、利用できないと思われているかも。
0563login:Penguin
垢版 |
2022/09/16(金) 18:46:30.95ID:6/pTtJMl
RedHatは社内にBtrfs詳しい人がいないから採用予定はないってさ
ここで言う詳しいは客からのバグ報告を基にBtrfs側に修正パッチ投げられるレベルの話ね
0564login:Penguin
垢版 |
2022/09/16(金) 21:58:38.00ID:kHteBK8Y
それでいうと、RedHatはじゃぁ、「サポート」しているパッケージ、ソフトウェアは全部、その「詳しい」人が社内にいるのか・・・と思ってしまうのだが、そうなのか？
まぁあれだけのサポート料とるからには、そうなのかもだが。
0565login:Penguin
垢版 |
2022/09/17(土) 00:39:25.45ID:MKyVd3Sm
>>564
結構のカバー率でいるよ
XはカバーしきれないからWayland作ったし
PulseAudioも外から触れないからPipeWireを作った
RedHatはサポート出来ないなら代替プロジェクトを自前で立ち上げるくらい本気でやってる
0566login:Penguin
垢版 |
2022/09/17(土) 01:05:36.96ID:odAvhWZF
そんな話を聞くと Red Hat 好きになってしまうじゃないか。
0567login:Penguin
垢版 |
2022/09/17(土) 04:58:39.63ID:Fuq/3f9P
dockerの代替も作ってたな
0568login:Penguin
垢版 |
2022/09/17(土) 07:48:18.00ID:bk9onoJP
Podmanか。アイコンがかわいい。
0569login:Penguin
垢版 |
2022/09/17(土) 08:01:27.63ID:Qn7DNwb1
PodmanってRHなのか。ひょっとしてkubernetesと相性良かったり他に無い連携機能あったりするのかな
0570login:Penguin
垢版 |
2022/09/17(土) 08:52:56.30ID:/jdXCmzy
>>565
pulseaudio外から触れないってどういう意味？
0571login:Penguin
垢版 |
2022/09/17(土) 13:25:14.54ID:bk9onoJP
Podmanはkubernetesと直接の関係はないけど、buildahがOpenShiftと関係ある。
OpenShiftのコンテナのサポートはbuildahやDeploymentConfigなどのRH製で作ったもの以外は断られる場合がある、となってたはず。
実際は柔軟だと思うけど。
0572login:Penguin
垢版 |
2022/09/17(土) 18:26:31.06ID:VWuq5bLf
外部のボランティアが動かないせいで苦情を放置する訳にもいかないからね
特に複数ソフトウェアの相性によるバグは相手のせいにし合って永久に解決しないから
両方RHで管理してしまうのが一番手っ取り早い
0573login:Penguin
垢版 |
2022/09/18(日) 04:47:32.52ID:7cdIxJDp
dockerが将来性や互換性や内部のゴタゴタで揉めてたころ、redhatがコンテナ実行環境を掻っ攫おうとしたけどdockerがなんか復活して失敗したプロジェクトだろpodman
0574login:Penguin
垢版 |
2022/10/02(日) 07:20:03.97ID:4EGz31vy
それにしても最近のBtrfsの安定感は凄い。
Fedoraユーザーだから透過圧縮を有効にして数年使っているけど
全く不具合発生しなかった。
コミュニティでも不具合報告がないしデスクトップ用途なら実用レベルに達した気がする。
0576login:Penguin
垢版 |
2022/10/02(日) 10:09:03.49ID:4EGz31vy
カーネル4.xx時代には普通に使ってぶっ壊れた経験がある
0577login:Penguin
垢版 |
2022/10/02(日) 10:27:26.51ID:qpkp4YD/
RAID5と6だけは一向に進まんな。まぁ、使わないけど……
0578login:Penguin
垢版 |
2022/10/02(日) 10:32:03.81ID:vgUhfbS4
mostly OK: safe for general use, there are some known problems that do not affect majority of users
これとか、英語オモシロって読んだけど。
0579login:Penguin
垢版 |
2022/10/02(日) 10:35:50.11ID:MGDUtQ70
ZFSにLinuxとFreeBSDの独立したデータセットをつくってマルチブートしてるんだが
Linux使用後にFreeBSDを使うには一旦FBSDインストールメディアでimportする必要がある
この手間さえ無ければZFSになんの不満も無いんだよなあ
0580login:Penguin
垢版 |
2022/10/02(日) 13:25:43.40ID:wWzX4YlV
あとZFSはストレージプールからのデバイスの削除ができない。デバイスを誤って追加した場合でも、削除はできない。
btrfsは一応削除できる。削除しようとしているデバイス上のデータを他のデバイスに移動させる時間がかかるけど。

デバイスの削除ってあまり使われない機能なん？
0581login:Penguin
垢版 |
2022/10/02(日) 14:52:07.45ID:/bQPOp78
単純なストライピング(RAID0)の場合なら zfs remove でできるけど
0582login:Penguin
垢版 |
2022/10/02(日) 22:35:50.60ID:ToQkc5fj
正確には zpool remove ストレージプール ブロックデバイス
0583login:Penguin
垢版 |
2022/10/03(月) 10:14:47.82ID:WCTJZs5Z
ZFSで、別のマシンで同じpool名で使ってたディスクを同じマシンに付けた場合、どうやってimportするんでしょうか？
0584login:Penguin
垢版 |
2022/10/03(月) 11:11:57.84ID:GcIDZGw0
ちょっと質問文が紛らわしいので私なりに整理

マシン1にてtankというpool名でimportしていたZFSパーティション or ZFSアレイがあるとする
↓
マシン1をshutdownし、プールtankとして使用しているストレージをマシン2へ接続する
↓
稼働しているマシン2にてプール名はそのままにtankをimportしたい

こういう事なら実施命令は簡単
# zpool import -f tank
0585login:Penguin
垢版 |
2022/10/03(月) 12:22:12.91ID:lRZrkpv7
説明不足ですみません。
disk1: マシン1で tank として使用中
disk2: マシン2で tank として使用中
の状態で、
disk2 をマシン2から取り外し、マシン1に取り付け、importする方法、の意図でした。
目的はdisk2のtankからのデータのサルベージです。
0586login:Penguin
垢版 |
2022/10/03(月) 12:50:12.36ID:GcIDZGw0
こちらは仮想ストレージで構成を再現したものです
現在の構成はおおよそこんな感じという事ですかな
tps://i.imgur.com/lqqmoNP.png

ブロックデバイスの状態・予定サルベージ先ストレージ等不明かつ当方に時間の余裕が無い為
申し訳ございませんが実際のサルベージ手順は他の方のご回答をお待ち下さい
0587login:Penguin
垢版 |
2022/10/03(月) 12:55:56.27ID:GcIDZGw0
あ、違うな
マシンが２つあってzpool(非RAID)も２つあり、どちらもpool名がtankという事か
tank(disk2)の状態を提示し回答をお待ち下さいませ
0588login:Penguin
垢版 |
2022/10/03(月) 12:59:04.03ID:GcIDZGw0
状態の信憑性を高める為に、状態提示は端末エミュレータのスクショ貼りがおすすめです
0589login:Penguin
垢版 |
2022/10/03(月) 23:47:10.71ID:dtV7H3/+
ありがとうございます。
調べたところ、zpool import poolname newname でいけそうな感じでした。
仮想環境で試してみようと思います。
0590login:Penguin
垢版 |
2022/10/04(火) 08:26:10.23ID:bNT9y4ds
物理環境があってサルベージが目的なのに仮想環境で試すとはこれ如何に
0591login:Penguin
垢版 |
2022/10/04(火) 11:14:00.66ID:2+bfy/ol
物理には同じ名前のプールがあるから物理でやる前に試すってことじゃないかな？
0592login:Penguin
垢版 |
2022/10/04(火) 12:06:58.73ID:kn3LxMYm
やっぱzfsは駄目だな
時代はBtrfs
0593login:Penguin
垢版 |
2022/10/04(火) 12:49:05.71ID:2+bfy/ol
BtrfsからZFSに出戻ったわ
特にスナップショット使いが難くてダメだった
0594login:Penguin
垢版 |
2022/10/04(火) 18:34:25.31ID:ImjmuMcI
子データセット(Btrfsだとサブボリューム)がある時の一括バックアップの使い勝手は
ZFSに軍配があがるなー
0596login:Penguin
垢版 |
2022/10/05(水) 21:24:15.71ID:Be/Od0X6
いっつもパフォーマンス上がってるな
0598login:Penguin
垢版 |
2022/10/06(木) 18:08:03.26ID:avGMmg5J
Open ZFSの更新来てた(∩´▽｀)∩
0599login:Penguin
垢版 |
2022/10/09(日) 15:01:09.59ID:rXr5IkAi
zfsの実際のrecord sizeはいつ決まるのでしょうか？
ググった範囲では、record sizeは(dataset指定サイズの範囲で)動的に決まる、決まったあとは変更されない(再作成が必要)、と認識してます。
ファイル書き込みはwrite(2)やfwrite(3)で行われると思うのですが、全てのプログラムが大きなバッファを用意しているとは限らない気がしてます。
zfsにはwriteback用にtxgという領域があるようですが、非同期書き込みのreocrd sizeはtxgがflushされる際に決定されるのでしょうか？
(もしそうであれば、同期書き込みはfsync(2)時に決定？)
0600login:Penguin
垢版 |
2022/10/10(月) 12:36:41.47ID:aroMbFWo
NTFSクラスタサイズを後から変更するにはどのような方法があります？
フリーで探し手いるのですが、minitool や aomei無料版は非対応のようで。り
0602login:Penguin
垢版 |
2022/10/26(水) 21:27:04.04ID:4URvJJm4
Linux 6.2 Aims To Ship Updated Zstd Implementation
https://www.phoronix.com/news/Linux-6.2-Newer-Zstd

Zstd with Btrfs transparent file-system compression performance the decompression speed was "a small win across the board" and at lower compression levels the compression speed and compression ratio were both better than the prior kernel code.
0603login:Penguin
垢版 |
2022/11/07(月) 08:35:37.59ID:RMBZpOPP
暗号化鍵ってみなさんどう読み込ませてますか？
手入力だと強さに限界や起動時コンソール前にいる必要があると思うのと、何より面倒。。
かといって同じマシンに置くと平文になると思うので。
0604login:Penguin
垢版 |
2022/11/09(水) 22:33:21.52ID:KvH0BOKS
システムパーティションは暗号化せずにおいといて、盗まれたら困るデータだけ別のパーティションにおいてそこは暗号化している
起動したらSSH（SSHのサーバー鍵は「盗まれたら困る」には当たらない）して手でパスフレーズ入れて復号化
手入力の場合の強さの限界は、ストレッチングで多少は緩和される。
0606login:Penguin
垢版 |
2022/11/21(月) 19:44:06.85ID:yefmWMbF
これが本当の分散ファイルシステム
0607login:Penguin
垢版 |
2022/11/22(火) 13:05:00.91ID:gnE97F4D
概念的には昔からあるが今のインターネットじゃいろんな部分の性能保証がないから実用性がね
0608login:Penguin
垢版 |
2022/12/02(金) 13:21:39.17ID:lH0jw8OM
赤帽エンジニアブログ
2022-12-01
XFSで使った以上に容量が減るナゾ

リンク貼れんかったので
0610login:Penguin
垢版 |
2022/12/04(日) 16:07:29.87ID:Ye7QwRkv
Oracleは宗教上の理由でちょっと……
0612login:Penguin
垢版 |
2022/12/20(火) 11:30:51.92ID:0v1vCYwT
zstdもアップデートされて高速化されるみたいだし6.2は重要なアップデートになるな
0613login:Penguin
垢版 |
2022/12/20(火) 18:04:21.86ID:0v1vCYwT
exfatも6.2で速くなるみたいだな
0614login:Penguin
垢版 |
2022/12/20(火) 18:46:15.08ID:fyhGCDZv
6.1 が重要そうで、Debian のコードフリーズに間に合って喜んでいたんだけど...
カーネルだけならアップデートしてもほとんど失敗しないし、別にいいんだけど。
0615login:Penguin
垢版 |
2022/12/20(火) 22:50:57.03ID:de7d8g5m
昔はshutdown -rFでfsck走ったけどbtrfsは気にしなくていいの？
VMシャットダウンした時とかに気になって。
0616login:Penguin
垢版 |
2022/12/21(水) 00:04:24.39ID:qmUzV3jd
shutdownコマンドは古くて問題があったので廃止されてる
systemctlを使おう
0617login:Penguin
垢版 |
2022/12/21(水) 02:19:04.96ID:q6nimIuc
使ってるのだが...
0618login:Penguin
垢版 |
2022/12/21(水) 12:46:38.28ID:EhRPJEI6
今は大抵shutdownとかもsystemctlへのリンクになってるやろ
0619login:Penguin
垢版 |
2022/12/21(水) 12:57:38.99ID:q6nimIuc
ホントだ
shutdownとして呼ばれると適切に読み替えてくれるんかな?
# shutdown -r now
# shutdown -h now
0620login:Penguin
垢版 |
2022/12/21(水) 19:12:15.59ID:5YV/Phng
普通にpoweroffかrebootが1語で済んで簡単で良い
0621login:Penguin
垢版 |
2022/12/29(木) 08:21:21.62ID:TYlqFk7p
ファイル名の長さ制限なんとかならん?
0622login:Penguin
垢版 |
2022/12/29(木) 09:36:29.31ID:YrPvt7JI
前は制限あったけど、今もあるっけ？
0623login:Penguin
垢版 |
2022/12/29(木) 10:06:03.55ID:2nJ5CorQ
ファイルのダウンロード中にLinuxのext4ファイルシステムが突然クラッシュしてOSが動かなくなった。
保存先のディレクトリのファイルがすべて操作不能、削除不可能状態になった。
物理的な衝撃とかもまったくなく、突如として起こったトラブル。

再起動したらLinuxはうまく立ち上がらず、セーフモードに。
けっきょく再インストールするハメになったが、インストールに失敗する。
いろんなディストリを試したが、どのディストリでもインストール中にエラーが出て止まる。
インストールメディアの破損もなければ、HDDの破損もない。
DVDドライブも普通に焼くことができるのに。

こんなことがあるんだね。安定しているファイルシステムはなんだろうか。
0624login:Penguin
垢版 |
2022/12/29(木) 10:06:58.53ID:otCbGAW+
>>621
無制限なのはパス名の長さで、ファイル名はほとんどのファイルシステムで長さに制限があるはず
0626login:Penguin
垢版 |
2022/12/29(木) 10:33:59.58ID:ZePSKeUC
>>623

> こんなことがあるんだね。

ビジネスだと物珍しいレベルではないかな。
最近は出荷前検査の精度が上がってて初期不良減ってるから物珍しいレベルになりつつあるけど。

症状的には CPU/マザボ 故障が疑わしい。 その次はメモリ。
ドライブもファイルシステムも無罪だと思うわ。

つうか、ext4 ってまともなメンテナ居るのか？
ドライブ故障のトレンドに追随できてないファイルシステムは使うべきではないよ。
0627login:Penguin
垢版 |
2022/12/29(木) 10:58:58.47ID:ZDryYAQt
>>623
ZFSならsnapshotからロールバックで戻せるんじゃない？
0628login:Penguin
垢版 |
2022/12/29(木) 11:02:16.35ID:ZBJb5QBa
>>622
ext4が255バイトでNTFSが255文字（Unicode16）なんで困るんよ
vfsにハードコードされてるぽいんでダメだろうけどダメ元で聞いてみた次第
0629login:Penguin
垢版 |
2022/12/29(木) 11:16:06.03ID:Sx2YLUkq
流石に無知がすぎるだろ
ext4なんて現在進行系で開発されまくってるファイルシステムだぞ
あと絶対に壊れないファイルシステムは無いから
ext4よりbtrfsやzfsのほうが壊れにくくはあるけれど
0630login:Penguin
垢版 |
2022/12/29(木) 11:26:50.12ID:ZePSKeUC
>>629
本当に開発されまくって言えるか？
Red Hat 系使う奴は xfs ばかり使うし、その他のディストリも btrfs だったり。
ファイルサーバ製品もハード直結独自FSばかり。
ext4 は使われていない/充分なデータが集まっていないだろ。
0632login:Penguin
垢版 |
2022/12/29(木) 12:10:45.55ID:O8F+4wx8
ext4が使われてないってどこの世界線なんだ…
クラウドではほとんどext4だろう
0633login:Penguin
垢版 |
2022/12/29(木) 12:27:56.45ID:ZePSKeUC
>>632
amazon も ext4 やめて xfs でしょ？
0635login:Penguin
垢版 |
2022/12/29(木) 15:32:08.76ID:zAcLS6l6
ファイル名については昔Linusが255バイト制限緩めても今度は1MBじゃ足りないっていい出すに決まってるから対応しないって言ってなかったっけ
東アジア圏だとutf8で更に厳しくなったけど、今ならファイル名に長々情報持たせるほうが悪いって言われそうだしな
0636login:Penguin
垢版 |
2022/12/29(木) 23:22:37.08ID:yFWCe43l
英語圏の人は漢字圏特有の問題を理解しないからな
0638login:Penguin
垢版 |
2022/12/30(金) 13:20:02.61ID:9woIQjbF
OpenShift4 のPVはext4だった気がする。間違ってたらスマン。
0639login:Penguin
垢版 |
2022/12/31(土) 00:08:37.77ID:FTj3W6ps
>>638
デフォルトはね
設定で変えられる
0640login:Penguin
垢版 |
2022/12/31(土) 02:05:18.30ID:xELcB+Gr
linuxの文字数制限が不便でNASを使用しなくなったことがある
0641login:Penguin
垢版 |
2022/12/31(土) 12:09:04.56ID:P2xYG+Vx
ファイル名がUTF-16で記録されるexFATだとLinuxでも全角文字255文字フルに使えたからファイルシステムによるんじゃない？
0642login:Penguin
垢版 |
2022/12/31(土) 16:44:14.18ID:QpXj8X5v
fusuで実装されてるからでは？
0643login:Penguin
垢版 |
2023/01/03(火) 22:18:56.96ID:qEN3cyhG
>>639
なんと。。圧縮したかったのでbtrfsで圧縮出来ればいいなと思ってた。
RedHatだから無理かな。。
0644login:Penguin
垢版 |
2023/01/03(火) 22:25:23.88ID:wEpuZtJW
ログを延々と吐き続ける用途にbtrfsは向いてますかね？
CoWが邪魔したりしませんか？
0645login:Penguin
垢版 |
2023/01/04(水) 12:49:11.56ID:0uCFlsnQ
GpartedでUSBメモリをexFatでフォーマットしている途中で進捗が止まり、そのまま。
USBメモリがどうやら物理的に壊れてしまった。
PCに挿し込んでもそのUSBメモリだけがまったく反応なくなった。
Linuxのインストール途中で失敗しつづけている。

悪いこと続き。Linuxの神様に見放された模様。
0646login:Penguin
垢版 |
2023/01/04(水) 12:59:21.38ID:PQqENS/b
邪魔の意味は分からないけど、性能はともかくデータ化けとかの心配は無いのでは？
CoWが提供するのは堅牢性や一貫性確保だと思う。
CoWがダメならzfsにはログ保存できないことになってしまうし。。
0647login:Penguin
垢版 |
2023/01/04(水) 13:06:12.57ID:K9sTb1hf
ZFSはブロックレベルの重複排除だからCOWでも問題無いとかの話？
0648login:Penguin
垢版 |
2023/01/04(水) 13:10:20.00ID:xX40yDLp
ログファイルってコピーして使うか？
普通しないからCoWが邪魔はしないでしょ。
ランダムアクセスするファイルならRAIDで向き不向きあるけど
ファイルシステムで向き不向きはないと思う。
0649login:Penguin
垢版 |
2023/01/04(水) 14:17:37.35ID:n7gUnUO1
データベースやVMのディスクイメージみたいな1つのファイルを何度も上書きするパターンはCoWと相性が悪いと聞くな
当該ディレクトリのCoWを無効化すればいいけど、してもI/O性能が上がる程度で有効のままでも別に問題なさそう
0650login:Penguin
垢版 |
2023/01/04(水) 23:08:47.39ID:xX40yDLp
Btrfs の場合、CoW有効のファイルを書き込んだ後に以前書き込んだ部分を上書き
するとドライブ上ではそのブロックを上書きせずに別ブロックに書き込む動作をする。

「ファイルコピーしたファイルでのみそれが発生する」と思っていたがそれは俺の
勘違いで、実際は全ファイルでそれをやるってことか。

まあでもログファイルはシーケンシャルアクセスだから(ブロック単位の
上書きは発生しないから)CoWが邪魔しないことに変わりはなさそうね。
0651login:Penguin
垢版 |
2023/01/04(水) 23:43:18.43ID:FNVxHNKk
ログで質問したものです。
皆さんありがとう！
色んな考察が聞けてためになりますた。
VMはCoW無効にするのが常識とおもってて、
ログとかの追記も関係あるのかと思った次第です。
とりあえず何もチューニングせずに使おうと思います！
0652login:Penguin
垢版 |
2023/01/08(日) 00:55:03.06ID:fvHOPfXO
debianのtestingに降りてくるまで一月ほどかかるなぁ
0653login:Penguin
垢版 |
2023/01/12(木) 22:26:05.98ID:mpGk/a+b
ext4はシステム向け、xfsは倉庫向けと考えてok?
0654login:Penguin
垢版 |
2023/01/13(金) 08:54:10.86ID:7OCE97ZZ
どうしてそう思った？xfsデフォのディストリもあるが
0655login:Penguin
垢版 |
2023/01/13(金) 13:01:18.72ID:ZKf8B51+
大きいファイルなら速いけど壊れやすくメモリ食うのがxfs縮小もできない
ext4は逆
0656login:Penguin
垢版 |
2023/01/13(金) 23:06:07.68ID:0qCLEX6/
>>653
RHEL9 から dump/restore は OS に添付されなくなった。
何かあっても保守/問合せ対象外。
EPEL として残ってるから完全に対象外というわけではないだろうけど。
その観点でいうと ext4 はコンテナ向け、xfsは物理向け、なのかも？
0657login:Penguin
垢版 |
2023/01/14(土) 15:10:17.93ID:iY56yVZu
じゃあbtrfsはなに向け？
てかbtrfsはscrub定期的にしないとダメなの？
0658login:Penguin
垢版 |
2023/01/14(土) 15:54:59.93ID:V6u7C4fp
zfs にコンプレックスを感じる人向け、というのは冗談として
ext4 の後継と思っている。
0660login:Penguin
垢版 |
2023/01/14(土) 18:20:11.77ID:2OMLCN0j
>>659
草
BtrfsでNAS作られると（高機能すぎて売りが無くなるので）困るというのが伝わってくるw
0661login:Penguin
垢版 |
2023/01/14(土) 21:07:01.17ID:g3eX2Qbu
Linuxのファイルシステムはどれも一長一短で決め手にかける。「用途とか関係ない、これにしておけばまずOK」ってのがない。
ext4は大容量ドライブでfsckが遅く昨今の大容量なディスクドライブに作成するには向かない、
xfsはfsckは大容量ドライブでも問題ないが縮小ができないしメモリも食う、
btrfsはfsck不要、CoWなど「モダンなファイルシステム」とされるが、比較的新しいファイルシステムでやや心配がある、枯れていない、遅い。最近はまともになってきているが。
ZFSはライセンスの問題・・・

一方、選択肢が多いのは良いこととも言える。他のOSだって問題はいろいろあるし、OS、FSともに完全無欠のものはないけどね。
0662login:Penguin
垢版 |
2023/01/14(土) 21:16:49.66ID:rbIBgCNH
Debian系はデフォルトext4なのは何でだろ
0663login:Penguin
垢版 |
2023/01/15(日) 00:04:50.52ID:Ra9CuA6A
>>661
xfsって壊れやすいって本当？
なんかレガシな感じがして受け付けないんだよね。
そういやreiserfsはタイーホ後からどうなったのかね？
当時は先進的だったけど。
0664login:Penguin
垢版 |
2023/01/15(日) 00:57:20.31ID:U8aJCTCE
>>663
reiserfsは非推奨になってて2025年に削除される予定
0665login:Penguin
垢版 |
2023/01/15(日) 01:23:26.89ID:jySrgcCZ
ファイルサーバーにZFS使ってるけど安定してる
RAIDZ2組んでて一度HDDが一つ壊れたけど復旧も簡単だった
0666login:Penguin
垢版 |
2023/01/15(日) 06:15:01.79ID:q2QeSNOE
ZFSはARCが重いんだよな
LRUよりは効率的だけど計算量が多いわ
0667login:Penguin
垢版 |
2023/01/15(日) 08:13:26.23ID:SoJu/Q0J
>>663
xfsはCOW導入で安定性が落ちたという話は聞いた気がするけど、その続報を聞かないな。話題になってないってことは安定したのか、皆避けてるのか
0669login:Penguin
垢版 |
2023/01/25(水) 09:13:08.26ID:s6TfkC2/
圧縮ファイルシステムでおすすめを教えて
主にテキストのログをどんどこ吐きたい
0670login:Penguin
垢版 |
2023/01/25(水) 11:26:23.80ID:wEwhbV4v
btrfsかF2FSかな
ログ出力用途ならF2FSのほうが向いてそう
0671login:Penguin
垢版 |
2023/01/25(水) 15:47:31.31ID:EXync9nW
金持ってたらgpfs使いたいんだけどな
安定性は元々HPCやエンタプライズ向けだから折り紙付き
パスは255"文字"だしPOSIXで圧縮・暗号・ネットワーク共有・スナップショット・SSDキャッシュ等々
たいてい何でもあり、重複排除はあるのか知らんが
0672login:Penguin
垢版 |
2023/01/25(水) 17:35:43.32ID:wEwhbV4v
分散ファイルシステムならcephでよくないか
0673login:Penguin
垢版 |
2023/01/25(水) 18:44:15.18ID:YTKQNNVA
完璧ファイルシステムないよな
文房具みたいなもんでやりたいことがいろいろバラバラなんだろうな
0674login:Penguin
垢版 |
2023/01/26(木) 18:29:31.56ID:5ioFGUAk
当初から設計にも実装にも問題がなければ個人ユースではbtrfsがさいつよだったんだろうけどな
余りにも不具合が多過ぎた過去があって未だに怖くて使う気にはなれない
0675login:Penguin
垢版 |
2023/01/26(木) 21:02:06.47ID:2TRuZoTN
最近は不具合聞かんね
0676login:Penguin
垢版 |
2023/01/27(金) 05:54:54.78ID:xQJ6/CVG
btrfsだから不具合の噂が広まるみたいなところもあったと思う
去年か一昨年あたりにLinuxのext4がぶっ壊れてた時期があったけど別に広まってないし
0677login:Penguin
垢版 |
2023/01/27(金) 07:51:44.90ID:ZyeIUH9X
ext4とは頻度も不具合の数も全然違ってた
動画かスライドショーか忘れたけど当時のバージョンのbtrfsを意図的に壊す色々な手順を紹介してた
強引にじゃなくって長年使ってればそういうケースもあるだろうって手順だったからな
全員って訳じゃないが当時を知ってる人の多くは使い始めるのに躊躇するんじゃないかね
0678login:Penguin
垢版 |
2023/01/27(金) 07:58:31.41ID:7Jsb5HY4
みんなが寄ってたかっていじめ抜いて鍛え上げられたFSとかむしろ信頼できるという発想
0679login:Penguin
垢版 |
2023/01/27(金) 10:39:51.30ID:LqrORYKx
Copy-on-write のファイルシステムは、良い面もあるけど想定のパフォーマンス出ない時や、使わない方が良いケースを理解できたのは btrfs のおかげ。
0680login:Penguin
垢版 |
2023/01/27(金) 11:47:37.09ID:DOUGg5n2
cgroup v2に対応しているファイルシステムがbtrfsしかないからコンテナを厳密に運用しようとするとbtrfs使うしかないんだよな
Facebookがbtrfsを使ってる理由がこれだったはず
0681login:Penguin
垢版 |
2023/01/27(金) 12:48:20.39ID:BloaE25Y
ミラーリング対応してるファイルシステムはZFSとbtrfsくらい？
0682login:Penguin
垢版 |
2023/01/30(月) 16:25:27.84ID:Yst6JOSz
btrfsってもしかして面倒くさい？
空き容量少なくなってくるとSSDでもランダム書き込みが遅くなる
ファイル消してもメタデータが容量を食っている

btrfs使うなら定期的にbalanceしないとダメ？

倉庫用HDDなら、
ファイル圧縮
チェックサム
誤操作での削除防止や他ストレージへの差分バックアップにスナップショット

とかでbtrfs特有機能が生きてくる気はする
だがシステムドライブは安心と信頼のext4で良いんじゃないかと

あるいは、nodatacow使えば一つのパーティションで
非COWとCOWのファイルシステムの
両方のいいとこ取りが出来る？
0683login:Penguin
垢版 |
2023/01/30(月) 17:58:00.76ID:QsirhNqB
ファイル消して容量減らないのはメタデータなんかじゃなくて以前スナップショット切ったとか、コピー元ファイル残ってるとかだゾ。全く食わんとは言わないけどメタデータそんなに容量食わない。
空き容量減ってランダム遅くなるのはSSDってそういうもんだ。
/homeはスナップショットや圧縮がすげー生きるよ。
0684login:Penguin
垢版 |
2023/01/30(月) 21:39:58.49ID:3GnoYZPi
仮想ホストとゲスト両方共にbtrfsにしたのは失敗だろうか。。。
0685login:Penguin
垢版 |
2023/01/30(月) 22:09:54.52ID:BqpcEk1B
btrfs、ファイルを削除してからdfコマンドで見える空き領域が増えるのには少し時間がかかる
長いときでも5分とかだけどね

>>684
その書き方だと仮想マシンのイメージファイルもbtrfsのファイルシステムにあるのか？
仮想マシンのイメージファイルとか、データベースのファイルみたいなファイルをbtrfsに保存するときはCoW無効化しておくほうがよいぞ
0686login:Penguin
垢版 |
2023/01/30(月) 22:38:55.10ID:ljXAAj+j
半導体不足で納期が悲惨な頃にNASが壊れて、急場しのぎで作ったbtrfs+snapperが好評過ぎて今までズルズル使われてしまった。壊れるの嫌だから全くイジってなかったけれど、退役後に色々試すの楽しみ。kernel上げだけでも楽しみ
0687login:Penguin
垢版 |
2023/01/30(月) 22:59:40.33ID:3GnoYZPi
>>685
レスありがとう。
いちおうゲスト格納ディレクトリには
chattr +Cしてるけど、大丈夫かな。
ゲストの中身もbtrfsなんだよな。。。
NASとかでないのでオーバースペックだったかと後悔しそう。
新しいモノ好きだから飛びついてしまったよ。
0688login:Penguin
垢版 |
2023/01/30(月) 23:59:54.60ID:BqpcEk1B
ファイルを作成したあとにchattr +Cしてもダメやで
正しいやりかたはググって調べてね
0689login:Penguin
垢版 |
2023/01/31(火) 00:00:55.84ID:2mO0kE8y
おっと、空ファイルに対するchattr +Cは有効だった。詳細は調べてね
0690login:Penguin
垢版 |
2023/01/31(火) 11:32:18.48ID:f+A2MWdo
>>688
作成する前は良いということですね。
ありがとうこざいます。
これってディレクトリに対してのみでファイルには無効でOK？
0691login:Penguin
垢版 |
2023/01/31(火) 17:20:25.87ID:HmGFYeTA
>>690
ディレクトリに設定したら再帰的に適用される
0692login:Penguin
垢版 |
2023/01/31(火) 17:22:17.29ID:HmGFYeTA
>>691
間違えた
新しく作るやつは再帰的に適用される
0693login:Penguin
垢版 |
2023/02/01(水) 00:54:19.49ID:yopUQd5j
>>692
という事は別ディレクトリで作成したqcow2を+Cした
ディレクトリに持って行ってもダメかな？
よーわからん。
0694login:Penguin
垢版 |
2023/02/01(水) 03:51:07.30ID:tpP0IbWl
移動では+Cは付かない
コピーでは付く
移動してファイル個別に付けても良いけど
0695login:Penguin
垢版 |
2023/02/01(水) 03:53:43.37ID:tpP0IbWl
6.1がdebian testingに降りてきたぜ
0696login:Penguin
垢版 |
2023/02/01(水) 23:52:41.52ID:yopUQd5j
>>694
コピーね。ありがとう。
sparce=alwaysとかは必要ない？
何度もスマン。
0697login:Penguin
垢版 |
2023/02/02(木) 00:25:43.38ID:hcW9Z7Y7
pveをbtrfsのraid1でインストールしたら、2台のディスクに3つのパーティションができました。
raid1で動いているかどうか確認するコマンドってありますか？
filesystemはbtrfs fi dfで確認できるけどBIOS bootとEFI Systemが分かりませんでした

/dev/sda1 BIOS boot
/dev/sda2 EFI System
/dev/sda3 Linux filesystem

片方でPartition 1 does not start on physical sector boundary.が出てるので
いったんパーティション削除したいです(startが63でなく34なのが謎ですが)
0698login:Penguin
垢版 |
2023/02/12(日) 13:48:12.47ID:7Z1dKUR0
mkfs.btrfs -m raid5 -d raid5
mkfs.btrfs -m raid1 -d raid5

どっちで作る方が良いのかな？
最初後者で作ったけれど考え直して前者で作り直した。
検証しなきゃ分からないだろうしそもそも発展途上なので先々どうなるかわからないもんな。
0699login:Penguin
垢版 |
2023/02/12(日) 22:34:29.85ID:S/60aV97
ファイルごとに変更履歴を自動で管理してくれて個別に戻したりできるファイルシステムってある？
0700login:Penguin
垢版 |
2023/02/12(日) 23:26:51.65ID:dzVqQeMY
nilfsならできそう
0702login:Penguin
垢版 |
2023/02/13(月) 20:01:13.11ID:4TOJtyKq
メタデータやデータベースみたいにランダムアクセスするデータをRAID-5に
書き込むのは効率が悪いぞ？

例えばストライプサイズが 256KB で４本構成の場合、768KB のデータは256KB毎に
分割されてドライブA,B,Cに、パリティ計算結果はドライブDに格納される。
この状態でランダムアクセスで4KBだけ書き換えるとどうなる？

768KB中400KB目～403KB目までの4KBだけ書き換える場合、書き換えるのは
ドライブBの144KB目～147KB目までだけじゃないぞ。
ドライブDのパリティ256KB分も書き換えなきゃダメ。 RAID-1なら8KBで済む。

下手するとこれで済まないのが RAID-5 の困ったところ。
パリティ計算する際には768KB分メモリに無いと計算できないわけで
それがメモリキャッシュ上に載ってない場合はパリティ計算する前にドライブA,B,C
から256KBずつ768KB読み込みが発生するのよ。

加えてデータベースの、特にトランザクションログやファイルシステムのメタデータ
はロールバックの関係上非同期書き込みではなく同期書き込みが要求
されるので、書き込みを開始して完了するまでの応答時間が長いRAID-5は
相性最悪なんだわ。

わざわざデータ領域とは別の RAID で格納できるように設計されてるのは
そのためってこった。
0703login:Penguin
垢版 |
2023/02/13(月) 20:20:34.53ID:JTKPzsuw
>>702 ありがとう。
もうガッツリ -m raid5 のにデータ移してさっきお古のHDD群を物理的に破壊してしまったよ。。

>> ドライブDのパリティ256KB分も書き換えなきゃダメ。 RAID-1なら8KBで済む。

いやあ言葉がないや。わざわざ -m raid1を作ったのに作り直したのは、
「きちんと理解していないのに直感だけで小賢しいことするのは辞めよう」
と思ってのことだが、今度からは教えて貰えるチャンスあるうちは待つは。

まだ7.5TB利用なので、別機の2x4TBをraid0にすれば引っ越し→再構築→データ戻しできる。
暫くは放置するので、追加のアドバイスがあれば教えて貰えると嬉しいです。
0704login:Penguin
垢版 |
2023/02/13(月) 21:41:25.50ID:4TOJtyKq
>>703
ググったらマウント状態でも btrfs balance コマンドでデータもメタデータも
プロファイル変換が可能ってでるね
0705login:Penguin
垢版 |
2023/02/13(月) 21:44:39.92ID:JTKPzsuw
安全をみてデータ引っ越しはしときます。やっぱ変換するのが良いと自分も思います
0706login:Penguin
垢版 |
2023/02/13(月) 21:58:45.29ID:JTKPzsuw
>>699
snapperではダメ？
管理は個別ではなく全体だけれど
0707login:Penguin
垢版 |
2023/02/14(火) 22:15:27.73ID:zXFCtktD
btrfsのautodefragって効いてるのかどうか分かんない
新しく書いた所だけデフラグする？らしいけど
どれくらいデフラグされたか確かめる方法ある？
0708login:Penguin
垢版 |
2023/02/16(木) 11:21:23.54ID:/WojQc/b
btrfsのRAID6はいつになったらまともになるんだ
いつまでたってもzfsから移行できないじゃん
0709login:Penguin
垢版 |
2023/02/17(金) 09:48:18.19ID:uNGkbDLs
手動デフラグしてみたら空き容量が減ってしまった
balanceとかやってみるも
完全には戻らず
0710login:Penguin
垢版 |
2023/02/17(金) 18:25:31.71ID:AiQPR/Bg
共有されてるブロックが分離されるからそりゃそうよ
0711login:Penguin
垢版 |
2023/02/18(土) 00:56:42.19ID:aXHYSk4s
btrfs ムズくね
利用者少ないからかドキュメント限られてるし
hdd2台のrootfsをraid1で組んだ状態で試しに片方抜いたらブートがinitramfsで止まって手動でmountしようとするとuuidエラーになるし
0712login:Penguin
垢版 |
2023/02/18(土) 00:59:33.31ID:bx15a+Yc
片方死んでも稼働し続けられるのが売りなのにできないんじゃ意味ないじゃないかｗ
0713login:Penguin
垢版 |
2023/02/18(土) 03:13:01.06ID:A8aXfPDr
degraded付けてもだめ？
0714login:Penguin
垢版 |
2023/02/18(土) 07:18:25.82ID:tuV/P6l4
uuidエラーってことは設定が悪いのでは？
0715login:Penguin
垢版 |
2023/02/18(土) 07:40:47.96ID:A1++0POV
ルートにRAIDシステムを置くのは難しそう
対応しているOSに自動でやらせたほうが良いかもしれない
SUSEならbtrfsも対応してるかな
0716login:Penguin
垢版 |
2023/02/18(土) 09:06:35.90ID:DgURQKYs
自分も最初は同じように思ってSuSE試したよ。（3年くらい前）
サブボリュームの多さに面食らったので運用でのルートbtrfs化は見送った。

今のSuSEは知らないけれど、当時は自分で勝手に、
ルートは枯れたext4、作業領域はbtrfs.snapperの1hスナップ、
書庫はbtrrs.raidが楽で便利だと判断したので、身の回り全部似たような構成で使ってる。
0717login:Penguin
垢版 |
2023/02/18(土) 10:31:13.19ID:twWJoBAa
>>710
まじかー
もう失われた容量は戻らない？
0719login:Penguin
垢版 |
2023/02/19(日) 12:42:34.82ID:Tj6dSDxL
便乗質問だけども、btrfsのdeduplicaterって標準では無くて外部ツールとしては複数あって迷う
おすすめないですか
0722login:Penguin
垢版 |
2023/02/21(火) 15:15:05.49ID:OVQUFzCG
>>713
/etc/fstabにdegraded入れるだけだとだめみたい

>>714
raid1構成でbtfs filesystem showで見えるuuid(fstabにも記載済み)と片方HDD外してinitramfsで止まった時に表示されるuuidが違うのよ

>>715,>>716
PVE使おうとしてて、btrfs raid1でインストールすると/がraid1構成になるのよね
0723login:Penguin
垢版 |
2023/02/21(火) 18:46:40.18ID:AcBGErVl
そうなんだ。
btrfs.raid1の/がデグレードで稼働しないのなら、
実際に試したことないから知らなかったけれど、想定外で驚くな。

念のため重ねて聞くけれど、
mount -o degraded /dev/sd? /mnt/point
やってもダメってことだよね？
0724login:Penguin
垢版 |
2023/02/22(水) 14:40:39.18ID:4Tk2fUng
>>723
こんな感じでした
①initramfs起動した後にmountを打つと「none on / type rootfs (rw)」が表示されている
②①の後にmount /dev/sda3 /を打つとuuidエラーとなりmountで確認してもマウントされてない
③②の後にmount -o degraded /dev/sda3 /を打つとUnknown parameterと言われ失敗しているように見える
④③の後にmountを打つと①の表示＋「/dev/sda3 on / type btrfs…」と表示されてマウントできてるように見える
⑤④の後にcat /etc/fstabを見ても空ファイルで/がマウントされてないように見える
⑥exitでinitramfsを終了すると何か処理が走った文字列が表示され途中で止まる
0725login:Penguin
垢版 |
2023/02/22(水) 18:56:00.22ID:dGS8PrBY
>>724
>>マウントできてるように見える
こんなことになるんだな。ごめん僕には力になれない。

本当に余談だが、
自分は>>716の経緯でbtrfsを使い初めたので/のbtrfs化はしていない。
それでもkernelとbtrfs-progsは最新を追っている。まだ先駆的な技術だと思っているので。
自分らには/のbtrfs化はまだ早いのかも。とにかく力にはなれないがトラブル報告はありがとう。
0727login:Penguin
垢版 |
2023/03/01(水) 11:49:18.70ID:IHR5nPEA
ＮＡＳに超～～～長いファイル名を生成して何も出来なく成って焦った。
ドラッグ＆ドロップがダメ、ファイル名の修正もダメ、ツールもダメ。
コマンドプロンプトも「cd」はＵＮＣパスは設定出来ないからダメ。
ネットを検索したら光明が見えた。「pushd」というコマンドを使う。
このコマンドはＵＮＣパスでもＡドライブにするスゴイコマンド。
無事に自己解決できたでゴザル。ＦＡＱかもしれないが一応報告しとく。
0728login:Penguin
垢版 |
2023/03/01(水) 21:02:19.10ID:HRdkOpzu
コマンドプロンプト、UNCパスはダメでもネットワーク・ドライブに割り当てればコマンドプロンプトでcdできるのは有名だと思うが。
というか、cdにUNCパス食わせるとエラーでそう言われなかったっけ？
0729login:Penguin
垢版 |
2023/03/01(水) 21:15:14.10ID:/4LIBQ8q
>>727
ファイルをi-nodeで指定して扱う方法もあるよ。
大昔だけれど、日本語入力不可な接続環境で、
日本語のファイル|フォルダを扱いたくてこの板で相談して解決したことある。

全く関係ないけれど、
Linux板は年1回か2年に1回くらいしか自分はお世話にならなかったけれど、
たまたま前スレ見て何となく読んで書くのも何回かしてみて、ここは良いスレだわと思う。
0730login:Penguin
垢版 |
2023/03/02(木) 07:39:56.46ID:A4MiQ6bl
ネットワーク・ドライブに割り当てればコマンドプロンプトでcdできるのはＦＡＱ？
了解しました。我輩は初めて知ったでゴザル。ネット検索でヒットしなかったでゴザル。
ネットワーク・ドライブはルートの位置でしかマウント出来ないので不便でゴザル。
「pushd」ならＮＡＳの深い階層まで一気に指定してマウント出来るのでゴザル。
0731login:Penguin
垢版 |
2023/03/04(土) 19:54:33.50ID:/cxB8+Mt
gio コマンドは？やったことないけどネットワーク利用
0732login:Penguin
垢版 |
2023/03/04(土) 20:16:18.23ID:03rUzW7Y
ござるござるよ須藤君は
ゆかいな味方　rootでござる　rootでござる
0733login:Penguin
垢版 |
2023/03/18(土) 13:04:29.97ID:hp1PCPMP
外付けメディアをfstabに並べなくても/etc/udisks2/mount_options.confでデフォルトのマウントオプションを変えられることを今更知った
これでDOS/Windows系からファイルをコピーしてきたときに全部実行可能属性が付いちゃってるのを回避できる
0736login:Penguin
垢版 |
2023/04/13(木) 15:40:25.18ID:RqzzYhCs
何かしら原因で消せないんだろ
0737login:Penguin
垢版 |
2023/04/13(木) 23:50:17.42ID:50/6OciX
0 orphans left to cleanになってもずっとbtrfs-cleanerが稼働中
0738login:Penguin
垢版 |
2023/04/13(木) 23:58:52.05ID:evst9FMc
BTRFS不具合多すぎるんよ
ドキュメントもほぼ役に立たないし
異容量でRAID1組めるだけに留めときゃいいのに
0739login:Penguin
垢版 |
2023/04/14(金) 07:12:15.26ID:uRZfur5f
それ不具合なんか？
0740login:Penguin
垢版 |
2023/04/14(金) 12:54:39.07ID:zN9HcqpB
>>737
Linux 6.1系と6.2系だけで起きるっぽい
カーネルを5.15系に戻したら起きなくなった
バグ？
0741login:Penguin
垢版 |
2023/04/14(金) 13:26:16.55ID:WV9NkO8E
パターフェスで作成した ループバック イメージ 領域が壊れた
情報がなくて復旧は諦めた
ルプバック イメージで利用するのはあまり良くないのかな
0742login:Penguin
垢版 |
2023/04/14(金) 14:17:50.69ID:ll+le78X
>>740
再現性あるなら、報告したら直してくれそう
0743login:Penguin
垢版 |
2023/04/14(金) 23:09:39.69ID:UtE0U0oG
VM格納してる場合や書き込み多い場合nodatacowでマウントだよな？
0744login:Penguin
垢版 |
2023/05/02(火) 22:27:14.82ID:Tj/lxdtz
ZFS使ってる人いる？
用途どんな感じ？
優位性、どんなときに感じる？
0745login:Penguin
垢版 |
2023/05/04(木) 22:38:33.53ID:jZW3xhNV
コマンドがわかりやすくて短くて簡単で使いやすいところ好き
0746login:Penguin
垢版 |
2023/05/05(金) 16:13:04.21ID:4ru5QHhK
ZFS、proxmoxで暗号化mirrorで使ってる。
標準で暗号化、冗長化、snapshot、ファイルシステム(dataset)、ボリュームマネージャ(zvol)、CoW、全て一つで完結してるのが魅力。
メリット: 色々組合せる必要無くシンプル、柔軟な設定(ARC、L2arc、slog、special vdev)
(敢えてあげれば)デメリット: ライセンス問題、他よりマイナー、datasetの速度、CoWを外せない、かな。
0748login:Penguin
垢版 |
2023/05/18(木) 04:07:44.92ID:miq2544B
>>744
Hackintoshで使ってるOpenZFS for macos2.1.6
一種のゲーム的な面白さがあるのよ　

このフォルダはほぼ開かないから
圧縮設定強めにzstandard で高圧縮してコピーだとか
このデータベースだけSSDに多く食わせようとか　

xp時代のHDD先頭パテ切ってキャッシュにしたりするような
あれの延長上的な攻略的なゲームに
macOSの整理整頓軽の面白さが混じってて面白い
Spotlight面白すぎる

special vdevでメタデータとSmall BlockをべつSSDにする方法はないのか
0749login:Penguin
垢版 |
2023/05/18(木) 12:01:15.22ID:pqDKbYkL
返答の御礼も書かなかったバチが当たったようです


メインでWindows機を使っていて、USBケースで海門6TB(NTFS)使っていました。
1週間ほど放置したらノートPCの電池が切れてNTFSが飛び、chkdsk /f /rも無駄に。
0750login:Penguin
垢版 |
2023/05/18(木) 12:26:04.62ID:pqDKbYkL
無礼な行為、申し訳ございませんでした。
0752login:Penguin
垢版 |
2023/05/19(金) 19:42:36.15ID:OVp5aWkt
今時のファイルシステムって停電ぐらいで壊れる？
0753login:Penguin
垢版 |
2023/05/20(土) 01:43:56.19ID:f+BRu3lK
停電に見せかけたHDDの障害かもしれんんやで。
同じロットのHDD積んでいるんだろうな、と思われるものでマシンのが同時期に壊れるとか。
0754login:Penguin
垢版 |
2023/05/20(土) 13:26:23.98ID:tJIicwK0
ある時からぶっ壊れ状態となったが電源を切るまでは動き続け、
電源を切ったら再始動できなくなるというのはHDDの障害としてはありがち。
0755login:Penguin
垢版 |
2023/05/20(土) 14:49:07.18ID:x9c+lDqg
大分昔の職場で大型連休の度に全PCの電源を落としていたが
連休明けとかに何回か再起動を繰り返さないと立ち上がらないHP-UXが近くの部署にあった
開発な癖にそんな危なっかしい機体を放置してる部署もどうかとは思ってはいたがそれはともかく
一回スピンアップに成功すると正常に使えるように見えるって奴とかな
0756login:Penguin
垢版 |
2023/05/20(土) 15:30:50.35ID:BJ1BctDK
回転系の家電を叩くと治るというのもこれ
0757744
垢版 |
2023/05/20(土) 16:07:02.10ID:1mROoG1K
フリーソフトで、mp3の音楽ファイルが5つくらい復旧しました。
wmvファイルは、何故か全てが「信長の野望　戦国群雄伝 for Windows」からリッピングしたwmaファイルの断片群に化けていました…

chkdskなんて掛けないでUbuntuか何かのLive USBメモリで起動してマウントすべきだったのかも
0758login:Penguin
垢版 |
2023/05/20(土) 16:29:43.71ID:S1lvO3j3
バックアップ取ってから操作しようね
0759login:Penguin
垢版 |
2023/05/20(土) 17:13:57.50ID:ltXV8LvB
>>757
最後が違う。「マウント」しないのが正解。まず、OSを起動する前にBIOS/UEFIで問題のHDDが
表示されていれば認識しているので、Linuxを起動し、"/dev/sdX"とdevice fileとしてのみ
認識している(umountされた)状態で、以下の2つの方法を取ると、file復活の可能性が高まる。

・TestDisk (NTFSのMFT修復等のHDDの整合性修復。案外これで直ることも多い)
・GNU ddrescue (HDDの起動音から瀕死に近い場合。patition imageを別のdeviceに作成、
このimageをmountしてfile抽出を行う。物理破損がないHDDに多くの業者が取る方法がこれ)
0760login:Penguin
垢版 |
2023/05/20(土) 17:21:27.11ID:xJglHe8k
ワイでもできそう
0761login:Penguin
垢版 |
2023/05/20(土) 20:56:34.57ID:tJIicwK0
突然の電源断に対してはchkdskはそこまでおかしい選択肢ではない
一方でWindowsのコマンドラインのchkdskは、最近はほぼ放置状態（MSが改良を試みていない）という説もある

>>753が指摘しているように、本当に「突然の電源断」なのかっていうところもある
普通はノートPCはバッテリーが切れそうになったら休止状態とかに入るものじゃないのか
なのにHDD破損に至ってるのは、最初にHDDが故障して、OSも停止してスリープや休止に入れなくなり、バッテリーを使い果たしたのではないか？
0762744
垢版 |
2023/05/20(土) 21:06:45.56ID:ErTqN22p
chkdsk /f /r
の実行自体がダメだったのでしょうか
実行前にddrescue実行必須？？
0763744
垢版 |
2023/05/20(土) 21:11:00.52ID:e/EvVloM
>>761
OSはm.2 SSDに入っていて、今も問題なく起動できています。
SEAGATE ST6000DM003をケースに入れてUSB接続したまま放置したらNTFSが死んでいて、Windows 11のディスク管理画面ではrawという認識となっていました。
0764login:Penguin
垢版 |
2023/05/21(日) 11:17:54.87ID:avtWY8kE
>>762
マウントすると I/O Error 起こすセクタに当たった時にそこを読もうとして
延々エラーを繰り返すので I/O Error を読み飛ばす系の dd (ddrescue とか)
や chkdsk/fsck かが必要。

ddrescue は操作している間にディスクが完全にお亡くなりになるリスクへの対策。

今回の場合ディスクが完全お亡くなりになってない(ファイルが５個サルベージ
できた)ので ddrescue してもしなくても同じだった可能性が高い。

なので chkdsk は判断としては正解だった(chkdsk の前の段階で手の施しようが
なかったんだ)と思う(個人の感想です)。
0765login:Penguin
垢版 |
2023/06/04(日) 02:44:53.33ID:OYHe40au
単なる不意の電源断がその場であって
ダーティフラグ立ってるだけと確証があるなら
chkdskかける判断はおかしくないけど
大原則として論理的な障害ではなく物理障害が
少しでも疑わしいと思えたらその時点で
そのハードウェアに触れるのは
必要最低限に留めてかつ迅速に行うべきで
理想的にはddrescueなりで出来るだけ完全(に近い)複製を安全な場所に取ってから
そのイメージやらファイルやらだけを相手に作業をすべき

壊れたハードウェアの上でパーティション情報やファイルシステムの論理的なチェックや修正をかけても
まずその操作で余計に状況を悪化させてトドメ刺すだけだから少しでも疑わしければ安易にやっちゃいかん

ttps://wiki.archlinux.jp/index.php/%E3%83%95%E3%82%A1%E3%82%A4%E3%83%AB%E3%83%AA%E3%82%AB%E3%83%90%E3%83%AA
0766login:Penguin
垢版 |
2023/06/05(月) 12:27:24.59ID:absDUdye
そこまでする価値のあるデータならそうするが、大抵の場合は本人が主張するほどに大事なデータではないんだよなぁという感慨しかない
0767login:Penguin
垢版 |
2023/06/05(月) 18:41:18.77ID:u6qS2404
今日は私の宝物をご紹介しましょう。将棋の駒。何の変哲もないように見えますけど実はここに血痕が付いてるんです。
0768login:Penguin
垢版 |
2023/06/05(月) 22:11:48.33ID:ureuPiWq
>>766
そもそも壊れたストレージごとき相手に
奮闘してまでサルベージしないといけない時点で普段から予算も手間も割いてないのは明らかだからな
そこまで必死になるほど真に大事ならバックアップコピーでもRAIDミラーリングでも
なんでもいいから冗長化していて然るべきなわけでさ
0769login:Penguin
垢版 |
2023/06/13(火) 12:24:13.46ID:lDxtctI3
btrfs、破損とかは今のところ無いが
謎のフリーズの問題やディスク書き込み量の増加に悩まされた
ZFSに変えようかな
0770login:Penguin
垢版 |
2023/06/13(火) 12:38:20.13ID:w4ejhCXL
フリーズはまあ分かるけど書き込み増加はなんだ？
0771login:Penguin
垢版 |
2023/06/13(火) 13:36:32.93ID:7Qy6hdZY
RedHatが匙を投げたファイルシステムを使うんだからその辺りは覚悟すべき
0775login:Penguin
垢版 |
2023/06/15(木) 12:09:56.16ID:iqXU0Muf
CoWで書込減るのってどんなケース？？
0776login:Penguin
垢版 |
2023/06/15(木) 15:11:40.65ID:Z+lqZbOl
100MBのファイルをcpする場合
本来なら100MBの書き込みが発生するけれど
COWできれば共有で100MBの書き込みが省略されるので
本来の書き込み量に比べて実際の書き込み量は減るという意味なのでは
0777login:Penguin
垢版 |
2023/06/15(木) 15:15:45.67ID:k99mBPIK
変更されるまで実際には書き込まない
スナップショット的な動作を想定してるなら
CoWには限らない
0778login:Penguin
垢版 |
2023/06/15(木) 17:53:34.01ID:rJUVeeLq
ext4でcpしたら普通に書き込むやろ
0779login:Penguin
垢版 |
2023/06/15(木) 22:43:39.35ID:3807WRaz
なるほど。そういえばreflinkオプションあったのを忘れてた。
0780login:Penguin
垢版 |
2023/06/22(木) 18:18:22.21ID:tBmMKl6O
btrfsはやっぱりなんかあるのかな。
突然あるディレクトリ配下だけが全部サイズ0になってアクセスできなくなった。
でも、rootだと普通にアクセスできたから、とりあえずは復旧できた。
なんか気持ちが悪いんよね。
圧縮とサブボリュームが便利で気に入っているんだけど。
0781login:Penguin
垢版 |
2023/06/22(木) 19:27:01.68ID:uRZUK/qv
マウントの設定が書き換わってそう
0782login:Penguin
垢版 |
2023/06/28(水) 10:41:23.69ID:wJNVLCTf
Btrfsを使うならカーネルは常に新しくしておかなきゃね
古いカーネルでフォーマットしたBtrfsは不具合があるとかなんとか
0783login:Penguin
垢版 |
2023/06/28(水) 11:46:28.60ID:L4N4sWLK
カーネルに変えた時古いカーネルでフォーマットしたものはどうすればいいの
0784login:Penguin
垢版 |
2023/06/28(水) 11:56:03.93ID:8Cj153ze
そのまま使えばいいんじゃない？
新しいカーネルなら過去の問題は適宜検出してwarning出してくれると思うので。
0785login:Penguin
垢版 |
2023/06/28(水) 12:35:03.12ID:wJNVLCTf
そんな便利機能はないぞ
データを待避して再フォーマットするのが無難
0786login:Penguin
垢版 |
2023/06/28(水) 12:37:27.85ID:i0diXs6h
RAID6やZFS Z2がブッ壊れたときみたいらな
0787login:Penguin
垢版 |
2023/07/02(日) 15:26:16.54ID:mgIf5W3/
Btrfsを使うなら
FedoraかUbuntuの非LTSかローリングリリース系のディストリのどれかを使いたいね
それ以外だとしたらカーネルだけ最新にするキメラしないと厳しい
0788login:Penguin
垢版 |
2023/07/02(日) 15:42:56.86ID:ZRHaec83
カーネルの再構築ごときをキメラって…
0789login:Penguin
垢版 |
2023/07/02(日) 16:57:26.23ID:a8rTRfZG
極端に古いカーネルじゃなきゃなんともねぇぜ
0790login:Penguin
垢版 |
2023/07/03(月) 04:52:40.51ID:CmwYNL/n
Ubuntuなら新しいカーネル使えなかったっけ
0791login:Penguin
垢版 |
2023/07/03(月) 06:54:34.07ID:wpfzXeqf
Linux カーネルならどのディストリビューションでも簡単に最新にできるだろ。
バニラカーネルでコンパイルエラーになる事無い気がする。
0792login:Penguin
垢版 |
2023/07/03(月) 08:30:03.69ID:uA4NxAHI
Btrfsはカーネル上げてもいいけど戻すのはリスキーだから
公式で新しいカーネルを提供しているディストリのほうがいいよ
0793login:Penguin
垢版 |
2023/07/03(月) 09:50:48.58ID:RRoYTlzt
最近バニラカーネル触ってないから知らんけど、BuildPreReq情報は同梱ドキュメントに必ず書かれてたぜ
外す理由がないから、今もあるはず
0794login:Penguin
垢版 |
2023/07/03(月) 09:55:08.11ID:zIlPSEd4
>>792
aptならholdしておけば良い

sudo dnf exclude <パッケージ名>
でどうにか出来るみたい
arch系は知らん
0795login:Penguin
垢版 |
2023/07/03(月) 14:26:54.52ID:89+QS2OW
btrfsの話ならディスク上の基本フォーマットは長らく変わってないし
カーネルバージョン間での非互換機能はあるけどそれも使うと個別に非互換検出ビットが立つから
古いボリューム相手でも(後から操作できる物なら)新機能は問題なく使えるし
もし新しいカーネルのみの機能を持つボリューム相手に
古いカーネルでマウントしようとしてもroのみあるいはマウント不可になるので安全

実際にzstd圧縮やspace_cache=v2が入る以前の4.4(ルーター)と6.3(PC)の間で
compress=lzo,space_cache=v1で双方にマウントしたり戻したりしてるけど何の問題もないよ
0796login:Penguin
垢版 |
2023/07/03(月) 19:00:31.26ID:HL82Z5Qd
最近のTwitterで顕著だけど故意にフェイクニュース流してる奴結構いるよな
『騙されてやんの～』という◯ナ二―の一種なんかね
0797login:Penguin
垢版 |
2023/07/17(月) 22:40:10.74ID:Je/0Hij9
あとはオンボロSSDやSDカードでssdオプション有効にすると動作怪しくなるのと
ライトホール問題絡んでくるRAIDが怖いがそれらの点以外は便利なんだよなbtrfs
VMゲストしたときの性能についてはあきらめてLVM等使うかvirtiofsの今後に期待するって話で落ち着きそうだし

でもサブボリューム単位で透過圧縮やCoWの有無切り替えられないのは誰か何とかしてほしい
（ボリューム分けるって方法もあるが単一ボリュームで気軽にマルチデバイスできるのが本来の強みなのだし）
0798login:Penguin
垢版 |
2023/08/03(木) 11:45:45.74ID:dhkK29LG
www.phoronix.com/news/XFS-Maintainer-Steps-Down

> XFS File-System Maintainer Stepping Down

XFSのメンテナが辞任

> Nowadays, people working on XFS seem to spend most of their time
> on distro kernel backports and dealing with AI-generated corner
> case bug reports that aren't user reports. Reviewing has become a
> nightmare...

AI生成のバグレポに延々対処する仕事か
まさに悪夢
0799login:Penguin
垢版 |
2023/08/03(木) 17:02:05.88ID:q/P9l3yV
疲れただけにも読めるけどAIが悪い？
0800login:Penguin
垢版 |
2023/08/07(月) 03:43:34.79ID:sl53biTi
AIがバグレポって何だろね
有意義なレポートじゃないなら選別AIで対抗だ
0801login:Penguin
垢版 |
2023/08/07(月) 16:11:58.52ID:kx1CvaiP
ランダムに変な負荷かけたり
1秒間に1000回マウントとアンマウントを繰り返したりするんだろう多分
時代はBtrfsなのにやってられんよな
0802login:Penguin
垢版 |
2023/08/07(月) 17:10:45.37ID:UfPJft9p
スタックトレースで分類したら実質数個じゃないのかね
0803login:Penguin
垢版 |
2023/08/08(火) 18:58:58.54ID:p601nbQW
ファジングテストの事でしょ…と思ったが多少違うっぽいな
AIが生成しまくるコーナーケースのバグレポートに疲弊したって話っぽい
まぁXFSは赤帽の生命線なんだから問題起きても赤帽がなんとかしてくれるんじゃない？
0804login:Penguin
垢版 |
2023/08/08(火) 19:01:17.00ID:TS/nSBMX
修正パッチもAI生成出来るようになるまであと一歩
0805login:Penguin
垢版 |
2023/08/08(火) 19:17:01.15ID:3W4UAIfD
>>803
なんかJFSがいいよ、っという神の声が聞こえた気がした。
ext4 と比較して利点も欠点もないはずたが、Linux での採用例が少ないという大きな欠点。
0807login:Penguin
垢版 |
2023/08/09(水) 15:45:58.33ID:CzBgG1A0
>>805
Linux Developers Eye Orphaning The JFS File-System

www.phoronix.com/news/Linux-Possible-Orphan-JFS

もう使ってる人いないしJFS捨てようみたいな話が出てる
0808login:Penguin
垢版 |
2023/08/09(水) 16:06:10.92ID:t3DTDYXA
マイナーなファイルシステムってマトモにメンテされてないし不具合あっても報告されないし使わないほうがいいよ
0809login:Penguin
垢版 |
2023/08/09(水) 16:18:32.46ID:M/z4SoOm
AIX, OS/2 では動いていて30年前はいいもの感もあったはず...
0810login:Penguin
垢版 |
2023/08/09(水) 17:19:22.43ID:xh6A1oH/
RHELで採用されてないということはメンテされていないということに等しい
0811login:Penguin
垢版 |
2023/08/09(水) 18:13:24.21ID:+nr5wDrM
FacebookってCentOSで動いてるらしいけどファイルシステムはbtrfsなんだよな
0812login:Penguin
垢版 |
2023/08/09(水) 18:54:14.67ID:BKxgttZ4
ext4もオワコンなのTT
0813login:Penguin
垢版 |
2023/08/09(水) 19:31:12.63ID:M/z4SoOm
>>810
そう考えるとRHは凄いんだな、と思いました。
0814login:Penguin
垢版 |
2023/08/09(水) 19:49:45.32ID:xh6A1oH/
Btrfsは事実上facebookがメンテしてるからね
自社でメンテしてるファイルシステムだから採用しやすい
0815login:Penguin
垢版 |
2023/08/09(水) 20:20:43.57ID:MStot6iX
>>812
オワコンというよりいい具合に枯れきった
ファイルシステムになった感じ
先進性より安定性が必要な用途でお呼びがかかる
老兵っぽいイメージ
0816login:Penguin
垢版 |
2023/08/09(水) 21:06:48.18ID:t3DTDYXA
SUSEもbtrfs使ってるぞ
0817login:Penguin
垢版 |
2023/08/09(水) 22:04:09.03ID:9gexIL31
もちろん頼もしいのが第一だが、
逆に言えば現メタ（だけじゃないが）の使用してるユースケースに沿わない使い方に関しては中々進歩しないのが弱点だと思う
RAID56が長い間ダメダメだったのやFS単品での暗号化や階層キャッシュが望めないのもDCでbtrfs使ってる処がそういう機能に興味もってないからだろうし
0818login:Penguin
垢版 |
2023/08/11(金) 07:10:18.88ID:PKaGesv1
RAID5/6 でのバグは直ったのか？
家庭用では無い構成だから関係ないと思ってはいたけど。
0819login:Penguin
垢版 |
2023/08/11(金) 15:02:10.75ID:gMoSz8Vl
治るもクソも根本的なライトホール問題があって、ディスク追加の扱いが悪い意味で柔軟なBtrfsは対処が難しいからメンテ側が乗り気じゃないって話じゃないかな
現状は最新カーネルかつメタデータのraid構成を別にすれば良いけど実績も脳死で使える安心感も皆無だし

とはいえ主流のハードウェアraidはデータ化けに弱いんだからチェックサム有りfsで安心して使えるraidがもっと一般化してほしいお気持ちもある
0820login:Penguin
垢版 |
2023/08/11(金) 18:09:59.08ID:sG2VRRL/
Btrfsのディスク構成の緩さは異常。なんでもかんでもストレージプールに合体できる
0821login:Penguin
垢版 |
2023/08/11(金) 20:00:03.37ID:I1R13U0l
自分はbtrfs嫌いじゃないから不満はないがSSD最適化とか将来的なZonedStorage対応考えるとほかに選択肢なくなっていきそうなのは真剣にどうかと思う
0822login:Penguin
垢版 |
2023/08/11(金) 20:41:36.59ID:R8sdUFxz
ストレージプール使うと遅くならない？
5400rpm のHDDが悪いのかもしれんし、比較で測定もしてないけど。
0824login:Penguin
垢版 |
2023/08/11(金) 20:59:56.03ID:TYuMCrmq
HAMMERって広まらないな。
0825login:Penguin
垢版 |
2023/08/11(金) 21:06:57.89ID:sG2VRRL/
bcachefsの作者を毎月支援してたんだけど、Btrfsがすっかり良くなって支援止めちゃった
0826login:Penguin
垢版 |
2023/08/11(金) 21:13:25.37ID:LiM6QNme
OSSって上位互換が登場すると一瞬で廃れるから辛いよね
VSCodeが登場してエディタ系が全滅しちゃったような事がいつでも起こり得る
有料製品みたいに価格で対抗することもできないし
0827login:Penguin
垢版 |
2023/08/12(土) 02:11:14.13ID:CUhGvmvA
bcachefsは機能的にはBtrfsと差別化できてると思うが
これからメインライン入りしてガンガン開発者集めて安定させないといけないのにlinux6.5マージ失敗のMLのレスバからして雲行き怪しいからどうなるやら
0828login:Penguin
垢版 |
2023/08/23(水) 10:17:38.29ID:Z1oeJl5c
プロプラに言うのはアホだと分かってはいるが
それでもGPFSがフリーで使えたらなあって思う
あれクラスタリングがメインだから勘違いしてる人多いけど
CephやRustreと違ってローカル使いにも適してると思うんだよなあ
使ってるZFS全部捨ててGPFSに乗り換えたいと思うぐらいには
0829login:Penguin
垢版 |
2023/08/23(水) 13:29:05.81ID:r3sixzFM
juicefsとか使ってみたら
現代技術の分散ファイルシステムって感じだ
0830login:Penguin
垢版 |
2023/08/26(土) 23:56:49.75ID:si6bfGjt
GlusterFS面白いな。
簡単な手順で組める。
我が家のはストライピング構成だから怖いけどw
0831login:Penguin
垢版 |
2023/08/27(日) 00:05:46.78ID:pseOgDNm
特殊なRAIDを組まない限りは全部Btrfsで成立する時代になった
0832login:Penguin
垢版 |
2023/08/27(日) 11:11:37.95ID:uktDXYY0
Redhatがまたbtrfsに戻ってくるってある？
0833login:Penguin
垢版 |
2023/08/27(日) 12:18:39.13ID:PR/CoOyy
Fedoraでbtrfs使ってるしRHEL10のデフォルトに採用しても驚かない
0834login:Penguin
垢版 |
2023/08/27(日) 14:35:23.84ID:pseOgDNm
顧客の要望があれば導入するでしょ
RHELにとっての一番の顧客ってどこなのか知らんが
0835login:Penguin
垢版 |
2023/08/27(日) 16:27:11.11ID:YnC5/bGq
RHELも将来的にはcow/cor対応のFS導入するだろうけど
自前の製品群がXFSに特化してそうだから簡単には変えられないだろうしまずはGPLの取り扱いの件何とかすべきだろうなあ
0836login:Penguin
垢版 |
2023/08/28(月) 20:03:29.10ID:G62eI9B5
今の Red Hat は Spectrum Scale (GPFS) 販売している IBM が上にいるから
フリーのファイルシステムに積極的には投資はしないでしょ。
メンテに金のかかる多機能なFSじゃなくてXFSを細々とメンテするだけじゃないかな。
0837login:Penguin
垢版 |
2023/08/28(月) 21:03:25.04ID:iZDgPe4W
IBMがJFS押し付けてきたりして
0838login:Penguin
垢版 |
2023/08/28(月) 22:34:50.78ID:0S8N8ier
Btrfsはパフォーマンスがちょっとね。
現状BtrfsはZFSにもボロ負けだからな。
Linux6.5でどの程度改善されるか。
あと、暗号化機能がずっと先送りされたまま。
0839login:Penguin
垢版 |
2023/08/28(月) 22:44:42.41ID:qK84yeuR
暗号化は導入するだけでなく高度なセキュリティ検証が必要だからハードルは高いよ
ZFSの暗号化は第三者機関でセキュリティ検証してるのかな
0840login:Penguin
垢版 |
2023/08/28(月) 23:13:08.33ID:AtYIGZfm
GFS入れたけど遅いw
設定は簡単だからVM置き場ではなく普通のストレージにしたよ。
やっぱ専用機が一番だな。
0841login:Penguin
垢版 |
2023/08/28(月) 23:52:08.72ID:VOEduRz2
一口に暗号化っつーてもh/w込みなのかデバイス単位なのかボリューム単位なのかで勝手違うからこういうのは特定の製品持ってる企業がガンガン進めないときついところある
しかし今時ノートpcみたいな要件だと流石に外せない要素になりつつあるからぼくのかんがえたさいきょうのソリューションが欲しいんだよ
0842login:Penguin
垢版 |
2023/08/29(火) 00:15:49.10ID:plGc1vmm
暗号化LVM使えば暗号化自体は可能だし
セキュリティ関係で厳密なテストが必要な重い作業の割には
新規に何かを実現できるわけでもないから優先順位は低いでしょう

一度導入したら最後、脆弱性がでるたびに最優先で修正が必要になるし
0843login:Penguin
垢版 |
2023/08/29(火) 10:06:23.79ID:MCVzj3AF
ZFS mirror、SATAケーブルの差し込み不良でエラー出たけどちゃんと一基で動作して再起動も無停止。
ケーブル直したら変更分だけresilverしてすぐ復旧。今更だけど感動。
0844login:Penguin
垢版 |
2023/09/01(金) 09:42:36.11ID:mxVVj1pR
ReiserFS Officially Declared "Obsolete"

www.phoronix.com/news/ReiserFS-Obsolete

R.I.P.
0845login:Penguin
垢版 |
2023/09/07(木) 16:11:28.79ID:7YbGerrn
再インストールの機会があったのでここ見てcompress-force=zstd:1にしてみた
だいたい良好だけども、m属性やproperty set compression noneも無視して圧縮するかどうかはzstdの判断のみなんだな
0846login:Penguin
垢版 |
2023/09/08(金) 12:28:17.09ID:NWED9HrM
bcachefsメインライン入り諦めたっぽい？
作者も開発リソース不足や取り巻きの礼賛で冷静さ失ってそうだし、10年とは言わず数年後くらいに平穏な形で再チャレンジ出来るといいなぁ
0848login:Penguin
垢版 |
2023/09/08(金) 17:32:16.74ID:PGoi6aw5
TPMはプロ相手にはセキュリティ上の追加効果は殆どないのに
一般のユーザーはデータを救出不可能になるリスクが増すというデメリットばかりの代物だぞ
0849login:Penguin
垢版 |
2023/09/08(金) 21:12:29.39ID:vmuHLOjm
パフォーマンスの問題が解決するんとちゃうの？ソフト暗号複合が遅いから暗号化しないユーザーたち
0850login:Penguin
垢版 |
2023/09/09(土) 01:07:26.32ID:PNSm0HJB
この場合はパスワード入力不要でTPMだけでディスク暗号化する機能が追加されるという話のようだ。
外部から自分でデータを救出したいときにトラブルになる未来しか見えないが。
0851login:Penguin
垢版 |
2023/09/09(土) 01:43:47.21ID:vYEfIx3n
結局俺は次もext4+lvmにしてしまいそうだ orZ
0852login:Penguin
垢版 |
2023/09/09(土) 02:09:12.37ID:5+XaQjmS
Btrfs+zstd:1にしようぜ
容量が想像以上に圧縮できて驚くよ
0853login:Penguin
垢版 |
2023/09/09(土) 04:46:22.67ID:hrjGdPZn
今時容量不足で苦しむことなんてそんなに無いでしょ。
0854login:Penguin
垢版 |
2023/09/09(土) 11:29:43.96ID:OSz4dSUY
一般的なpcとディストリで気軽に使えてプロ相手にも十分通用する暗号化ってなんだろう・・・
0855login:Penguin
垢版 |
2023/09/09(土) 11:44:53.10ID:WW7jheGz
>>852
zstd安定してる？
0856login:Penguin
垢版 |
2023/09/09(土) 11:46:05.74ID:2Ydxc51k
>>851
スナップショットのあるファイルシステムいいよ
いつでも全ファイルの差分が見えるし、バックアップ取るときもまずスナップショットを取ってそっちを対象にすれば
メインボリューム側では整合性期にせず作業続けられるし
0857login:Penguin
垢版 |
2023/09/10(日) 20:15:54.59ID:qbFiXkWo
>>855
Fedoraのデフォルトになって数年が経過しているから安心していいよ
0858login:Penguin
垢版 |
2023/09/11(月) 02:37:28.23ID:wx5vSnGw
Btrfsの透過圧縮でわざわざ標準外のレベル設定するのってだいぶ特殊用途なんでは…？
0859login:Penguin
垢版 |
2023/09/11(月) 03:42:15.33ID:MkIBph5P
Fedoraチームがベンチマークを取ってzstd:1がベストと導き出したんだよ
0860login:Penguin
垢版 |
2023/09/11(月) 13:07:53.88ID:/MP3rsEl
5年以上 zstd で btrfs使ってたけど自分は問題無かった。
今はZFSでzstd使ってるけどこっちも問題ないよ。
0861login:Penguin
垢版 |
2023/09/11(月) 19:21:26.09ID:ZukU+m1D
>>860
btrfsからzfsにした理由とかある？
0863login:Penguin
垢版 |
2023/09/12(火) 12:45:23.11ID:DJarWrt9
純粋なストレージプールが欲しいならzfsやcephあたりで良いんだろうが
仮想化ゲストならvirtiofsが主流になって使いやすくなってほしいなぁ
0864login:Penguin
垢版 |
2023/09/12(火) 18:21:03.24ID:0x45b9Fv
>>862
サンクス
0866login:Penguin
垢版 |
2023/09/14(木) 10:19:35.59ID:jRzDDQU8
ZFSはライセンス問題がある限りスタンダードにはなれんのだ
0867login:Penguin
垢版 |
2023/09/15(金) 07:17:41.88ID:9NGXdfca
CDやBDだったら中がぐちゃぐちゃでもそれ片付ければ済むんだよ
焼くこともできない惨状
0868login:Penguin
垢版 |
2023/09/17(日) 15:12:43.80ID:FJ1uJcgU
VDOつこうてる人おる？
0870login:Penguin
垢版 |
2023/09/21(木) 00:41:07.75ID:1UlvRSU1
結局またext4+lvmにしてしもうた
0872login:Penguin
垢版 |
2023/09/21(木) 05:49:42.91ID:WSpKvFxh
もはやBtrfs以外は使わない理由を説明する必要があるレベル
0873login:Penguin
垢版 |
2023/09/21(木) 06:44:23.64ID:JX0mQUyS
btrfs難しいよ
どういう使い方が標準なん?
0874login:Penguin
垢版 |
2023/09/21(木) 06:46:05.83ID:WSpKvFxh
zstd:1で圧縮して時々スナップショットを取る使い方が標準だよ
バックアップを一瞬で取れるから派手にファイルを扱える
0875login:Penguin
垢版 |
2023/09/21(木) 08:27:56.37ID:d6nf5QMj
>>874
いうても同じボリュームにスナップショット取ってるんやろ？
0876login:Penguin
垢版 |
2023/09/21(木) 09:00:06.23ID:XANLv9rm
スナップショットとバージョン管理は根本的に似てるような気もする
gitとbtrfsで何かfusionできないかな
0877login:Penguin
垢版 |
2023/09/25(月) 09:30:13.85ID:QR7gQC+U
言われてみると rsybc の差分バックアップで間に合うような気もする
0879login:Penguin
垢版 |
2023/09/25(月) 11:47:16.97ID:zugjyJ6O
俺は2005年くらいから毎日差分バックアップしたhomeディレクトリがある
当初はpdumpfsで途中からrsyncを使ってとったもの
つまりファイルに差分がなかったらハードリンクにして容量増加が抑えられる
ファイルとかハードリンクとかは当時から何も変わらないからまだ使えるんだけど
その下のストレージもfilesystemも開始した当時とは全く変わってしまった
0880login:Penguin
垢版 |
2023/09/25(月) 12:27:36.70ID:VredknRB
普通の差分バックアップとBtrfsなどのスナップショットの違いは
ゴミ箱に放り込んだ後の挙動だね。
普通の差分バックアップは一応次のバックアップまでは容量が回復するけど
Btrfsのスナップショットだと、一度でもバックアップをすると
以降はファイル削除で逆に空き容量が減ったりという奇怪な挙動になる。
0881login:Penguin
垢版 |
2023/09/25(月) 20:33:53.95ID:Dj8vE3f6
言いたい事は分かるがワケワカメ
0882login:Penguin
垢版 |
2023/09/25(月) 20:39:38.85ID:Vkv0J98F
スナップショットそのものをバックアップとして運用するんじゃなくて
スナップショットで瞬間を固定したものを別の物理ドライブにバックアップするんやで
使用中のデータをバックアップするよりも整合性の心配をしなくてよくなる
0883login:Penguin
垢版 |
2023/09/25(月) 22:01:01.77ID:LfNnJKFD
>>882
それ、スナップショットを別の物理ドライブに取ればええんでないの？
0884login:Penguin
垢版 |
2023/09/25(月) 23:48:55.49ID:ism+fxM1
スナップショットの仕組みがわかっていない奴だな
0885login:Penguin
垢版 |
2023/09/26(火) 08:02:57.35ID:KG56oHdj
昔使ってたストレージを思い出した。
データベース停止→同期ディスク切り離し→データベース起動→切り離したディスクからバックアップ→ディスク同期
データベース停止から起動まで5分だけど、バックアップは10時間とか。
0886login:Penguin
垢版 |
2023/09/26(火) 10:11:45.59ID:xrfmLA6d
スナップショットはバックアップではないと何度言えば解るのか
0887login:Penguin
垢版 |
2023/09/26(火) 14:50:45.20ID:VjKOh95q
RAIDだってバックアップじゃないぞ！＞昔の俺
0888login:Penguin
垢版 |
2023/09/26(火) 16:02:18.97ID:rwEhTV2J
スナップショットも全部別ボリュームにバックアップや
0889login:Penguin
垢版 |
2023/09/26(火) 16:33:00.89ID:ConcCYWM
俺はスナップショットを使ったことないんだけど
スナップショットってある時点のファイルシステムの状態を
保存できるというので良いのかな?
スナップショットってのは何回も取れると思うんだけど
するとこれらをバックアップしようと思ったら
他のストレージに複製する必要がある
それはフィルシステム階層でやるのかな? 複製されるのはフィルシステムのイメージ?
それともその上のcpコマンドとかrsyncでファイルとして複製するのかな?
0890login:Penguin
垢版 |
2023/09/26(火) 16:59:03.54ID:UEtMMw78
バックアップ=一世代保管
の人には何でもよくね？
0891login:Penguin
垢版 |
2023/09/26(火) 17:08:21.03ID:ConcCYWM
複数世代保管する場合は?
0892login:Penguin
垢版 |
2023/09/26(火) 17:24:21.77ID:eeSFYOQt
物理的な破損に対する対策をしたいのかデータ的な破損に対する対策がした以下によるでしょ。
よほどのことがない限りは通常利用でSSDが物理的に破損するなんて無いからスナップショットで十分だよ。
0893login:Penguin
垢版 |
2023/09/26(火) 17:29:06.04ID:ConcCYWM
>>892
>SSDが物理的に破損するなんて無い
そなの?
0894login:Penguin
垢版 |
2023/09/26(火) 17:38:57.68ID:CutUCQeF
熱で歪んではんだクラックすることはあるよ
基板を使った全ての電子機器に言えることだけど
0895login:Penguin
垢版 |
2023/09/26(火) 18:24:20.13ID:/zVjMShk
>>892
物理的な破損じゃなくてもコントローラーのバグでデータ消失とかあるだろ。SanDiskとか。
バックアップは物理的に分けるのが基本。
0896login:Penguin
垢版 |
2023/09/26(火) 18:24:39.08ID:HY18Phw2
＞それともその上のcpコマンドとかrsyncでファイルとして複製するのかな?
そうだよ、スナップショットをマウントして、ファイルを「別の場所に」コピーしてはじめて正当なバックアップと言える。
これらの手順を簡略化できるsend/recvコマンドが用意されていて、
こっちの方が効率いいし、メタデータも丸ごとクローンできる。
0897login:Penguin
垢版 |
2023/09/26(火) 20:50:59.15ID:ConcCYWM
>>896
>そうだよ、スナップショットをマウントして、
なるほどね
俺はrsyncで良いや
夜中に寝てる間にやるから問題なし
0898login:Penguin
垢版 |
2023/09/26(火) 21:55:48.96ID:TWM10f36
/をスナップショット撮ってその領域を別筐体にrsync or cpし、ブートローダー入れれば普通に動くものですか？
やはりddが必要ですか？
0899login:Penguin
垢版 |
2023/09/26(火) 22:19:34.53ID:ConcCYWM
/var以下とか書き込み途中のファイルがあるだろうから
そこは影響あるかもしれんが多分大丈夫でしょ
0900login:Penguin
垢版 |
2023/09/26(火) 22:33:42.56ID:eeSFYOQt
Debianは単なるマウントポイントで起動ディスクを指定してるから動く。
FedoraはUUIDで起動ディスクを指定してるから動かない。
0901login:Penguin
垢版 |
2023/09/26(火) 23:56:02.07ID:ciLguc5D
SSDはHDDより気楽にセルが死んで内部のECCで誤魔化すつくりだから大手のちゃんとした奴でも壊れないって発想は絶対できないなあ
まあ結局は本人がどれくらいの信頼性とデータの保全を重視してるかだけど
0902login:Penguin
垢版 |
2023/09/27(水) 02:12:38.77ID:W5UIw3RP
SSDは電気的に壊れたりしそうだしHDDより信頼していいとも思えない
0903login:Penguin
垢版 |
2023/09/27(水) 05:26:01.49ID:7DJInsqy
ＨＤＤのような故障の予兆はネエと思った方がイイですぬ
0904login:Penguin
垢版 |
2023/09/27(水) 06:49:30.11ID:46paGLZ6
マジで重要なデータならHDDはデータ復旧業者に持ち込めばほぼデータ救える
SSDは難しそう
0905login:Penguin
垢版 |
2023/09/27(水) 06:50:41.48ID:iBlbR2xC
ガタが来てもカリカリ言ってくれないのは怖い
0906login:Penguin
垢版 |
2023/09/27(水) 09:46:10.71ID:A1V3Gn9T
>>900
DebianだってUUIDで指定してるぞ
0907login:Penguin
垢版 |
2023/09/27(水) 10:23:04.16ID:QgS9Bnud
>>900
>起動ディスクを指定
って何のこと?
0908login:Penguin
垢版 |
2023/09/27(水) 10:39:59.28ID:JigpusFU
fstabの指定じゃない?
sda,sdbとかデバイス名使うと順序が保証されないからいかんよ
0909login:Penguin
垢版 |
2023/09/27(水) 20:05:00.45ID:GQT9kNXi
>>899
ありがとうございます！
明日試してみます！
0910login:Penguin
垢版 |
2023/09/28(木) 00:37:51.79ID:94oQ5Buk
>>897
KVMとかで何十GBのイメージ(常時書き込みあり)を扱ってるんだけど、rsyncで不整合起きないものかね？
怪しいと思ってrsync(rsnapshotだけど)の対象にはしてなくて、イメージの中身のファイルをrsyncしてるけど。
0911login:Penguin
垢版 |
2023/09/28(木) 00:39:46.09ID:94oQ5Buk
>>908
fstabじゃなくてカーネルの起動オプション(cmdline)とinitramfsじゃないの？トラブるとめんどい。
0912login:Penguin
垢版 |
2023/09/28(木) 00:49:11.24ID:+gzxXnc4
cpした後chrootしてinitramfs作り直したら駄目なの？
0913login:Penguin
垢版 |
2023/09/28(木) 00:49:21.48ID:XkI+WmkE
>>910
チェックサム確認して更新するオプションあるけど、そういうのはrsyncに合わない。
あくまで個々のファイル単位でのコピー。
また、チェックサム確認つけるとサイズが大きいファイルはコピーにその分時間かかる。
0914login:Penguin
垢版 |
2023/09/28(木) 06:44:04.83ID:z6oGmeGq
メインで使うLinux端末なりサーバなりはxfs+LVM
バックアップ用ストレージをbtrfsの構成にして物理的に分ければストレージ側で好きにバックアップ取れば良い
または仮想環境ならNAS上に仮想ボリュームがあるだろうからNASのバックアップ機能に任せる
0915login:Penguin
垢版 |
2023/09/28(木) 11:50:37.80ID:L9iUhrdY
複雑なことしてないけど、自分はこのやり方でdisk移行したことあるよ。
ttps://wiki.archlinux.org/title/Rsync#Full_system_backup
0916login:Penguin
垢版 |
2023/09/28(木) 13:53:16.45ID:Gu9bK1i6
>>915
/varの下は特に用量が大きいから、何箇所かは除外したいな。
0917login:Penguin
垢版 |
2023/09/28(木) 19:23:09.78ID:9mIhxcp8
>>912
/etc/fstab のUUID書き換えた後に (chroot 不要かも?) grub2-mkconfig かな。
書き換えが必要なのは fstab と grub.cnf (もしくはgrubenv) だ。
LVM ありなら initramfs 再作成も必要だったかも。
0918login:Penguin
垢版 |
2023/09/29(金) 02:55:49.42ID:lDK7qxF5
USB+cryptsetup(x3)をbtrfsでraid0にしてですな
使ってるうちにcsumエラーが出るようになるけどmd5sumは正常
カーネル４系だけどもう６出てるの？
0919login:Penguin
垢版 |
2023/09/29(金) 14:53:20.86ID:4bRRCmT8
いまだにラズパイがbtrfsに標準対応しない理由が全然わからない
0921login:Penguin
垢版 |
2023/09/29(金) 21:52:11.44ID:QIpBYW7I
そもそもラズパイはストレージがmicroSD/emmc前提で
SDカード内部のコントローラは基本的にfat等しか想定しておらず安物でSSD最適化が入りまくったbtrfs使うと不安定になりやすいしCOWの性能的なデメリットもバカにならない
ラズパイ6か7が出てNVMe標準搭載してから高級なFSのプリインストール願えばいいんじゃないかね
0922login:Penguin
垢版 |
2023/09/30(土) 00:36:41.44ID:0uxPGqbB
csum error、dm-crypt + btrfs raid1 で出たことある。
用途はqemuのcache none で↓に引っかかっていた様だった。
ttps://archive.kernel.org/oldwiki/btrfs.wiki.kernel.org/index.php/Gotchas.html#Direct_IO_and_CRCs
0923login:Penguin
垢版 |
2023/10/02(月) 02:36:36.75ID:eEkkOm2D
918です
一個がno medium foundになりまして生来ブキッチョでして壊したのでしょうか
oldoldstable(4系)からbookworm(6系)にアプデしたらなんかsyncが激遅くなった＼(^o^)／
0924login:Penguin
垢版 |
2023/10/02(月) 10:40:48.10ID:kI29dD03
自分なら怪しそうな動きをしているならまっさらの新しいストレージとファイルシステム用意して構築しなおすかなあ
データロストは怖い
0925login:Penguin
垢版 |
2023/10/05(木) 08:22:04.93ID:6TdW7jQ/
>>923
単に物理的に壊れかけてたのがいよいよぶっ壊れただけじゃないの？
カーネル上げた／ソフトウェアの不具合で no medium found になるとは思えないんだが...

あと raid0 でドライブ１つ死んでも sync できちゃうものなの？
その状態でマウントが read-only に落ちないのは不具合ではあると思うんだが。
0926login:Penguin
垢版 |
2023/11/03(金) 00:28:34.87ID:ehy0V0kB
BcachefsがやっとLinuxにマージされたぞ
0927login:Penguin
垢版 |
2023/11/03(金) 03:54:56.70ID:MhoIvZIR
きたか…!!
　 ( ﾟдﾟ)　ガタッ
0930login:Penguin
垢版 |
2023/11/05(日) 19:56:24.24ID:2JjBa3ZY
btrfs遅いって言われてたけどアップデートのペースが凄くてどんどん速くなってるからな
btrfsが使えるならそれでいいんだよ
0931login:Penguin
垢版 |
2023/11/07(火) 20:45:55.50ID:BOHC3v+d
btrfs早くdfコマンドとか対応してくれ。
CoWだと無理なんかな？
0932login:Penguin
垢版 |
2023/11/07(火) 21:36:27.23ID:8aoZ9wW7
今のBtrfsは開発が活発で安心感すらある
RAID56のバグもいよいよ修正作業が本格化したようだし
0933login:Penguin
垢版 |
2023/11/11(土) 12:37:54.46ID:87rX4ipY
bcachefsはビルトインで暗号化や階層キャッシュ出来るのが明確な強みなんだから言われてるほどbtrfsと競合しない筈なんだよな～
ただ実績無いし長期的な開発体制も怪しいからまじで先が読めない

一方btrfsもRAID5,6に関してはライトホール問題はどうしようもないんだから長い長い道のりになる気がするな
0934login:Penguin
垢版 |
2023/11/11(土) 13:59:39.69ID:j9UGzXqw
Microsoft の Dev Drive もちょい気になる
0935login:Penguin
垢版 |
2023/11/11(土) 19:57:45.40ID:fQCb3MRW
bcachefsも追従してきたということはサブボリュームをディレクトリ扱いするのはそこまで利点あるのだろうか
zfs他のようにパーティション扱いで、加えてスワップファイルやVMイメージ用にスナップショット対象外フラグでも設ければ充分な気がするけども
0936login:Penguin
垢版 |
2023/11/12(日) 13:28:49.12ID:idgebg3W
bcachefs のベンチマーク記事、bcachefsは bcache ベースで堅牢性と信頼性重視、とされてるから、速度なら低速デバイス+キャッシュ(dm-cache、L2ARC、bcacheなど)同士の比較が欲しかった。
0937login:Penguin
垢版 |
2023/11/12(日) 16:33:33.66ID:wEJxHOeg
>>936
本格的なベンチマークは6.7カーネルのリリースまで待つしかないんじゃないかな
喜び勇んで自分でビルドしてベンチマークしようとしたPhoronixで悲惨な結果になってるし
実際にZFSを置き換えられるのか等運用や評判の話は良くも悪くももっと後だろう
0938login:Penguin
垢版 |
2023/11/13(月) 01:14:38.30ID:fYaeSL61
キャッシュなんてベンチマークしてとうすんねん
0940login:Penguin
垢版 |
2023/11/16(木) 04:14:03.97ID:2zCuItxM
fscryptかあ…dm-cryptの方が好みかなあ
ただ現状btrfs raid dmcrypt automountの連携に難ありというか…正しく調整するにはudevまでいじる必要があるのが面倒
0941login:Penguin
垢版 |
2023/11/16(木) 12:44:28.02ID:cfaP9Jf+
ファイル暗号化だとシステムはTPMで暗号化して(起動時のパスワード入力不要)
ホームディレクトリはログインパスワードで暗号化といった使い分けしやすいのが利点らしい。
ユーザーが大量にいるケースでも個別のフレーズで暗号化出来る。
同じことを他の方式で実現するのは現実的ではない。
0942login:Penguin
垢版 |
2023/11/21(火) 13:37:57.31ID:HJbVoOU7
予行練習で試しにext4のfscryptを使ってみたけどめっちゃ便利だなこれ
ログインしていないユーザーのhomeフォルダは暗号化されたままだからdm-cryptよりも安心感がある
ほぼ起動したままだったから全体の暗号化にあまり意味を感じてなかったし
0944login:Penguin
垢版 |
2023/11/22(水) 03:29:55.87ID:IuFUsyx4
Fedoraはfscryptによる暗号化をインストール時のオプションとして提供する計画みたいだね
xfsからbtrfsに乗り換えたディストリの強みを活かしていく
0945login:Penguin
垢版 |
2023/11/24(金) 17:50:44.62ID:v/0vBGSD
ブロックグループの導入でマウントが遅い問題も解決されたし
Btrfsは最強のファイルシステムへの道を着実に歩んでいるな
0946login:Penguin
垢版 |
2023/11/24(金) 18:06:33.32ID:x6O1QgMw
bitlot防止機能が素晴らしい

なぜ窓と林檎はbitlot防止できないんだい？
0948login:Penguin
垢版 |
2023/11/25(土) 19:39:50.55ID:tKTQvn1Q
マジレスするところなのかボケるところなのかわからんけどbitrotのtypoじゃない？
どう優れてんのか知らんけど
0949login:Penguin
垢版 |
2023/11/25(土) 23:31:22.76ID:BWX0PXbV
bit rotという言葉は初見だったので勉強になりました。
ありがとうございます。
bit rot防止login:Penguin
0950login:Penguin
垢版 |
2023/12/07(木) 04:03:45.81ID:YmXrRNUi
圧縮って使わないほうがいいかも
CPUが100%張り付いてる状況だとめっちゃ低速化する
0951login:Penguin
垢版 |
2023/12/08(金) 00:26:47.47ID:3P9zsWJg
CPUが100%に張り付くようなマシンスペックが問題ってだけ
圧縮や重複排除はコアとメモリに余裕がないマシンでは使えねーのは
今も昔も変わらん
0952login:Penguin
垢版 |
2023/12/08(金) 01:38:22.94ID:aKR+ITPM
ソースベースディストリで作業ディレクトリをcompressオプションでマウントとか？
0953login:Penguin
垢版 |
2023/12/13(水) 00:40:49.20ID:xRHw+JX+
結局Btrfsはやめてext4に乗り換えた
Btrfs自体は安定してくれてるんだけど
たまにext4に決め打ちされてる古いプログラムを踏んで不具合が出るのがキツかった
0954login:Penguin
垢版 |
2024/01/08(月) 12:03:40.69ID:iDiAAAVv
Linuxは素晴らしいよね。
0955login:Penguin
垢版 |
2024/01/19(金) 06:11:56.52ID:aYiO6Jio
>>921
信頼性が低いSDカードだからこそ
cowの堅牢性やチェックサムでデータ化けを検出できるのは頼もしい

ただ確かに普通のSDカードをシステムやスワップに使うと長時間のランダムライトについてこれずに激遅になるので
ハイエンデュランスのSDカードを選ぶ必要がある
0956login:Penguin
垢版 |
2024/01/19(金) 06:21:49.06ID:aYiO6Jio
Linuxはbcacheを使ってssd+hddの階層キャッシュを簡単に組めるのは良いな
カーネルの標準機能だから起動や互換性のトラブルはまず起きないし。

Windowsはサードパーティのソフトに頼る必要があるし、
どれもデータ破損などのトラブルの報告がある
0957login:Penguin
垢版 |
2024/01/26(金) 16:05:48.32ID:py+jKeKn
bcacheって意味あるのかな?
良く分かってないのだけど
もっと高速なRAMにキャッシュされるので
RAMをたくさん積んどけば良いんでない?
0958login:Penguin
垢版 |
2024/01/26(金) 19:23:22.79ID:oH1WYYnE
一生懸命作っているから文句を言いにくいというだけで実用面ではBtrfsが安定した今としては必要ないね
0959login:Penguin
垢版 |
2024/01/26(金) 19:39:09.90ID:py+jKeKn
>>958
すみませんBtrfsってbcacheと関係あるんですか?
名前は似てるけども
0960login:Penguin
垢版 |
2024/01/30(火) 11:46:41.60ID:fJ9es5m2
>>959
958じゃないけど、無関係だね。btrfsとbcache
0961login:Penguin
垢版 |
2024/01/30(火) 11:48:15.68ID:fJ9es5m2
bcache使うなら kernel は LTS が良いかも。過去にやらかしがあったらしいので。
0962login:Penguin
垢版 |
2024/01/30(火) 18:19:23.53ID:J/mh2rpH
bcacheは大容量データを扱う機会の多いWindowsでこそ欲しいよね

>>958
bcacheとbcachefsは別物
紛らわしい名付けしたものだ
0963login:Penguin
垢版 |
2024/01/30(火) 20:29:32.66ID:mHvzbfho
作者同じだし似たような技術使ってるから似た名前になってるんだが
0964login:Penguin
垢版 |
2024/01/31(水) 18:12:16.86ID:ngyKsORg
カーネルの標準機能だからトラブルはまず起きない、ってことはないんじゃないかな？と思った
カーネルの実装には問題なくてもユーザーランドのコマンドのバグで破壊とかないとはいえないし
0965login:Penguin
垢版 |
2024/01/31(水) 19:55:58.06ID:ue4q/ArC
カーネルモジュールはコンパイルしなくてもいいんやで
0966login:Penguin
垢版 |
2024/02/14(水) 16:34:39.92ID:rm5GuhCK
一つだけWindowsがLinuxより優れている点がある
デフラグソフトが充実していて配置方法を選べることも多く
適切に使うことで再断片化を緩和できる
0967login:Penguin
垢版 |
2024/02/14(水) 17:27:05.08ID:Mpk9wpOx
Linuxは断片化が起きる前提にファイルを配置していくからデフラグの意味がないんだよ
だからデフラグソフトが無い
0969login:Penguin
垢版 |
2024/02/14(水) 19:00:11.53ID:RnVOm2ug
デフラグせんでも別ストレージにコピーすればいいのだ
0971login:Penguin
垢版 |
2024/02/14(水) 21:00:16.25ID:UFVUwpHe
SSD時代にデフラグ要るのか？
0972login:Penguin
垢版 |
2024/02/14(水) 22:03:49.54ID:x6cMOvUo
vfatがデフラグ必要なのって毎回再配置しないので性能を稼ぐ意味合いだよね
0973login:Penguin
垢版 |
2024/02/14(水) 23:02:21.62ID:36CQLCoX
>>971
いらない
HDDでもSMRならデフラグしないほうがいい
0974login:Penguin
垢版 |
2024/02/15(木) 21:46:32.18ID:gUS2rLuX
Linuxのfsもエクステント、b木の最適化くらいはどこかでやってるよね
0975login:Penguin
垢版 |
2024/02/16(金) 18:32:42.51ID:ip4oPGOg
RAID-Z3みたいな機能をbtrfsが備えてくれればいいんだが…
0977login:Penguin
垢版 |
2024/04/28(日) 00:19:56.51ID:r8eKq9g6
普通にext4で良いんですよね？
0978login:Penguin
垢版 |
2024/04/28(日) 08:19:20.27ID:1NNVX4nw
良いよ。
大半のパフォーマンスはext4が一番良いくらい。
xfs はファイル数などの上限が上がるので企業みたいな使い方をするならよい選択。
btrfs はCoW で条件によりコピーが速かったりファイルシステムを圧縮したり、高機能だし色々出来るけども、使い方を調べないといかん。
0979login:Penguin
垢版 |
2024/04/28(日) 23:01:46.57ID:MHN/RfIs
確かにext4はコピーが激重。
0980login:Penguin
垢版 |
2024/04/29(月) 02:17:25.08ID:8BqYoay6
昔xfsでファイル削除が激重だったけど、何年か前に改善されたらしい
新着レスの表示
レスを投稿する

レス数が950を超えています。1000を超えると書き込みができなくなります。
ニューススポーツなんでも実況