ファイルシステム総合スレ その19
自動でその設定してくれんかな
sqliteとか多すぎて手動で設定するの大変だよ パフォーマンス追求するケースの話であって一般的にはそこまで困らんでしょ >>417
chatter +C dir
だけで良いのでしょうか? CoWを無効にすると圧縮も無効になるから一長一短だよ 多少性能低下するだけだしVMディスクイメージはCOW有効化するな
無効化したらスナップショットからのお手軽ロールバック出来なくなるし スナップショットをVM Consistentでとれる確証がなければ、やめておいた方がいいよ >>413
・ツール類に信頼がおけない
EXT4の感覚でUUIDを変更したら
特に警告等なく完了したがその後エラーを検出してファイルにアクセスできなくなった >>413
空き領域まわりは強いクセがあるな
btrfsの場合は常に5GB以上は空けておかないと安心できない
btrfsは未使用領域を"chunk"と呼ばれる1GB（公式の説明）のブロックで切り出してから書き込むが
切り出すときに用途を固定してしまう（実データ・メタデータ・システム）
全ての未使用領域を切り出したあとにメタデータ領域が枯渇すると実データ領域に空きがあっても一切のファイル操作ができなくなる
ファイルの削除は可能だが空き領域が回復しないことも多い
メモリ上では削除成功したことになってもディスク上ではメタデータの更新に失敗するため
こうなったら復旧するには特殊な手順が必要になる NTFSはフォーマット時にメタデータ領域を切り出すが
空き領域が枯渇するとメタデータ領域を実データ用に転用したり、メタデータ領域を拡張する仕組みがあるので
最後まで表示通りに書き込みができる
その代わり断片化が激しくなる なる
パフォーマンスを取るか緩く安定を取るかみたいなもんか 空き容量はメタデータ云々といよりスナップショットの関係だよ
スナップショット取ってる場合には、削除が空き容量の増加にならないからという単純な話
スナップショット使ってないパーティションで何度も空き容量不足になってるけど一度も壊れた事はない (カーネル5以降の話) サーバーはともかく
デスクトップPCならBtrfsに切り替えても問題ない頃合いだね
Fedoraがデフォルトにしてしばらく大きな不具合は見つかってないし 未だに10年前と同じ感覚でbtrfsを語ってる人たまに居るよね
くっそ古いカーネル使ってるならその認識で合ってるかもしれないけど ファイルシステムはカーネルバージョンでガッツリ変わるからな
btrfsだけでなくext4やxfsも変わってる 怖いのはFS信頼性よりヒューマンエラー(ヒューマンとは俺自身含む)と思ってる
有事への備えさえしておけば先進のFSでも大丈夫
ラズパイですら再フォーマット無しにほぼ放置で２年ちょっと経過 今でこそBtrfsを愛用しているけど
カーネル4.xx時代はヒューマーンエラーとかいうレベルじゃない不安定さで使い物にならなかったよ
前兆なしでサルベージすら不可能な壊れ方するからヤバかった 使用開始時はさすがにおっかないFSだと言う認識はあった
当時のラズパイOSのカーネルはよく覚えてないけど5.4.*とかだったかなぁ
ラズパイでの試験運用開始時は十重二十重にスナップショット取ったり
日時バックアップしたりを欠かさなかった 調べるとBtrfsは丁度カーネル5.4から安定してきたらしい
確かにそのくらいからBtrfsユーザーの阿鼻叫喚が鳴りを潜めた気がする 「ラズパイだからいいややってみよ バックアップも取るし」くらいの安易な気持ちだったのを覚えている
運が良かったのか引きが強かったと言えるのかわからんけど特にFSが飛ぶ事も無く現在に至る
使用開始後調子に乗ってPCでも使い始めるまでにそれ程時間はかからなかった ふっるいカーネルと言われると3とか4あたりを想像するわ
5.4ってまだ2〜3年前くらいじゃね 従って今日はそのふっるいカーネルの感覚で語ってる者はいないと言う事だな Fedoraはdnfインストールでreflinkを扱ったりと
既にBtrfsの利用を前提とした周辺ソフトウェアの最適化に取り組んでたりするから
他のディストリにも成果が流れてBtrfsがデフォルトになっていくだろうね ZFS みたいにメモリが沢山ないとパフォーマンスが出ないみたいな低スペ野郎は使えない制限はBtrfsにはないんですか？
ext4 と比べるとディスク容量は少し食うみたいですが。 XfsでCoW有効にした時にはメモリ食いすぎて常にカツカツだったけど
Btrfsは省メモリで特にロースペに厳しいとかはないね
透過圧縮も普通に有効にしてる btrfsもそれなりにスペック依存性あって、
職場NASをHP ProLiant MicroServer(Athlon II NEO N36L)から
Ryzen 5 Pro 3600自作機に更新したらメチャ早くなった。どっちもCentOS7。
なので試しに自宅NAS(4HDD@UbuntuServer)を200GEから2400Gに変更したら早くなったので、
今は欲を出して余りHDD全部(4x3.5CMR, 4x2.5CMR, 1x3.5SMR)を繋ごうと考えてSATAカード物色中。 BtrfsというかZstdの進化が凄まじいから
なるべく最新のカーネルを扱えるディストリの方がいいよね
今だと公式にBtrfsをデフォルトにしてるFedoraがベストかな Btrfsのカーネル選び
5.4〜 安定化(事実上これ以前は非推奨)
5.16〜 Zstd圧縮のパフォーマンスが大幅に向上
Ubuntu 22.04でもカーネル5.15だから入れ替えないならFedoraしかない
本格的な普及はサーバー向けの定番ディストリに5.16が降りてくる来年以降かな >>447
先生、質問です。
CentOS Stream はインストーラがBtrfsに対応していますか？
RHEL が Btrfs を利用しないとインストーラに出てこない気がしました。 インストーラが対応してないどころかbtrfs-progsのパッケージもないしそもそもカーネルが対応してない
自分でビルドして入れれば使える 先生スパルタ過ぎませんか…？
僕はArchで行きます CentOS Stream だと、/ に一式インストールした後、カーネルのリビルドして、必要なパッケージ入れて分ける予定のパーティションはその後フォーマットして色々移動させてから、残りは btrfs-convert でext4 から Btrfs に変換するんかな。 昔はデスクトップでArch使ってたけど
BtrfsやZram等、結果的にFedoraのデフォルト構成に近い部分が多くなって
だったら最初からFedoraでいいじゃんと思って以来ずっとFedoraだな 今、透過的圧縮対応のファイルシステムって何が主流なんですか
バターFSですか デスクトップ用途だとFedoraのデフォルトインストール設定が
Btrfs+zstd圧縮だから圧倒的にBtrfs
サーバーだと実績を考えてまだ無難なZFSで動かしてるケースが多いんじゃないかな ZFS ハードル高いのとRHELはxfs、Debianはext4 だと思うけど。 xfsはRedHatがBtrfs駄目だからって言ってCOW持ち込んだらすげーぶっ壊れになったり、32bit環境で致命的なバグ出した事あったり、急に鉄板ハイスピードFS扱いになったりととにかく評価が安定しないイメージ RedHatは社内にBtrfsのメンテナがいないから導入予定はないらしい
Btrfs側のバグが原因で不具合発生した場合にRedHatで解決できないのが理由かな
>>455
透過圧縮の話題だぞ Redhatクラスの会社はエンジニアが必要ならいくらでも雇えると思うけど、そもそも市場にbtrfsのメンテできるエンジニアがほとんどいないとかなんかな
まぁしょうじき政治的な理由な気がする >>459
RedHatの言うメンテナってのは本家のコードへのコミット権を保有してるレベルの話だから簡単じゃない >>461
その基準だと最終権限はリーナスしか持ってないしサブシステム単位の権限を基準にしてもext4すら使えなくなるが >>459
落ちて来たとは言えFacebookから引き抜けるほどお金積める気がしない… Facebookは業務でバリバリBtrfsを使っていて現場の情報も入ってくるから
やりがい作戦での引き抜きも困難だろうしな 元々Redhatには、btrfs主要開発者のjosefさん(現Facebook)が在籍してたんだけどな。
会社の方針が変わったから転職したのか、
転職しちゃって開発者がいなくなったからサポートやめたのかどっちだろ。 フリーランスに立ちはだかる「常駐」の壁。慣例を打ち壊し、
“テレワーク”案件3割→8割へと成長を遂げた「クラウドテック」の軌跡
リモートワーク求人専門サイト「プロリモート」がリニューアルオープン、業務委託契約の求職者と企業をマッチング
1/3以上が採用につながる高マッチング率、リモートワーク×エンジニア・デザイナー専門の
人材紹介サービス「ReworkerAgent」正式リリース場所からも時間からも自由な働き方を実現！
『ReWorks（リワークス）』リモートワーク特化型転職サイトとして 3月5日 リニューアル
副業・兼業マッチングサービス「クラウドリンクス」登録者数2万人突破
中小企業で進む副業人材の採用、96％が継続採用を希望
茨城県日立市、県外からの「テレワーク移住者」に最大151万円の助成金
長野市、市内に移転・事業所設置し、移住することで最大550万円の支援金を支給
フリーランスが活用できる「最大1,000〜3,000万円・補助率50%〜75%」の
『ものづくり・商業・サービス補助金』とは？概要や条件を解説 Open ZFSの zfs-dkms今日降って来るのかと思ってたけど来ないのかな
リリース予定日とかってどこかに載ってたりする？ どのディストリのどのバージョン？
なおOpenZFS の 2.1.4 なら sid と bullseye-backports には来てるけど aufsみたいな、FSの上にFSを被せる系のFSで
今安定しておすすめのやつってどれになんの？ Fedora36めっちゃいいぞ
完全にGnome一強時代の到来を感じさせる作り Fedora36に際してはBtrfsをやめるなんて議題にも上がらなかったところを見ると
デスクトップに関してはBtrfsは安定したと考えて良さそうだね SUSEなんて何年も前からエンタープライズ領域でbtrfs使ってるからな >>444だが自宅NASも本格稼働して嬉しいので書き込む。
M.2. ext4 /
2xSataSSD btrfs(raid1) ~/work
3xCmrHDD btrfs(raid0) ~/tmp
1xSmrHDD ext4 ~/arc
SATAカードは起動が遅いので外した。
snapperは便利だけれど自宅では不要だった。職場では評判良い。
鳥はUbuntu, CentOS7(kernel3→5), SuSEの順で試して大差ないので、好みの問題でdebianにした。
CPUは最初の200GE以外は、R3-1200, R5-2400G, RPro5-4650Gを試して差がない。メモリも1x8GB, 2x8GB, 2x16GBで変化なし。 aufsってカーネルのメインラインからいつの間にか外れてたんだな ZFSのARC上限を制限するチューニングですが、これってどんなpros/consありますか？
ZFSでなくても、Linuxなどはメモリがあるだけキャッシュするのが一般的と思ってます。(手元のbtrfs使ってるPCのbuff/cacheは17Gi表示)
わざわざ制限するのはどういう理由からか、知っている方いれば教えて頂きたく。 >>488
DBサーバーだったら、DB自体がキャッシュするから、ファイルキャッシュしない方がいいよ。メモリ勿体ない。 >>489
ありがとう。用途はNAS、docker、vm少々です。
DBサーバーだとARCよりDBにメモリ回した方が良さそうですね。参考になります。 XFS 5.19で改良・高速化予定
ttps://www.phoronix.com/scan.php?page=news_item&px=Linux-5.19-XFS 良いところ・・・
・fsck不要、マウントが成功すればファイルシステムはclean（ということになっている）
・スナップショット、サブボリューム機能
・Copy on Writeのファイルコピー
・透過的圧縮
・ファイルシステムの機能としての複数デバイス機能（JBODっぽいやつ、RAIDなど）。ただしRAIDはRAID5など未完成。
・send/receive機能
他の～～ファイルシステムだってその機能はあるだろ！というのもあるけど、別にBtrfsだけの機能という話ではないので・・・ 俺は xfs 使ってるから助かる
実際に恩恵を受けるのはあとだろうが シングルディスクだとXFSにするかBtrfsにするか迷う Btrfsは凄い高機能な割にリソース食わないのが結構嬉しい btrfsはファイル内容のcheck summingがあるので安心感ある。 ZFSでZVOL使うのとBtrfsで.imgファイル作って使うのに特質すべき差ってある？
>>495
これが出来たら良いのに Btrfs の色々な機能を使っている人は、インストール時点では/に一通りをインストールしてから、新規のパーティションのフォーマットをBtrfsで適切なフラグ付けて、mount オプションも適切なフラグ付けてってされていますか？
その後、/var の中身を移動させるとか。
インストーラの時の設定のみで良いのか疑問です。 昔xfsでCoWを有効にした時には
ディストリのインストーラーのソースコードを弄ってフラグ変更したな
再フォーマットでID変わると不具合出る事があるからその方が安全だと判断した >>501
ありがとう
パッチ当てなくても良いのか、後で試してみる >>502
Arch Linuxをbtrfsオンリーで使っている。
他のディストリ事情は分からないけど、btrfs自体は圧縮やCoWのOFF/ONは後でディレクトリとファイル単位でできるし、subvolumeも後でpoolからいくつでも切り出せる。
一部のmount optionもsubvolume単位で変えられる。
自分の場合、partitionを分ける理由はsubvolumeで変えられないoption(autodefragとか)を使いたいときぐらい。
使い方次第だけど、分けたくなったら後でsubvolumeを切り出したりresizeすればいいかと。
/varとかはrsyncで適当に移動しているけどArchは動いている。
1byteの差も許せない場合はlivecdとbtrfs send/recvを使うのかな。やったことないけど。 これは生きてるんかな
https://github.com/bianster/mysqlfs
mysqlfs
MySQLfs is Linux userspace filesystem which stores data in a MySQL database. It uses FUSE to interface with the kernel. >>505
btrfsのマウントオプションは今のところ
最初にマウントされた時点のオプションが
同じファイルシステムからの後のマウントにも一律に適用されるのであって
例外はほとんどない(それこそsubvol指定ぐらいである)はずなんだけど
「サブボリューム単位で変えられるオプション」って逆に一体どういった物のことなんです？
上記の理由で圧縮周りもCoW無効もサブボリュームトップのディレクトリにプロパティを適用する事でしか
いちファイルシステムに混在で運用出来ないって認識なんですが……
ttps://btrfs.readthedocs.io/en/latest/btrfs-man5.html#mount-options >>507
あ！申し訳ない。。btrfs WiKi FAQ を見直したら確かにsubvol以外はまだ Planned だった。。訂正します。
ただ、圧縮とCoWはsubvolではなくディレクトリ、ファイル単位にできている。
https://wiki.archlinux.jp/index.php/Btrfs#CoW_.E3.81.AE.E7.84.A1.E5.8A.B9.E5.8C.96
chattr +C で CoW無効、chattr +c 圧縮有効かな。確認は lsattrやcompsizeで。
空ファイル以外はファイル作成後の変更は効かないかも。。
btrfsはopenSUSEが標準でrootfs対応していてsubvolumeやsnapshotも色々考えられているようなので、VMなどに入れて参考にするのも良いかと。 >>508
chattr で CoW 無効にしても swap file にしようとすると結構ボロボロだった経験が…
今はマシになったかな？ >>509
swapfile、どうなんですかね。。
btrfs使い始めた頃はswapfile無く、ずっとswap partition切っているので分からず。。
使っている方の情報知りたいですね。 CoW のおかげでファイルコピーが早く終わるシチュエーションが思いつかない ファイルコピーがCoWってのはBtrfsの1つの側面に過ぎなくて、
Btrfsの重要なところは、既存ファイルの上書き保存であっても、（chattrで無効化してなければ）常にCoWがなされるってところなんだ。
つまり、既存ファイルの上書きでも、ブロックが上書きされるんじゃなく、新しいデータが別のブロックに書き込まれてから、
当該ファイルがそのブロックを参照するようにメタデータが変更される。
だから何だと言われると困るが・・・ cpでreflink使うと巨大ファイルのコピーでもすぐ終わるのが便利。raw imageの簡易バックアップとか。
reflinkはCoWの副産物の認識。
変更箇所が少なければ容量の節約にもなってるはず。。 CoWなのに上書きはそのまましちゃうファイルシステムなんて存在するの？ いまのカーネルはスワップファイルとその物理領域をロックして直接アクセスするので性能はスワップパーティションと変わらない
そのときcowは発生しない ZFSですが、ashift、recordsize、volblocksizeなど重要パラメータがいくつもあるようで、最適設定が分からずにいます。
詳しい方のアドバイス頂きたく(できれば仕組みや考え方も。。)
用途：ホームサーバ(NFS、KVM)
H/W：CPU:Xeon E3-1220 V2 RAM:16GB SSD:CT1000MX500 x2 HDD:ST8000DM004 x2
ホストOS： Debian 11 bullseye (OpenZFS)
KVMゲスト: Linux、OpenMediaVault、Windows10
この用途だと、SSDとHDDのashift=12(4K)、データ倉庫のrecordsize=1M、VM用zvolのvolblocksize=16K かなと考えているのですが。 5.20でXFSがIOuringを使うようになるみたい
btrfsも対応中で近いうちに使えるようになる 
