バックアップ用HDDに最適なファイルシステムは? 107
ストーリー by soara
ファイルシステムとすると意外と難しい 部門より
ファイルシステムとすると意外と難しい 部門より
あるAnonymous Coward 曰く、
本家/.で「外付けバックアップドライブに最適なファイルシステムは?」というストーリーが立っている。最近では大容量の HDDが安くなっているため、バックアップ用に外付けの HDDを使っている人も多いかとは思うが、FAT32では大容量のファイルを最大ファイルサイズの制限があるほか、ジャーナリング機構がないために不安が残る。NTFSはこれらの欠点が解消されているが、Windows以外の OSからは扱いにくい。ext3や ZFSなどは Linux/UNIXから利用するには良いが、Windowsや Macからでは操作しにくい。
単一の OS環境のみから利用するなら、それぞれの OSがデフォルトでサポートしているファイルシステムを利用するのが最適だろうが、複数の OSから利用される環境では、どのファイルシステムを使うのが(用途にもよるが)良いのだろうか?
ちなみに、本家/.では「安いマシン買って NASを作れ」とか、「NTFSは Macでも Linuxでも実用上は問題ないから NTFSで」とか、「FAT32で、4GB以上の動画は分割して保存して VLCで見ろ」とか、「ReiserFSだ。これはキラーだぜ」といった意見が出ている。
どういうアクセス方式でつかうのか問わないなら… (スコア:5, 参考になる)
Windows とかだと raw device へのアクセス方法を手に入れるのが最大の問題になるだろう。が、一旦そこをどうにかすれば、tar のソースコードは世の中に出回っているからどうにかこうにかなるだろう。
最大の問題点は32bitにしか対応していない tar を使ってしまった場合かな。今つかうなら、最低限でも64bit対応でないと困るだろう。できれば 1024bit に拡張してから…
バックアップの場合、普段使いと違ってフラグメンテーションを起こしまくったファイルシステムでも大きな問題はない。むしろ大事なのは同じデータ部分を持ったファイルが幾つもあったりした場合に、こいつのせいでメディアがどんどん肥大化するのをどうやって止めるか。
そこで重複除去機能。ZFSにこいつが入るのを待って、Raid1-6構成のメディア上にZFSを構築してそこにデータを保存しろ。そうすれば重複情報は削除しつつ、信頼性を確保出来る。
「外に出せるものは外に出してしまい、まずバックアップしなくちゃいけないデータ量を減らせ」
「Network File System (NFS じゃなくても AFS でも CoDa でも何でもいいが)で共有する事で、そもそもコピーを減らせ」
「バックアップは複数取っておけ。できれば違うフォーマットで」
という鉄則がまずあるかとは思いますが、それらを配慮した上でならばこんな感じじゃないかと。
fjの教祖様
Re:どういうアクセス方式でつかうのか問わないなら… (スコア:1)
ちょっとした疑問です、
ZFS の新機能は Solaris に実装される方が早いのではないかと思うのですが(本家ですし)
あえて FreeBSD の ZFS なのにはこだわりがあるのでしょうか?
余ったパーツ(むしろ余らせた) + 奮発した HDD で
FreeBSD で ZFS な NAS を作ってみたいなぁと思っているので気になるところです。
ちなみに今は動画の類を NTFS な HDD に放り込んでいます。
HDD をつないで再生できるメディアプレーヤなどでも NTFS 対応は結構あるようなので。
PS3 は FAT32 だけですけど DLNA で再生するから問題なし。
# 自分が FreeBSD なのは単純に Ubuntu と FreeBSD 位しか触ったことがないから……
Re:どういうアクセス方式でつかうのか問わないなら… (スコア:5, 参考になる)
余ったパーツでzfsを使用したFreeBSDサーバを構築する場合, 次の2点には注意しておいた方が良いです.
32bit対応のみのCPUでも使えないことは無いのですが, amd64版だとチューニングパラメータをいちいちいじらなくてもよろしくやってくれるので, かなり楽ができます. またzfsを使用するとカーネルがキャッシュやらなんやらで512MB以上消費する場合があるので, メモリ1GBぐらいが最低限のラインになります.(カーネルに割り当てたメモリが足らなくなるとpanicで落ちます)
このあたりは細かくパラメータを調整したり, あるいは最近のzfs v13では改善されているかもしれませんが, 安全パイを取るならamd64で4GB以上(最近ではそれほどきつい条件ではなくなりましたから)ってのが目安でしょう. そういう意味ではzfsに限ればSolarisの方が安全・確実と言えるかもしれません.
Re:どういうアクセス方式でつかうのか問わないなら… (スコア:5, 参考になる)
素晴らしい質問です。「なぜ一番最初にリリースされるものを使わないのか」
.
理由は「バグを回避するため」。
ZFSに限りませんが、この手のプログラム、バグは2種類あります。
1) 機能を定義し、最初の実装を行った段階で入り込んだバグ。経験不足(そりゃ、初めてですから)に起因する
考慮不足などのせいで、うまく行くと思っていたことがうまくいかなくてギャーー 的な問題
2) 1を一通りクリアした後、2つ目のOSに移植する際に、ベースのOSの性質が違ったり、
インターフェースを合わせるために無理をしたときに出てくるバグ。
2 の場合、ストレージレベルでのフォーマット間違いとか、そう言うのは余り出てきません。マウントできないとか、バイナリレベルで読んでみたら Solaris 版と出て着るものがぜんぜん違うわこれ、とか、結構初期の段階で発見、fix できる。本質的にうまく行くのは 1 を通過した後なので大丈夫。
なので、Solaris ZFSではなく、FreeBSD ZFS であればかなり信頼できるものが最初から出てくるに違いない、とそういうわけです。
.
この手の情報は、man page を良く読んでいると判ることがあります。
某OSに ext2 が移植された際、bugs の項にはこう書かれていました。
「オリジナルと異なり、同期書き込みでは、ちゃんと同期的に書き込んでしまう。」
このように、オリジナル側が「無い」と主張しているバグについて、コメントが皮肉っぽく書かれたらもう大丈夫。
fjの教祖様
Re:どういうアクセス方式でつかうのか問わないなら… (スコア:1, 興味深い)
>理由は「バグを回避するため」。
...
>なので、Solaris ZFSではなく、FreeBSD ZFS であればかなり信頼できるものが最初から出てくるに違いない、とそういうわけです。
portingのバグは考えないの? 現にFreeBSDでzfsが導入されてからずっと、結構不安定な状態が続いていたよね。
新しいバージョンの最初を避けるというのであれば、zfsはSXCE→OpenSolaris→Solaris10の順番で流れてくるから、Solaris10を使うってのが安心だと思うけど。
Re:どういうアクセス方式でつかうのか問わないなら… (スコア:2, 興味深い)
porting のバグは 2 の一部として考慮してありますが。
重複除去は、基本的にファイルシステムの上で動作するものです。なので 1 と 2 では、 1 の比重が圧倒的に高い。
続いてますね。だからこそ FreeBSD にポートされるのを待つべきなんです。
.
すでに述べたようにバグには2種類あります。
1つ目はそもそもの実装案に内在する「思慮不足」起因のバグ。
2つ目は「純粋に実装起因の」バグ。porting などで特に露呈しますが、ようするに外部とのインターフェース、外部へのインターフェースの不整合に起因するバグです。
「ZFS を実装/移植する」事そのものは、実は 1 のバグと 2 のバグが同じぐらい存在します。というか、同じ程度にしか存在しません。ファイルシステムそのものは世の中に沢山存在します。実装はいくつもオープンになっており、論文も沢山出ている。このため、1 の部分で失敗する事は少ない。 2 の部分で「あ…特定のOSへの実装に偏りすぎた」と言うのが露呈する事が多い。
それが FreeBSD に移植する際に起こっている事です。もっと言えば、FreeBSD に移植する際に発見された問題のいくつかは、本家本元がインターフェースに対して立てていた大前提が間違っていたと言うことで、他のOSでも同様の問題となって発現するでしょう。異なるOSのメンテナは異なる視点からプログラムの動作をチェックするので、「安定しない」のは当たり前です。
.
しかし「ZFS に重複除去機能を追加する」場合は、1 のバグが殆どで、2のバグは殆ど出てこないはずです。重複除去機能そのものが可能なのは、すでに商用システムにそのようなものが存在することから自明です。しかし、これを実装した際にどのような問題が起こり得るのかは、従来のファイルシステム実装自身程判っているわけじゃない。つまり 1 が発生する確率は、ファイルシステムそのものを実装する際よりも、高い。
これに対して、2、つまり重複除去機能が完成した場合にこれを「FreeBSD 上で動作している ZFS に追加する」場合に生じる porting bug は圧倒的に少なくなる。なぜなら、重複除去機能は ZFS の「内部機能」だから。重複除去のために追加されなくてはいけない OS 外部とのインターフェースは遥かに少なくて済むはずです。と言うことは 2 にともなうバグは圧倒的に少なくて済む。
しかるに。1のバグがまだ不安な状態で別のOSのメンテナが port を始めることはありません。無駄足に終わる可能性が非常に高いからです。
.
この二つを混同して評価するのは、プログラミングにおいてバグがどういう具合に発生するのか、その本質を理解していない証拠と言えます。
fjの教祖様
Re:どういうアクセス方式でつかうのか問わないなら… (スコア:1)
いや,だから (スコア:2, おもしろおかしい)
そんなことで悩むくらいならいっその事最強の紙に…(略
Re:いや,だから (スコア:1)
肌色動画を紙に記録してどうするんだよ。
石に記録したらミロのヴィーナスになるのか?
#消えたら消えたで悲しいが、他人に見せられないデータは、墓場に行く前には消えてほしいと思う、HDDを大掃除中な今日この頃
#壮大なストーリ。空転するアイディア。
Re:いや,だから (スコア:1)
まあ角を三等分しようとしている人だってまだいるからね。
そんなおバカさんとフェルマーの大定理の別証明に挑む人を一緒にするのは
失礼でしょう。
Re:いや,だから (スコア:2)
> どうみても同レベルだけど?
> 不可能であることが証明されてるか、ほとんど確からしいけど証明されてないかの違いだけで。
私の記憶が確かならば現代数学を用いなければ証明不能と
思われていた命題に対する初等的な手法での証明を与えた人に
その功績に対してフィールズ賞が与えられたことがあった筈です。
# 数学に詳しい方の補足を望みます。
Re:いや,だから (スコア:2, 参考になる)
素数定理そのものは1896年に複素解析を用いて証明されています。
Re:いや,だから (スコア:1)
馬鹿には物事の区別なんて難しいことはできないので、
おそらく本気なんでしょう。
NTT作 NILFS (スコア:2, 参考になる)
バックアップソフトのおすすめは? (スコア:1, 興味深い)
差分バックアップソフト (スコア:3, 興味深い)
ソースも書き込み先もUnix系OSならrdiff-backup [nongnu.org]。普通にファイルシステムが作られるので部分リストアが楽。
書き込み先を選ばないものだとduplicity [nongnu.org]。Amazon S3にも書けます。
Re:バックアップソフトのおすすめは? (スコア:2, 参考になる)
Unix系(OS X含む), Windows系共通でフリーの物ならBacula [bacula.jp]という手もあります. 一般的なシステムのバックアップ設計を行うスキルがあれば(これが厳しい条件だけど), お勧めのソフトです. ネットワーク分散型のソフトなのでマルチプラットホーム環境においてもアーカイブを置くファイルシステムを特に意識する必要はありません.
アーカイブを置くストレージサーバ用FSはrobustness重視でNTFS(Windows Serverの場合)かzfs(SolarisかFreeBSDの場合)ってとこでしょうか.
Re:バックアップソフトのおすすめは? (スコア:1)
Mac OS X 版お勧め: rsync
Re:バックアップソフトのおすすめは? (スコア:1)
で答えは? (スコア:1, 興味深い)
>「安いマシン買って NASを作れ」
その中のフォーマットは何なんだよー
Linuxはext3で使ってるけど
extも2と3でどれほど安定性が違うのか理解してないし
(適当に3の方が新しそうだから使ってる)
WindowsはNTFSだけど、OSによって微妙にバージョン違うし
(XpでフォーマットしたけどWin7でアクセスできてるからいいか。とか)
まぁ自分的にはこの2択だけど
じゃあこの2つでどっちが良いのか?と聞かれると困る。
Re:で答えは? (スコア:3, おもしろおかしい)
ext2、ext3には、後継として ext4 もあります。
ext4 に比べると ext3 は古いですよ。windows 7 が出たのに、 windows vista を使っているようなものです。
どっちが良いのと聞かれると、困りますが。
Re:で答えは? (スコア:2, 参考になる)
Re:で答えは? (スコア:3, おもしろおかしい)
じゃあ世代をずらして…
ext3=XP
ext4=Vista
違和感ない!ふしぎ!
Re:で答えは? 枯れていることが大切 (スコア:1)
>ext4で今わかっている問題点の数と、どれだけ修正が入りまくっているか見たらまだ使う気にならないだろう・・・
同意します。試験的に使うとか、今最高性能を求めるならともかく
データ保存用なら、新しいかとか、性能がどうかではなく、枯れているいることでしょう
ext3はある程度枯れているし、ジャーナリングがあるから、何となく良さそうな気がします。
Re:で答えは? 枯れていることが大切 (スコア:1)
>ext3はある程度枯れているし、ジャーナリングがあるから、何となく良さそうな気がします。
と聞いて(見て?)、唐突に鰹節を思い出したのは俺だけで良い。
#全く関係ないけどID
ぐったりんぐ
Re:で答えは? (スコア:1)
Re:で答えは? (スコア:5, 参考になる)
FreeNASでもZFSが選択できるようになりました。
Re:で答えは? (スコア:1)
質問。
ext3ずっと使ってますが、リブート時のメチャメチャ待たされるfsckにうんざりしています。
Linuxで、堅牢で、ジャーナリング機能を備え、fsck要らずか又は非常に早い、ext3に代わるファイルシステムは何があるでしょうか。
どんなOSでもということで (スコア:1, 荒らし)
raw デバイス+tarアーカイブでテープドライブみたいに使うとかどうだろうか?
大容量でもバックアップだけなら、ランダムアクセス性能は考えなくてもいいかもしれないし(違
# 正直、極小だけどメモリはある装置にドライブを繋いでZFSとかでネットワークFS(NFS/SMB/iSCSI)を公開するのが確実だろうなぁ、とか思う
M-FalconSky (暑いか寒い)
FSなど些末な事 (スコア:1)
ファイル単位でちまちまバックアップするなら、どのファイルシステムでも大差はないでしょう。
notice : I ignore an anonymous contribution.
Re:FSなど些末な事 (スコア:1)
オンラインで丸ごとバックアップを取得したいのですか?
それならいくつか製品がありますが……
有名処だとこれ [retrospect.com]かな。
# シマンテック製品にも似たようなのがあった筈。
notice : I ignore an anonymous contribution.
臨機応変 (スコア:1)
#画像や動画を保存しとくならあれこれ考えず素直にNTFSでいいと思いますが
現実解 (スコア:1)
# "リカバリレコード付で分割セーブ可能なバックアップソフト"の選定が問題になりますが……
notice : I ignore an anonymous contribution.
Re:現実解 (スコア:2, おもしろおかしい)
# 経験者なら分かってもらえる
Re:現実解 (スコア:1, 興味深い)
その条件だとバックアップソフトではありませんが、WinRARしか考えられませんね。
アーカイブ属性を見て立ってないと除外とか圧縮後ビットクリアとかかなり高機能です。
7-zipはリカバリレコードないのが無念。
寡聞にしてリカバリレコードを持ちつつある程度広まっているアーカイバといえば
WinRARしか知らないのですが、他になにかありませんか?
Re:現実解 (スコア:1)
> WinRARしか考えられませんね。
やはり、現実解はrarですか。
rarならば、win,poketpc,linux,bsd,MacOSX,DOSで使えますが、
Windows系とMac系以外はコマンドライン操作になってしまいます。
linuxやbsdを使う人ならコマンドラインでも問題ないからいいのかな?
notice : I ignore an anonymous contribution.
ファイル名は255文字対応してほしい (スコア:1)
NTFSからext3へコピーしようとしたらできないファイルがあった。
ファイル名255バイトまでとかやめてほしい。
バックアップとは? (スコア:1)
どうも、バックアップソフトを使って巨大なファイルをひとつ書き込むと思っているのは年寄りで、 「ファイルシステムの個々のファイルをそのまま個別のままにコピーすることがバックアップだ」ってのがもう主流なのかなぁ。
Re:バックアップとは? (スコア:2)
そういうフリーダムなバックアップは、セキュリティ上むしろどうよというのはおいとく。
Re:バックアップとは? (スコア:1)
Re:4GB (スコア:2)
いやもともと
"I have some files that are well over that size that I want to store, mostly raw DVD video."
って話ですから。
Linuxのインストールイメージとかはバックアップ取らなくてもまた持ってくればいいし。
Re:4GB (スコア:1, おもしろおかしい)
電車の中で拾えばよいのです。
Re:4GB (スコア:2)
ReiserFSのコメは、たしかに酷い。趣味の悪いジョークだ。
それに対して、フレームのもとをモデしたい。
Re:4GB (スコア:2, おもしろおかしい)
Re:ReiserFS (スコア:2)
Re:長期のバックアップは何がよいのだろう? (スコア:2, 参考になる)
保管義務だの証拠物件になる可能性だの、色々ある業務をやっとりますが。
単一のメディアで長期保存することは諦めました。
そのため、私の場合は運用による冗長性向上を目指すことにしました。
具体的にはこんな感じです。
1)半年に一度程度、エラーリカバリ領域最大にしたRARに固める(コレで助かった実例はありませんが、念のため)
2)その中身は自宅マシン、事務所マシン、DVD-Rに入れて保存
3)光メディアの耐久度曲線が一気に落ち始める4年(日経サイエンスに載っていた論文調べ)をめどに、DVD-Rを廃棄、その時点で一番適当なメディア(現在でもDVD-R)を使用し焼き直し
Re:長期のバックアップは何がよいのだろう? (スコア:2)
耐久性と言っても微妙。
・シリコンメディアはソフトエラーが怖い
通電してなくてもデータが壊れるなんて話もあったし
・半導体は温湿度の変化によって劣化する
非動作保存であれば温度は致命的な条件にならないだろうけど湿度制御が必要
・大容量flashはまだ日が浅く、実績が少ない
そうでなくても構造的に無理をさせているので怪しい(?)
多重分散の一手なら良いけど、
これだけだとやはり絶対ではない
# そういえば[バックアップメディア]ではなく[ファイルシステム]の話だった。
Re:長期のバックアップは何がよいのだろう? (スコア:1)
ああ、自営業だから特に問題有りませぬ。
自宅マシンは保安上念のため(と、仕事中遊ぶ気にならないよう)、仕事用アカウントと遊び用アカウントを変えて運用しているけど。
Dropbox経由でやりとりしているので、正確に言えばDropboxも冗長性の一環に組み込まれてますね。
Re:長期のバックアップは何がよいのだろう? (スコア:1, 興味深い)
そこでオンラインストレージですよ
物理層は勝手にメンテしてくれます。
会社が永続するかが問題ですが…
Re:長期のバックアップは何がよいのだろう? (スコア:1)
それから類推するとSATAは20年先に読みたければ中古/ジャンク屋めぐりしないといけなさそう。