ジャーナリングファイルシステム




ジャーナリングファイルシステム（Journaling file system）とは、書き換え処理要求（トランザクション）単位で内包するファイル構成情報を含むメタデータを管理および保持できる機能を持ったファイルシステムのこと。ジャーナルファイルシステムともいう。




目次






  • 1 概要


    • 1.1 既存ファイルシステムの問題点


    • 1.2 初期の回避策


    • 1.3 ジャーナリングによる解決




  • 2 経緯


  • 3 ジャーナリングファイルシステム製品


    • 3.1 商用UNIX


    • 3.2 Linux


    • 3.3 FreeBSD


    • 3.4 NetBSD


    • 3.5 Windows


    • 3.6 Mac


    • 3.7 その他のOSでのジャーナリングファイルシステム







概要


重要なデータを扱うシステムにおいて、細分化されたファイルや大規模なファイルなどの更新を行う際、ファイルシステムのメタデータ書き換え処理において比較的長い時間が必要となり、その書き換え中に電源断や処理中断が発生した場合、ファイル構成情報に矛盾が発生し、最悪データへのアクセスが不可能となってしまう。
このような状況を避けるため、UNIXでいうinode情報やWindowsのSuperBlock、FNODEといったファイルシステム上のメタデータを書き換え処理（トランザクション）単位で管理・保持する事ができる機能を持ったファイルシステムのことである。



既存ファイルシステムの問題点


一般にディスク上のファイルシステムに書き込まれるデータには、データ自体を現す実データ部分とその実データのディスク上の位置、ファイル名/更新日時、アクセス権限などの管理情報を現すメタデータ部分の2種類に分類される。


実際にハードディスクにデータを書き込む際のファイルシステムの動きを追ってみる。
ファイルシステムがデータを記録する場合、まず実データの書き込みを行い、その上でその実データを管理するメタデータを書き出さなくてはならない。


このメタデータの記録に時間が掛かる場合、つまり非常に小さいファイル群の記録(管理データが増える)やその逆の非常に大きなファイル（実データがどこにあるかの管理データが増える）を記録するような場合において、メタデータの書き込みを行っている最中に何らかの原因（例えば電源切断）により書き込み処理が中断したとする。
その場合、メタデータとして記録した情報に不整合が発生し、実データの配置や管理情報矛盾などが起こり、実データへのアクセス手段を失ってしまう事になる。



初期の回避策


この問題を回避する方法として、システムが再起動した際にハードディスク全体をスキャンするプログラムを実行して、矛盾を修正する方法が用意された。


このチェックプログラムと各オペレーティングシステムは以下の様。




  • UNIX系: fsck


  • Windows: chkdsk, scandisk


  • Mac OS: Disk First Aid


これらのプログラムは起動時に自動的にチェックするような対応が取られている。


しかし、これらのツールを使用して、起動時にチェックする方法には以下のような問題点が残される。



  • 実データとメタ情報の突合せ確認を行うため、全ディスクの情報を検証するための処理とディスク全体の再スキャンに非常に時間がかかる。

  • スキャンプログラムによるチェック時に想定以外の問題を検出した場合、不整合なデータを削除するため、実データ自体が失われてしまう可能性が残る。


この問題を解決するため、ジャーナリングファイルシステムが導入された。



ジャーナリングによる解決


以上の問題点に対し、それぞれの実データ書き込みよりもメタデータの書き込みを先行的に行い、書き込み要求に従ってそのメタデータを「ジャーナル」と呼ばれる領域に逐次記録し、更新する事で対処するジャーナリングが考案され、実装された。


メタデータを先行的に書き込み、実データ書き込み要求に従ってその変更点を反映し、複数回分のメタデータをジャーナルに保持・管理する事で、ファイル更新中の書き込み中断に対処する事ができる。


この方法を取る事により、メタデータと実データ間の矛盾が発生しても、矛盾が発生する前のメタデータに強制的に戻す事により、実データを含むファイル自体の消失を避ける事ができる。この方法は、ハードディスク全体を詳細にスキャンするより遥かに処理時間を短くする事が可能である。


他の解決方法として、いかなるタイミングで連続する書き込みが中断されても矛盾が起きないよう、ディスクへの書き込み順を制御する、という解決がある。FreeBSDではそちらが採用された（soft updates）。


一般にジャーナルによって保護されるのはメタデータまでで、ファイルの中身までは保護されない。つまり、ジャーナリングファイルシステムを導入することで、システムクラッシュにともなうファイルシステムの破壊という事態は避けられるものの、保存したはずの内容が保存されていなかったという事態が起こる可能性は十分に考えられる。


ただし、Linuxのext3やネットアップのWAFL等、いくつかのジャーナリングファイルシステムでは実データの保護も行っている。



経緯


元々、汎用機において重要な業務データを扱う際のファイルのメタデータ保持方法から考案されたものであり、汎用機のファイル管理ツールの設計思想をPCで取り入れるべく考慮された。
そのため、オープン系での最初のジャーナリングファイルシステムは、汎用機及び高可用トレラントコンピュータ向けのOSを作っていたIBMのJFS（AIX V3.1向け1990年)及び、Tolerant Software(VERITAS)のVxFS(UNIX System V向け1989年)である。



JFS

当初はOS/2に開発が進み、実際のリリースは、1990年にIBMの商用UNIXであるAIXのV3.1に行われた。



VxFS

また、ほぼ同時期に、UNIXの汎用機置き換え需要に合わせ、1987年にTolerant Software（VERITAS社の前身）がAT&T UNIX System Laboratoriesの協力を得て、自社のハイアベイラビリティ・オペレーティングシステムからUNIX System V向けに価値あるコードを抽出し、トランザクションベースのボリュームマネージャと共にUNIX向けジャーナリングファイルシステムを業界で初めて開発した。その後、商用パッケージとして1989年にVxFSとして提供された。


その後、UNIXライクなOSの発展に伴い、多くのジャーナリングファイルシステムが考案され、実装されている。



ジャーナリングファイルシステム製品


以下、VxFSのみ有償であり、それ以外は無償または標準搭載である。



商用UNIX




  • AIX: JFS、VxFS


  • HP-UX: VxFS


  • Solaris: UFS logging、ZFS（Solaris10から使用可能）、VxFS


  • IRIX: XFS



Linux




  • ext3、ext4

  • JFS

  • ReiserFS

  • XFS

  • VxFS

  • ZFS

  • NTFS



FreeBSD




  • GEOM gjournal

  • ZFS

  • Journaled Soft updates (FreeBSD 9 の途中以降)



NetBSD


  • WAPBL


Windows


  • NTFS


Mac



  • HFS+ - ジャーナリングはMac OS X 10.2.2から加わった


その他のOSでのジャーナリングファイルシステム




  • BeOS: BFS

  • NetWare5: NSS

  • Spiralog


  • WAFL - ネットアップの統合ストレージ管理マイクロカーネルONTAPに実装




-

Popular posts from this blog

CARDNET

Image
CARDNET は日本カードネットワークが運営するクレジット決済ネットワーク。日本カードネットワークの略称としてもCARDNETが使用されている。 事件・事故 2017年4月15日午前11時8分からクレジットカードの決済がしづらくなる障害が発生した。障害は同日午後5時18分に復旧した。原因は、複数あるCARDNETセンターの拠点のうち1つで、2重化してあるL3スイッチの片方が故障し、1系統にトラフィックが集中したことによる輻輳が発生したため。対処としては、故障したL3スイッチ交換とシステム再起動が行われた [1] 。 出典 ^ 金子寛人 ( 2017年4月17日 ). “CARDNETのクレジット決済に6時間強障害、原因はL3スイッチ故障”. 日経コンピュータ. 2018年10月18日 閲覧。 この項目は、コンピュータに関連した 書きかけの項目 です。この項目を加筆・訂正などしてくださる協力者を求めています（PJ:コンピュータ/P:コンピュータ）。 この項目は、経済に関連した 書きかけの項目 です。この項目を加筆・訂正などしてくださる協力者を求めています（ポータル 経済学、プロジェクト 経済）。 This page is only for reference, If you need detailed information, please check here
Read more

Boot-repair Failure: Unable to locate package grub-common:i386

Image
0 I am on a system dual-booting Windows and Debian (usually using the latter), and a recent Windows update appears to have wreaked havoc on the Debian boot system. I managed to boot Windows again, but not Linux. Following online suggestions, I created a Live USB of Ubuntu, and booted from that. Then I have installed and run the boot-repair utility. The utility instructs me to type several lines including sudo chroot "/mnt/boot-sav/sda6" apt-get purge -y grub*-common grub-common:i386 To which I receive the error E: Unable to locate package grub-common:i386 I am given to understand the issue may have to do with having UEFI vs BIOS (I believe I have UEFI), but do not understand this well. In any case I have subsequently run the boot-repair BootInfo Summary utility which created the following file h
Read more

濃尾地震

Image
濃尾地震 『岐阜市街大地震之図』 歌川国利画 本震 発生日 1891年（明治24年）10月28日 発生時刻 6時38分50秒（JST） 震央 日本 岐阜県本巣郡西根尾村（現・本巣市） 北緯35度35分 東経136度20分（ 地図 ） 規模    マグニチュード（M）8.0 最大震度    震度7： 注1 福井県今立郡鯖江町、愛知県葉栗郡大田島村、東春日井郡勝川村 地震の種類 直下型地震 被害 死傷者数 死者7,273人、負傷者17,175人 注1：当時の震度階級では「激烈」 プロジェクト:地球科学 プロジェクト:災害 テンプレートを表示 濃尾地震 （のうびじしん）は、1891年（明治24年）10月28日に濃尾地方で発生した、日本史上最大の内陸地殻内地震。「 美濃・尾張地震 （みの・おわりじしん）」とも呼ばれている。辛卯の年に発生したことから 辛卯震災 と呼んでいる報告書もある。 目次 1 概要 1.1 震源断層 2 被害 3 各地の震度 4 前兆現象 5 報道 6 学術的な意義 7 地震防災 8 脚注 9 関連項目 10 外部リンク 概要 濃尾地震発生当時の根尾谷断層 濃尾地震を引き起こした根尾谷断層 写真中央を斜めに走る段差が根尾谷断層 濃尾地震は、1891年10月28日6時38分50秒に発生した。震源は、岐阜県本巣郡西根尾村（現・本巣市）、北緯35度35分、東経136度20分付近。河角廣 (1951) は岐阜市付近（北緯35.6度、東経136.6度）に震央を仮定し規模 M K = 7.0 を与え [1] 、マグニチュードは M = 8.4 に換算されているが、明治・大正期の地震については0.5程度大きく見積もられているとされる [2] 。また、震央距離と震度との関係など当時のデータから後にM8.0 [3] とも推定される。アメリカ地質調査所 (USGS) でも8.0としている [4] 。「根尾谷断層帯」が活動した典型的な内陸地殻内地震（いわゆる直下型地震）であり、これは記録が残っている日本の内陸
Read more