Linux环境下如何确保数据安全稳定写入磁盘?

2026-05-06 20:121阅读0评论SEO问题
  • 内容介绍
  • 文章标签
  • 相关推荐

本文共计792个文字,预计阅读时间需要4分钟。

Linux环境下如何确保数据安全稳定写入磁盘?

这里重点说明O_DIRECT和O_SYNC。首先,O_DIRECT表示数据不会经过page cache(通常用于用户态自己管理buffer的情况),而是直接提交给块设备层。但这种方式不会同步等待数据安全写入磁盘,例如数据可能在块层排队或在磁盘缓存中。

而O_SYNC标志意味着即使数据会经过page cache,也会采用write through策略,并同步等待数据安全写入磁盘后才会返回。因此,如果同时使用O_DIRECT和O_SYNC,数据不会经过page cache,并且会同步写入磁盘,从而保证数据安全,但这样IO的性能会非常低。

      那么要怎么做呢?很多人会想到很多办法,比如:fflush()、fsync()、fdatasync()、sync()、open()使用O_DIRECT或O_SYNC标志等。嗯,这些手段(或者某些组合)的确可以保证数据安全的持久化,那么它们之间有什么区别呢?fflush()和fsync()有啥区别?O_DIRECT是啥意思,它可以保证数据安全的持久化吗?O_DIRECT和O_SYNC区别什么?O_SYNC和fsync()呢?fsync能完成msync的功能吗?本文将试图理解、解释这些概念的作用和区别。

Linux IO

      所谓一图胜千言,为了解析清楚这些概念的区别,我特意画了一张图,仔细看,应该可以清晰的看出它们的作用和区别。

      这里重点说一下O_DIRECT和O_SYNC,首先要明确的是,O_DIRECT只是说数据不会经过page cache(一般用在用户态自己管理buffer)而是直接提交给块设备层,但是不会同步等待数据安全写入磁盘之后才返回(比如数据可能还在块层排队或者在磁盘自己的cache中)。而O_SYNC标志,虽然数据还是会写page cache,但是此时会采用write through的策略,并同步等待数据安全写入磁盘后才会返回。因此如果同时使用O_DIRECT和O_SYNC,则表示数据不会经过page cache并同步等待数据安全写入磁盘才返回,当然这样IO的性能会非常低下。

      由于O_DIRECT会bypass page cache,因此如果有另一个进程使用普通的方式读文件,有可能会出现数据不一致的现象,这个也需要注意。

      为了做一下辅助说明,此处我贴一下我探讨过程中看过的一些资料。首先是引用open系统调用:http://man7.org/linux/man-pages/man2/open.2.html 相关参数的说明:

     以及innodb相关的文档:https://lwn.net/Articles/457667/

    fsync和fdatasync的区别:http://man7.org/linux/man-pages/man2/fsync.2.html


     msync:http://man7.org/linux/man-pages/man2/msync.2.html

DAX

      其实还有一种IO模式,就是DAX(Direct Access ),是不是看上去和O_DIRECT很像。这种模式需要filesystem和block driver都支持才可以,一般主要用在non volatile memory上,本质上也是绕过page cache直接操作设备。DAX本文先不做深入探讨,后面我会自己写一个支持DAX模式的ramdisk块设备驱动,然后格式化为ext4文件系统并-o dax模式挂载,再来详细研究DAX的IO路径。

更多Linux文章,请访问Linux教程栏目进行学习!

本文共计792个文字,预计阅读时间需要4分钟。

Linux环境下如何确保数据安全稳定写入磁盘?

这里重点说明O_DIRECT和O_SYNC。首先,O_DIRECT表示数据不会经过page cache(通常用于用户态自己管理buffer的情况),而是直接提交给块设备层。但这种方式不会同步等待数据安全写入磁盘,例如数据可能在块层排队或在磁盘缓存中。

而O_SYNC标志意味着即使数据会经过page cache,也会采用write through策略,并同步等待数据安全写入磁盘后才会返回。因此,如果同时使用O_DIRECT和O_SYNC,数据不会经过page cache,并且会同步写入磁盘,从而保证数据安全,但这样IO的性能会非常低。

      那么要怎么做呢?很多人会想到很多办法,比如:fflush()、fsync()、fdatasync()、sync()、open()使用O_DIRECT或O_SYNC标志等。嗯,这些手段(或者某些组合)的确可以保证数据安全的持久化,那么它们之间有什么区别呢?fflush()和fsync()有啥区别?O_DIRECT是啥意思,它可以保证数据安全的持久化吗?O_DIRECT和O_SYNC区别什么?O_SYNC和fsync()呢?fsync能完成msync的功能吗?本文将试图理解、解释这些概念的作用和区别。

Linux IO

      所谓一图胜千言,为了解析清楚这些概念的区别,我特意画了一张图,仔细看,应该可以清晰的看出它们的作用和区别。

      这里重点说一下O_DIRECT和O_SYNC,首先要明确的是,O_DIRECT只是说数据不会经过page cache(一般用在用户态自己管理buffer)而是直接提交给块设备层,但是不会同步等待数据安全写入磁盘之后才返回(比如数据可能还在块层排队或者在磁盘自己的cache中)。而O_SYNC标志,虽然数据还是会写page cache,但是此时会采用write through的策略,并同步等待数据安全写入磁盘后才会返回。因此如果同时使用O_DIRECT和O_SYNC,则表示数据不会经过page cache并同步等待数据安全写入磁盘才返回,当然这样IO的性能会非常低下。

      由于O_DIRECT会bypass page cache,因此如果有另一个进程使用普通的方式读文件,有可能会出现数据不一致的现象,这个也需要注意。

      为了做一下辅助说明,此处我贴一下我探讨过程中看过的一些资料。首先是引用open系统调用:http://man7.org/linux/man-pages/man2/open.2.html 相关参数的说明:

     以及innodb相关的文档:https://lwn.net/Articles/457667/

    fsync和fdatasync的区别:http://man7.org/linux/man-pages/man2/fsync.2.html


     msync:http://man7.org/linux/man-pages/man2/msync.2.html

DAX

      其实还有一种IO模式,就是DAX(Direct Access ),是不是看上去和O_DIRECT很像。这种模式需要filesystem和block driver都支持才可以,一般主要用在non volatile memory上,本质上也是绕过page cache直接操作设备。DAX本文先不做深入探讨,后面我会自己写一个支持DAX模式的ramdisk块设备驱动,然后格式化为ext4文件系统并-o dax模式挂载,再来详细研究DAX的IO路径。

更多Linux文章,请访问Linux教程栏目进行学习!