Linux 系统编程学习笔记 – 标准输入输出之缓冲

Linux系统为进程预定义了3个流:标准输入、标准输出、标准错误。进程启动时,会自动打开。
3个流分别对应文件描述符(int):STDIN_FILENO、STDOUT_FILENO、STDERR_FILENO;
对应文件指针(FILE *):stdin、stdout、stderr;

缓冲

标准I/O库为标准输入、标准输出流提供了缓存。标准错误默认没有缓冲。
提供缓冲的目的是尽可能减少read、write调用次数。

下图是一个调用fprintf与缓冲区关系的示例:
Linux 系统编程学习笔记 - 标准输入输出之缓冲

标准I/O和文件I/O

文件I/O:不带缓冲的I/O(unbuffered I/O)。不带缓冲是指函数实现时不带库缓冲区,从而每个读、写操作,都直接调用系统调用。
标准I/O:ANSI C建立的标准I/O模型,API包含在<stdio.h>中,不依赖内核,可移植性强。标准I/O库实现的缓存,统称简称库缓冲。

3种标准I/O缓冲

  1. 全缓冲
    填满库缓冲后,才调用write将库缓冲内容写入内核高速缓存,由内核写入流。

冲洗(flush)说明库缓冲的写操作。通常全缓冲写满以后,才会触发write系统调用,而冲洗操作会主动触发write,将所有用户控件输入write进内核高速缓存。对应系统调用fflush()。

  1. 行缓冲
    当输入和输出遇到换行符(CRLF for Win, LF for Unix)时,标准I/O库执行实际的I/O操作(read/write)。可以用fputc一次输出一个字符,但只有写了一行字符串或者写满库缓冲时,才会进行实际I/O操作。

对行缓冲有2个限制:
1)标准I/O库用来收集每行缓冲区长度固定,只要填满缓冲区,即使每写换行符,也进行I/O操作;
2)任何时候,只要通过标准I/O库从 一个不带缓冲的流,或者一个行缓冲的流得到数据,那么就会flush库的所有行缓冲输出流;

  1. 不带缓冲
    指的是标准I/O库不对字符进行行缓冲存储。当然,这需要我们收到设置 禁用库缓冲,因为标准I/O输入、输出是默认行缓冲。

PS:标准错误流默认不带库缓冲。

ISO C要求下列缓冲特征:

  • 当前仅当标准输入、标准输出不指向交互式设备时,它们才是全缓冲的;
  • 标准错误绝不会是全缓冲的;

很多系统默认实现:

  • 标准错误是不带缓冲的;
  • 若是指向终端设备的流,则是行缓冲的;否则,是全缓冲的;

设置库缓冲

  • setbuf
    setbuf 使能、禁用长度为BUFSIZ的用户缓冲区buf。(BUFSIZ定义在<stdio.h>头文件中)。buf为NULL,代表关闭缓冲;buf指向一个长度为BUFSIZ的缓冲区,代表该流与全缓冲关联,如果该流与一个终端设备相关,那么有些系统可以将其设置为行缓冲。

  • setvbuf
    setvbuf 精确说明所需要的缓存类型,用mode参数实现:
    _IOFBF 全缓冲
    _IOLBF 行缓冲
    _IONBF 不带缓冲

  • setbuf与setvbuf关系

  1. setbuf(stream, buf) 相当于 setvbuf(stream, buf, buf ? _IOFBF : _IONBF, BUFSIZ);
  2. setbuf 只能简单开启、关闭库缓冲,而不能指定其类型。setvbuf可以精确指定缓存类型;
  3. setbuf如果指定缓冲,其大小必须为固定的BUFSIZ,而setvbuf没有这个限制;
  4. 当setvbuf的mode指定_IOFBF(全缓冲)或者_IOLBF (行缓冲)时,如果buf为NULL,则由系统自动分配缓冲区;如果非NULL,则由用户提供缓冲区及其大小size;

setbuf, setvbuf函数原型

#include <stdio.h>

void setbuf(FILE *stream, char *buf);
int setvbuf(FILE *stream, char *buf, int mode, size_t size);

冲洗流(库缓冲)

fflush 函数可以强制冲洗一个流,使得库缓冲内容传送至内核(高速缓存)。
如果stream为NULL,将导致所有输出流被冲洗。

#include <stdio.h>

int fflush(FILE *stream);

PS:关于写磁盘,可以参考以下几点,不过要谨慎使用,可能导致效率很低。

  1. O_DIRECT选项
    如果想绕过内核高速缓存,直接访问磁盘而不使用内核缓存,可以在open文件的时候,加上选项O_DIRECT。对read、write都有效。

  2. O_SYNC选项
    如果想把内核缓存数据直接同步到磁盘,可以open文件的时候,加上O_SYNC选项。O_SYNC只对write有效。
    使用O_SYNC务必大块数据一次写,通常是 512B至4KB/次以上,避免频繁同步磁盘,导致效率极其低下。

  3. 缓存同步
    尽量保证缓存数据和写到磁盘的数据一致,有以下几种方法:

  • sync() 将所有修改过的块缓存提交到队列,然后返回,并不等待实际写磁盘操作结束(APUE描述,Linux环境编程 从应用到内核指出该点可能有误),并不能保证数据写入磁盘;

  • fsync() 将fd对应的文件的块缓存立即写入磁盘,并等待写磁盘操作结束返回;

  • fdatasync() 类似于fsync,但只影响文件的数据部分。而fsync除数据外,还会同步更新文件属性(如访问时间、修改时间、文件大小等);

原文链接: https://www.cnblogs.com/fortunely/p/15467021.html

欢迎关注

微信关注下方公众号,第一时间获取干货硬货;公众号内回复【pdf】免费获取数百本计算机经典书籍;

也有高质量的技术群,里面有嵌入式、搜广推等BAT大佬

    Linux 系统编程学习笔记 - 标准输入输出之缓冲

原创文章受到原创版权保护。转载请注明出处:https://www.ccppcoding.com/archives/402884

非原创文章文中已经注明原地址,如有侵权,联系删除

关注公众号【高性能架构探索】,第一时间获取最新文章

转载文章受原作者版权保护。转载请注明原作者出处!

(0)
上一篇 2023年4月21日 上午11:15
下一篇 2023年4月21日 上午11:16

相关推荐