linux工作队列 - workqueue总览

2019-07-13 09:24发布

workqueue归入中断子系统是由于和中断处理有密切关系,写博客重要在于整理自己的思绪,写的时候会把一些不懂的细节问题暴露出来,这样会把问题看的更透彻,workqueue的代码在文件kernel/workqueue.c中,大约5K+行,本文基于linux 4.6.3编写,由于能力有限,本文介绍不全面或者理解有误之处还请见谅,欢迎指正一起探讨。

文章系列

1.linux工作队列 - workqueue总览
2.linux工作队列 - workqueue_struct创建
3.linux工作队列 - 把work_struct加入工作队列
4.linux工作队列 - work_struct被调用过程

1.介绍

1.1工作队列介绍

有许多情况下需要异步执行进程上下文,在linux中工作队列(wq)是处理这种情况最常用的机制。在处理中断中,对于中断下半部的处理最常用的就是wq。

1.2CMWQ

在原有的wq实现中,一个多线程wq(MT wq)有一个per CPU worker线程,一个单线程wq有一个系统范围的worker线程。多线程wq(MT wq)的数量保持和cpu的个数一致,随着近年来cpu core个数的增加,多线程wq(MT wq)的增加已经使得系统在32k PID的控件接近饱和。 虽然MT wq消耗了大量资源,但是提供的并发执行水平还是得不到满足。即使MT有很少的服务但是ST wq和MT wq还是有限制。每个wq有自己单独的worker pool,MTwq智能在per CPU执行,而STwq可以在整个系统执行。 CMWQ(Concurrency Managed Workqueue)是对原有wq的一个重新实现,主要解决以下问题:
a. API要能够兼容以前的wq实现
b. 使用per-CPU的worker pool要能够被所有的wq所共享,以便提供更好的并发灵活性,以免浪费资源
c. 对于使用者要隐藏细节

2.workqueue设计框架

工作队列的整体设计框架如下图,这里有多个结构体,他们之间的关系下面说明 这里写图片描述 work_struct结构体代表的是一个任务,它指向一个待异步执行的函数,不管驱动还是子系统什么时候要执行这个函数,都必须把work加入到一个workqueue。 worker结构体代表一个工作者线程(worker thread),它主要一个接一个的执行挂入到队列中的work,如果没有work了,那么工作者线程就挂起,这些工作者线程被worker-pool管理。 对于驱动和子系统的开发人员来说,接触到的只有work,而背后的处理机制是管理worker-pool和处理挂入的work,这就是CMWQ设计的不同。 worker-pool结构体用来管理worker,对于每一种worker pool都分两种情况:一种是处理普通work,另一种是处理高优先级的work。 workqueue_struct结构体代表的是工作队列,工作队列分unbound workqueue和bound workqueue。bound workqueue就是绑定到cpu上的,挂入到此队列中的work只会在相对应的cpu上运行。unbound workqueue不绑定到特定的cpu,而且后台线程池的数量也是动态的,具体workqueue关联到哪个worker pool,这是由workqueue_attrs决定的。

3.workqueue用法

工作队列从字面意义上很好理解,虽然背后的实现机制有点复杂,但是使用的时候还是简单方便的,对于使用者来说,我们只要定义一个work,然后把work加入到workqueue。如果当前没有我们需要的workqueue,那么我们需要自己创建一个。 下文各个API的具体说明见include/linux/workqueue.h

3.1workqueue_struct创建与销毁

//创建workqueue_struct #define alloc_ordered_workqueue(fmt, flags, args...) alloc_workqueue(fmt, WQ_UNBOUND | __WQ_ORDERED | (flags), 1, ##args) #define create_workqueue(name) alloc_workqueue("%s", __WQ_LEGACY | WQ_MEM_RECLAIM, 1, (name)) #define create_freezable_workqueue(name) alloc_workqueue("%s", __WQ_LEGACY | WQ_FREEZABLE | WQ_UNBOUND | WQ_MEM_RECLAIM, 1, (name)) #define create_singlethread_workqueue(name) alloc_ordered_workqueue("%s", __WQ_LEGACY | WQ_MEM_RECLAIM, name) //销毁workqueue_struct extern void destroy_workqueue(struct workqueue_struct *wq); 由上可以看出workqueue的创建根据flag的不同会创建不同种类的workqueue,但最终都会调用到接口alloc_workqueue,具体workqueue创建的过程及代码分析见文章linux工作队列 - workqueue_struct创建

3.2初始化work_struct

#define INIT_WORK(_work, _func) __INIT_WORK((_work), (_func), 0) #define INIT_WORK_ONSTACK(_work, _func) __INIT_WORK((_work), (_func), 1) #define INIT_DELAYED_WORK(_work, _func) __INIT_DELAYED_WORK(_work, _func, 0) #define INIT_DELAYED_WORK_ONSTACK(_work, _func) __INIT_DELAYED_WORK_ONSTACK(_work, _func, 0) #define INIT_DEFERRABLE_WORK(_work, _func) __INIT_DELAYED_WORK(_work, _func, TIMER_DEFERRABLE) #define INIT_DEFERRABLE_WORK_ONSTACK(_work, _func) __INIT_DELAYED_WORK_ONSTACK(_work, _func, TIMER_DEFERRABLE)

3.3把work_struct加入工作队列

extern bool queue_work_on(int cpu, struct workqueue_struct *wq, struct work_struct *work); extern bool queue_delayed_work_on(int cpu, struct workqueue_struct *wq, struct delayed_work *work, unsigned long delay); extern bool mod_delayed_work_on(int cpu, struct workqueue_struct *wq, struct delayed_work *dwork, unsigned long delay); 具体代码分析见linux工作队列 - 把work_struct加入工作队列