一文搞懂core-scheduling核心机制
cookie的原理借助于unsigned long型，和refcount_t引用计数器。
| 32位 | 64位 | |
|---|---|---|
| char * | 4字节 | 8字节 |
| unsigned long | 4字节 | 8字节 |
数据结构修改
首先看看实现core scheduling功能对数据结构有哪些修改
task_struct
struct task_struct{struct rb_node core_node;unsigned long core_cookie;unsigned int core_occupation;
}
sched_statistics
struct sched_statistics{u64 core_forceidle_sum;
}
sched_core_cookie
cookie本质就是一个内核引用计数器refcount_t成员构成的struct结构体。然后task_struct中保存的core_cookie是unsigned long型数据，刚好能存放指针变量值，就是存放的该结构体的内存地址。
使用alloc分配出来的sched_core_cookie结构体的address内存地址作为一个task的cookie值，cookie 类型是unsigned long的指针。
/*新增*/
struct sched_core_cookie{refcount_t refcnt;
}
rq
rq中增加了有关core sched的开关等信息。
struct rq {//...省略
#ifdef CONFIG_SCHED_CORE/* per rq */struct rq *core;struct task_struct *core_pick;unsigned int core_enabled;unsigned int core_sched_seq;struct rb_root core_tree; /*可以使用同一个core的都要加入红黑树*//* shared state -- careful with sched_core_cpu_deactivate() */unsigned int core_task_seq;unsigned int core_pick_seq;unsigned long core_cookie;unsigned int core_forceidle_count;unsigned int core_forceidle_seq;unsigned int core_forceidle_occupation;u64 core_forceidle_start;
#endif
}
这部分初始化
#ifdef CONFIG_SCHED_CORErq->core = rq;rq->core_pick = NULL;rq->core_enabled = 0;rq->core_tree = RB_ROOT;rq->core_forceidle_count = 0;rq->core_forceidle_occupation = 0;rq->core_forceidle_start = 0;rq->core_cookie = 0UL;
#endif
cfs_rq
struct cfs_rq{//...省略代码#ifdef CONFIG_SCHED_COREunsigned int forceidle_seq;u64 min_vruntime_fi;
#endif
}
cookie
用户态程序通过prctl系统调用来操作相关进程的cookie动作。
prctl接口
prctl系统调用接口中新增有关PR_SCHED_CORE的操作处理函数。
SYSCALL_DEFINE5(prctl, int, option, unsigned long, arg2, unsigned long, arg3,unsigned long, arg4, unsigned long, arg5)
{...
#ifdef CONFIG_SCHED_COREcase PR_SCHED_CORE:error = sched_core_share_pid(arg2, arg3, arg4, arg5);break;
#endif
}
int sched_core_share_pid(unsigned int cmd, pid_t pid, enum pid_type type,unsigned long uaddr)
{unsigned long cookie = 0, id = 0;struct task_struct *task, *p;struct pid *grp;int err = 0;//...省略rcu_read_lock();if (pid == 0) {task = current; /*pid为0,则是设置进程本身*/} else {task = find_task_by_vpid(pid); /*根据pid查找进程PCB*/if (!task) {rcu_read_unlock();return -ESRCH;}}get_task_struct(task); /*该函数就是为了给task_struct引用符计数+1,防止中断处理中程序被kill掉访问非法PCB指针*/rcu_read_unlock();/* 检查进程是否有权限修改指定的进程* Check if this process has the right to modify the specified* process. Use the regular "ptrace_may_access()" checks.*/if (!ptrace_may_access(task, PTRACE_MODE_READ_REALCREDS)) {err = -EPERM;goto out;}switch (cmd) {case PR_SCHED_CORE_GET: if (type != PIDTYPE_PID || uaddr & 7) {err = -EINVAL;goto out;}cookie = sched_core_clone_cookie(task); /*获取task任务的cookie值*/if (cookie) {/* XXX improve ? */ptr_to_hashval((void *)cookie, &id);}err = put_user(id, (u64 __user *)uaddr);goto out;case PR_SCHED_CORE_CREATE:cookie = sched_core_alloc_cookie(); /*创建task任务的cookie值*/if (!cookie) {err = -ENOMEM;goto out;}break;case PR_SCHED_CORE_SHARE_TO:cookie = sched_core_clone_cookie(current); /*共享继承指定task任务的cookie值*/break;case PR_SCHED_CORE_SHARE_FROM:if (type != PIDTYPE_PID) {err = -EINVAL;goto out;}cookie = sched_core_clone_cookie(task);__sched_core_set(current, cookie); /*将自身cookie共享给指定的task任务*/goto out;default:err = -EINVAL;goto out;};if (type == PIDTYPE_PID) {__sched_core_set(task, cookie); /*设置任务task的cookie值*/goto out;}read_lock(&tasklist_lock); /*这里是对任务组进行设置，对任务组中每个任务都设置cookie*/grp = task_pid_type(task, type);do_each_pid_thread(grp, type, p) {if (!ptrace_may_access(p, PTRACE_MODE_READ_REALCREDS)) {err = -EPERM;goto out_tasklist;goto out_tasklist;}} while_each_pid_thread(grp, type, p);do_each_pid_thread(grp, type, p) {__sched_core_set(p, cookie);} while_each_pid_thread(grp, type, p);
out_tasklist:read_unlock(&tasklist_lock);out:sched_core_put_cookie(cookie); /*cookie指针计数器减1，并检查是否为0，没有人用则需要释放*/put_task_struct(task); /*检查task指针技术减1*/return err;
}
该函数中，out出口时为何需要对cookie进行put，对task进行put？
- 对task进行put是因为调用了get_task_struct(task)函数，该函数中会对task引用计数加1，所以在sched_core_share_pid()函数末尾需要对task指针引用计数减1
- 对cookie计数减1，是因为在get_cookie，clone_cookie，allock_cookie等函数中对cookie的引用计数加了1，然后再**__sched_core_set函数中又调用get_cookie，又再次对cookie的计数加了1，一共加了两次，所以函数末尾需要相应的对cookie计数减1并检查是否为0（__sched_core_set**函数中也有一次减1操作，不过是对old_cookie的操作）。所以最终cookie的引用次数整体还是加了1的
创建cookie
何时需要创建cookie？是每个进程都有一个cookie么？cookie值保存在哪里？
static unsigned long sched_core_alloc_cookie(void)
{struct sched_core_cookie *ck = kmalloc(sizeof(*ck), GFP_KERNEL);if (!ck)return 0;refcount_set(&ck->refcnt, 1); /*cookie的计数器加1*/sched_core_get(); /*enable core sched功能，就是打开开关标志*/return (unsigned long)ck;
}
获取cookie
static unsigned long sched_core_get_cookie(unsigned long cookie)
{struct sched_core_cookie *ptr = (void *)cookie;if (ptr)refcount_inc(&ptr->refcnt);return cookie;
}
入参：某个task_struct的cookie值，p->core_cookie; 类型unsigned long存放的其实是指针，该指针指向结构体sched_core_cookie计数器。
get_cookie的操作主要就是对cookie中的refcnt计数器加1。
共享cookie
task任务共享当前current任务的cookie
cookie = sched_core_clone_cookie(current);
__sched_set_core(task, cookie);
static unsigned long sched_core_clone_cookie(struct task_struct *p)
{unsigned long cookie, flags;raw_spin_lock_irqsave(&p->pi_lock, flags);cookie = sched_core_get_cookie(p->core_cookie); //获取指定进程的core_cookie值raw_spin_unlock_irqrestore(&p->pi_lock, flags);return cookie;
}
分享cookie
分享当前current任务的cookie给指定任务task。
cookie = sched_core_clone_cookie(task);
__sched_core_set(current, cookie);
清除cookie
static void sched_core_put_cookie(unsigned long cookie)
{struct sched_core_cookie *ptr = (void *)cookie;if (ptr && refcount_dec_and_test(&ptr->refcnt)) {kfree(ptr);sched_core_put();}
}
当清除task_struct时，也要记得清除其中的cookie
void sched_core_free(struct task_struct *p)
{sched_core_put_cookie(p->core_cookie);
}
父子进程cookie关系
在fork系统调用中，copy_process创建新进程的时候，子进程的cookie值继承父进程的cookie值。
void sched_core_fork(struct task_struct *p)
{RB_CLEAR_NODE(&p->core_node); /*core_node红黑树节点清空*/p->core_cookie = sched_core_clone_cookie(current); /*子进程cookie = 父进程cookie*/
}
周期性调度器
scheduler_tick()周期性调度器中也会涉及到core sched的操作。