117437f31SJens Axboe // SPDX-License-Identifier: GPL-2.0
217437f31SJens Axboe /*
317437f31SJens Axboe * Contains the core associated with submission side polling of the SQ
417437f31SJens Axboe * ring, offloading submissions from the application to a kernel thread.
517437f31SJens Axboe */
617437f31SJens Axboe #include <linux/kernel.h>
717437f31SJens Axboe #include <linux/errno.h>
817437f31SJens Axboe #include <linux/file.h>
917437f31SJens Axboe #include <linux/mm.h>
1017437f31SJens Axboe #include <linux/slab.h>
1117437f31SJens Axboe #include <linux/audit.h>
1217437f31SJens Axboe #include <linux/security.h>
1317437f31SJens Axboe #include <linux/io_uring.h>
1417437f31SJens Axboe
1517437f31SJens Axboe #include <uapi/linux/io_uring.h>
1617437f31SJens Axboe
1717437f31SJens Axboe #include "io_uring.h"
1817437f31SJens Axboe #include "sqpoll.h"
1917437f31SJens Axboe
2017437f31SJens Axboe #define IORING_SQPOLL_CAP_ENTRIES_VALUE 8
2117437f31SJens Axboe
2217437f31SJens Axboe enum {
2317437f31SJens Axboe IO_SQ_THREAD_SHOULD_STOP = 0,
2417437f31SJens Axboe IO_SQ_THREAD_SHOULD_PARK,
2517437f31SJens Axboe };
2617437f31SJens Axboe
io_sq_thread_unpark(struct io_sq_data * sqd)2717437f31SJens Axboe void io_sq_thread_unpark(struct io_sq_data *sqd)
2817437f31SJens Axboe __releases(&sqd->lock)
2917437f31SJens Axboe {
3017437f31SJens Axboe WARN_ON_ONCE(sqd->thread == current);
3117437f31SJens Axboe
3217437f31SJens Axboe /*
3317437f31SJens Axboe * Do the dance but not conditional clear_bit() because it'd race with
3417437f31SJens Axboe * other threads incrementing park_pending and setting the bit.
3517437f31SJens Axboe */
3617437f31SJens Axboe clear_bit(IO_SQ_THREAD_SHOULD_PARK, &sqd->state);
3717437f31SJens Axboe if (atomic_dec_return(&sqd->park_pending))
3817437f31SJens Axboe set_bit(IO_SQ_THREAD_SHOULD_PARK, &sqd->state);
3917437f31SJens Axboe mutex_unlock(&sqd->lock);
4017437f31SJens Axboe }
4117437f31SJens Axboe
io_sq_thread_park(struct io_sq_data * sqd)4217437f31SJens Axboe void io_sq_thread_park(struct io_sq_data *sqd)
4317437f31SJens Axboe __acquires(&sqd->lock)
4417437f31SJens Axboe {
4517437f31SJens Axboe WARN_ON_ONCE(sqd->thread == current);
4617437f31SJens Axboe
4717437f31SJens Axboe atomic_inc(&sqd->park_pending);
4817437f31SJens Axboe set_bit(IO_SQ_THREAD_SHOULD_PARK, &sqd->state);
4917437f31SJens Axboe mutex_lock(&sqd->lock);
5017437f31SJens Axboe if (sqd->thread)
5117437f31SJens Axboe wake_up_process(sqd->thread);
5217437f31SJens Axboe }
5317437f31SJens Axboe
io_sq_thread_stop(struct io_sq_data * sqd)5417437f31SJens Axboe void io_sq_thread_stop(struct io_sq_data *sqd)
5517437f31SJens Axboe {
5617437f31SJens Axboe WARN_ON_ONCE(sqd->thread == current);
5717437f31SJens Axboe WARN_ON_ONCE(test_bit(IO_SQ_THREAD_SHOULD_STOP, &sqd->state));
5817437f31SJens Axboe
5917437f31SJens Axboe set_bit(IO_SQ_THREAD_SHOULD_STOP, &sqd->state);
6017437f31SJens Axboe mutex_lock(&sqd->lock);
6117437f31SJens Axboe if (sqd->thread)
6217437f31SJens Axboe wake_up_process(sqd->thread);
6317437f31SJens Axboe mutex_unlock(&sqd->lock);
6417437f31SJens Axboe wait_for_completion(&sqd->exited);
6517437f31SJens Axboe }
6617437f31SJens Axboe
io_put_sq_data(struct io_sq_data * sqd)6717437f31SJens Axboe void io_put_sq_data(struct io_sq_data *sqd)
6817437f31SJens Axboe {
6917437f31SJens Axboe if (refcount_dec_and_test(&sqd->refs)) {
7017437f31SJens Axboe WARN_ON_ONCE(atomic_read(&sqd->park_pending));
7117437f31SJens Axboe
7217437f31SJens Axboe io_sq_thread_stop(sqd);
7317437f31SJens Axboe kfree(sqd);
7417437f31SJens Axboe }
7517437f31SJens Axboe }
7617437f31SJens Axboe
io_sqd_update_thread_idle(struct io_sq_data * sqd)7717437f31SJens Axboe static __cold void io_sqd_update_thread_idle(struct io_sq_data *sqd)
7817437f31SJens Axboe {
7917437f31SJens Axboe struct io_ring_ctx *ctx;
8017437f31SJens Axboe unsigned sq_thread_idle = 0;
8117437f31SJens Axboe
8217437f31SJens Axboe list_for_each_entry(ctx, &sqd->ctx_list, sqd_list)
8317437f31SJens Axboe sq_thread_idle = max(sq_thread_idle, ctx->sq_thread_idle);
8417437f31SJens Axboe sqd->sq_thread_idle = sq_thread_idle;
8517437f31SJens Axboe }
8617437f31SJens Axboe
io_sq_thread_finish(struct io_ring_ctx * ctx)8717437f31SJens Axboe void io_sq_thread_finish(struct io_ring_ctx *ctx)
8817437f31SJens Axboe {
8917437f31SJens Axboe struct io_sq_data *sqd = ctx->sq_data;
9017437f31SJens Axboe
9117437f31SJens Axboe if (sqd) {
9217437f31SJens Axboe io_sq_thread_park(sqd);
9317437f31SJens Axboe list_del_init(&ctx->sqd_list);
9417437f31SJens Axboe io_sqd_update_thread_idle(sqd);
9517437f31SJens Axboe io_sq_thread_unpark(sqd);
9617437f31SJens Axboe
9717437f31SJens Axboe io_put_sq_data(sqd);
9817437f31SJens Axboe ctx->sq_data = NULL;
9917437f31SJens Axboe }
10017437f31SJens Axboe }
10117437f31SJens Axboe
io_attach_sq_data(struct io_uring_params * p)10217437f31SJens Axboe static struct io_sq_data *io_attach_sq_data(struct io_uring_params *p)
10317437f31SJens Axboe {
10417437f31SJens Axboe struct io_ring_ctx *ctx_attach;
10517437f31SJens Axboe struct io_sq_data *sqd;
10617437f31SJens Axboe struct fd f;
10717437f31SJens Axboe
10817437f31SJens Axboe f = fdget(p->wq_fd);
10917437f31SJens Axboe if (!f.file)
11017437f31SJens Axboe return ERR_PTR(-ENXIO);
11117437f31SJens Axboe if (!io_is_uring_fops(f.file)) {
11217437f31SJens Axboe fdput(f);
11317437f31SJens Axboe return ERR_PTR(-EINVAL);
11417437f31SJens Axboe }
11517437f31SJens Axboe
11617437f31SJens Axboe ctx_attach = f.file->private_data;
11717437f31SJens Axboe sqd = ctx_attach->sq_data;
11817437f31SJens Axboe if (!sqd) {
11917437f31SJens Axboe fdput(f);
12017437f31SJens Axboe return ERR_PTR(-EINVAL);
12117437f31SJens Axboe }
12217437f31SJens Axboe if (sqd->task_tgid != current->tgid) {
12317437f31SJens Axboe fdput(f);
12417437f31SJens Axboe return ERR_PTR(-EPERM);
12517437f31SJens Axboe }
12617437f31SJens Axboe
12717437f31SJens Axboe refcount_inc(&sqd->refs);
12817437f31SJens Axboe fdput(f);
12917437f31SJens Axboe return sqd;
13017437f31SJens Axboe }
13117437f31SJens Axboe
io_get_sq_data(struct io_uring_params * p,bool * attached)13217437f31SJens Axboe static struct io_sq_data *io_get_sq_data(struct io_uring_params *p,
13317437f31SJens Axboe bool *attached)
13417437f31SJens Axboe {
13517437f31SJens Axboe struct io_sq_data *sqd;
13617437f31SJens Axboe
13717437f31SJens Axboe *attached = false;
13817437f31SJens Axboe if (p->flags & IORING_SETUP_ATTACH_WQ) {
13917437f31SJens Axboe sqd = io_attach_sq_data(p);
14017437f31SJens Axboe if (!IS_ERR(sqd)) {
14117437f31SJens Axboe *attached = true;
14217437f31SJens Axboe return sqd;
14317437f31SJens Axboe }
14417437f31SJens Axboe /* fall through for EPERM case, setup new sqd/task */
14517437f31SJens Axboe if (PTR_ERR(sqd) != -EPERM)
14617437f31SJens Axboe return sqd;
14717437f31SJens Axboe }
14817437f31SJens Axboe
14917437f31SJens Axboe sqd = kzalloc(sizeof(*sqd), GFP_KERNEL);
15017437f31SJens Axboe if (!sqd)
15117437f31SJens Axboe return ERR_PTR(-ENOMEM);
15217437f31SJens Axboe
15317437f31SJens Axboe atomic_set(&sqd->park_pending, 0);
15417437f31SJens Axboe refcount_set(&sqd->refs, 1);
15517437f31SJens Axboe INIT_LIST_HEAD(&sqd->ctx_list);
15617437f31SJens Axboe mutex_init(&sqd->lock);
15717437f31SJens Axboe init_waitqueue_head(&sqd->wait);
15817437f31SJens Axboe init_completion(&sqd->exited);
15917437f31SJens Axboe return sqd;
16017437f31SJens Axboe }
16117437f31SJens Axboe
io_sqd_events_pending(struct io_sq_data * sqd)16217437f31SJens Axboe static inline bool io_sqd_events_pending(struct io_sq_data *sqd)
16317437f31SJens Axboe {
16417437f31SJens Axboe return READ_ONCE(sqd->state);
16517437f31SJens Axboe }
16617437f31SJens Axboe
__io_sq_thread(struct io_ring_ctx * ctx,bool cap_entries)16717437f31SJens Axboe static int __io_sq_thread(struct io_ring_ctx *ctx, bool cap_entries)
16817437f31SJens Axboe {
16917437f31SJens Axboe unsigned int to_submit;
17017437f31SJens Axboe int ret = 0;
17117437f31SJens Axboe
17217437f31SJens Axboe to_submit = io_sqring_entries(ctx);
17317437f31SJens Axboe /* if we're handling multiple rings, cap submit size for fairness */
17417437f31SJens Axboe if (cap_entries && to_submit > IORING_SQPOLL_CAP_ENTRIES_VALUE)
17517437f31SJens Axboe to_submit = IORING_SQPOLL_CAP_ENTRIES_VALUE;
17617437f31SJens Axboe
17717437f31SJens Axboe if (!wq_list_empty(&ctx->iopoll_list) || to_submit) {
17817437f31SJens Axboe const struct cred *creds = NULL;
17917437f31SJens Axboe
18017437f31SJens Axboe if (ctx->sq_creds != current_cred())
18117437f31SJens Axboe creds = override_creds(ctx->sq_creds);
18217437f31SJens Axboe
18317437f31SJens Axboe mutex_lock(&ctx->uring_lock);
18417437f31SJens Axboe if (!wq_list_empty(&ctx->iopoll_list))
18517437f31SJens Axboe io_do_iopoll(ctx, true);
18617437f31SJens Axboe
18717437f31SJens Axboe /*
18817437f31SJens Axboe * Don't submit if refs are dying, good for io_uring_register(),
18917437f31SJens Axboe * but also it is relied upon by io_ring_exit_work()
19017437f31SJens Axboe */
19117437f31SJens Axboe if (to_submit && likely(!percpu_ref_is_dying(&ctx->refs)) &&
19217437f31SJens Axboe !(ctx->flags & IORING_SETUP_R_DISABLED))
19317437f31SJens Axboe ret = io_submit_sqes(ctx, to_submit);
19417437f31SJens Axboe mutex_unlock(&ctx->uring_lock);
19517437f31SJens Axboe
19617437f31SJens Axboe if (to_submit && wq_has_sleeper(&ctx->sqo_sq_wait))
19717437f31SJens Axboe wake_up(&ctx->sqo_sq_wait);
19817437f31SJens Axboe if (creds)
19917437f31SJens Axboe revert_creds(creds);
20017437f31SJens Axboe }
20117437f31SJens Axboe
20217437f31SJens Axboe return ret;
20317437f31SJens Axboe }
20417437f31SJens Axboe
io_sqd_handle_event(struct io_sq_data * sqd)20517437f31SJens Axboe static bool io_sqd_handle_event(struct io_sq_data *sqd)
20617437f31SJens Axboe {
20717437f31SJens Axboe bool did_sig = false;
20817437f31SJens Axboe struct ksignal ksig;
20917437f31SJens Axboe
21017437f31SJens Axboe if (test_bit(IO_SQ_THREAD_SHOULD_PARK, &sqd->state) ||
21117437f31SJens Axboe signal_pending(current)) {
21217437f31SJens Axboe mutex_unlock(&sqd->lock);
21317437f31SJens Axboe if (signal_pending(current))
21417437f31SJens Axboe did_sig = get_signal(&ksig);
21517437f31SJens Axboe cond_resched();
21617437f31SJens Axboe mutex_lock(&sqd->lock);
2175753dbb3SJens Axboe sqd->sq_cpu = raw_smp_processor_id();
21817437f31SJens Axboe }
21917437f31SJens Axboe return did_sig || test_bit(IO_SQ_THREAD_SHOULD_STOP, &sqd->state);
22017437f31SJens Axboe }
22117437f31SJens Axboe
io_sq_thread(void * data)22217437f31SJens Axboe static int io_sq_thread(void *data)
22317437f31SJens Axboe {
22417437f31SJens Axboe struct io_sq_data *sqd = data;
22517437f31SJens Axboe struct io_ring_ctx *ctx;
22617437f31SJens Axboe unsigned long timeout = 0;
22717437f31SJens Axboe char buf[TASK_COMM_LEN];
22817437f31SJens Axboe DEFINE_WAIT(wait);
22917437f31SJens Axboe
23017437f31SJens Axboe snprintf(buf, sizeof(buf), "iou-sqp-%d", sqd->task_pid);
23117437f31SJens Axboe set_task_comm(current, buf);
23217437f31SJens Axboe
2335753dbb3SJens Axboe /* reset to our pid after we've set task_comm, for fdinfo */
2345753dbb3SJens Axboe sqd->task_pid = current->pid;
2355753dbb3SJens Axboe
2365753dbb3SJens Axboe if (sqd->sq_cpu != -1) {
23717437f31SJens Axboe set_cpus_allowed_ptr(current, cpumask_of(sqd->sq_cpu));
2385753dbb3SJens Axboe } else {
23917437f31SJens Axboe set_cpus_allowed_ptr(current, cpu_online_mask);
2405753dbb3SJens Axboe sqd->sq_cpu = raw_smp_processor_id();
2415753dbb3SJens Axboe }
24217437f31SJens Axboe
243*9e810bd9SJens Axboe /*
244*9e810bd9SJens Axboe * Force audit context to get setup, in case we do prep side async
245*9e810bd9SJens Axboe * operations that would trigger an audit call before any issue side
246*9e810bd9SJens Axboe * audit has been done.
247*9e810bd9SJens Axboe */
248*9e810bd9SJens Axboe audit_uring_entry(IORING_OP_NOP);
249*9e810bd9SJens Axboe audit_uring_exit(true, 0);
250*9e810bd9SJens Axboe
25117437f31SJens Axboe mutex_lock(&sqd->lock);
25217437f31SJens Axboe while (1) {
25317437f31SJens Axboe bool cap_entries, sqt_spin = false;
25417437f31SJens Axboe
25517437f31SJens Axboe if (io_sqd_events_pending(sqd) || signal_pending(current)) {
25617437f31SJens Axboe if (io_sqd_handle_event(sqd))
25717437f31SJens Axboe break;
25817437f31SJens Axboe timeout = jiffies + sqd->sq_thread_idle;
25917437f31SJens Axboe }
26017437f31SJens Axboe
26117437f31SJens Axboe cap_entries = !list_is_singular(&sqd->ctx_list);
26217437f31SJens Axboe list_for_each_entry(ctx, &sqd->ctx_list, sqd_list) {
26317437f31SJens Axboe int ret = __io_sq_thread(ctx, cap_entries);
26417437f31SJens Axboe
26517437f31SJens Axboe if (!sqt_spin && (ret > 0 || !wq_list_empty(&ctx->iopoll_list)))
26617437f31SJens Axboe sqt_spin = true;
26717437f31SJens Axboe }
26817437f31SJens Axboe if (io_run_task_work())
26917437f31SJens Axboe sqt_spin = true;
27017437f31SJens Axboe
27117437f31SJens Axboe if (sqt_spin || !time_after(jiffies, timeout)) {
27217437f31SJens Axboe if (sqt_spin)
27317437f31SJens Axboe timeout = jiffies + sqd->sq_thread_idle;
274533ab73fSWenwen Chen if (unlikely(need_resched())) {
275533ab73fSWenwen Chen mutex_unlock(&sqd->lock);
276533ab73fSWenwen Chen cond_resched();
277533ab73fSWenwen Chen mutex_lock(&sqd->lock);
2785753dbb3SJens Axboe sqd->sq_cpu = raw_smp_processor_id();
279533ab73fSWenwen Chen }
28017437f31SJens Axboe continue;
28117437f31SJens Axboe }
28217437f31SJens Axboe
28317437f31SJens Axboe prepare_to_wait(&sqd->wait, &wait, TASK_INTERRUPTIBLE);
28417437f31SJens Axboe if (!io_sqd_events_pending(sqd) && !task_work_pending(current)) {
28517437f31SJens Axboe bool needs_sched = true;
28617437f31SJens Axboe
28717437f31SJens Axboe list_for_each_entry(ctx, &sqd->ctx_list, sqd_list) {
28817437f31SJens Axboe atomic_or(IORING_SQ_NEED_WAKEUP,
28917437f31SJens Axboe &ctx->rings->sq_flags);
29017437f31SJens Axboe if ((ctx->flags & IORING_SETUP_IOPOLL) &&
29117437f31SJens Axboe !wq_list_empty(&ctx->iopoll_list)) {
29217437f31SJens Axboe needs_sched = false;
29317437f31SJens Axboe break;
29417437f31SJens Axboe }
29517437f31SJens Axboe
29617437f31SJens Axboe /*
29717437f31SJens Axboe * Ensure the store of the wakeup flag is not
29817437f31SJens Axboe * reordered with the load of the SQ tail
29917437f31SJens Axboe */
30017437f31SJens Axboe smp_mb__after_atomic();
30117437f31SJens Axboe
30217437f31SJens Axboe if (io_sqring_entries(ctx)) {
30317437f31SJens Axboe needs_sched = false;
30417437f31SJens Axboe break;
30517437f31SJens Axboe }
30617437f31SJens Axboe }
30717437f31SJens Axboe
30817437f31SJens Axboe if (needs_sched) {
30917437f31SJens Axboe mutex_unlock(&sqd->lock);
31017437f31SJens Axboe schedule();
31117437f31SJens Axboe mutex_lock(&sqd->lock);
3125753dbb3SJens Axboe sqd->sq_cpu = raw_smp_processor_id();
31317437f31SJens Axboe }
31417437f31SJens Axboe list_for_each_entry(ctx, &sqd->ctx_list, sqd_list)
31517437f31SJens Axboe atomic_andnot(IORING_SQ_NEED_WAKEUP,
31617437f31SJens Axboe &ctx->rings->sq_flags);
31717437f31SJens Axboe }
31817437f31SJens Axboe
31917437f31SJens Axboe finish_wait(&sqd->wait, &wait);
32017437f31SJens Axboe timeout = jiffies + sqd->sq_thread_idle;
32117437f31SJens Axboe }
32217437f31SJens Axboe
32317437f31SJens Axboe io_uring_cancel_generic(true, sqd);
32417437f31SJens Axboe sqd->thread = NULL;
32517437f31SJens Axboe list_for_each_entry(ctx, &sqd->ctx_list, sqd_list)
32617437f31SJens Axboe atomic_or(IORING_SQ_NEED_WAKEUP, &ctx->rings->sq_flags);
32717437f31SJens Axboe io_run_task_work();
32817437f31SJens Axboe mutex_unlock(&sqd->lock);
32917437f31SJens Axboe
33017437f31SJens Axboe complete(&sqd->exited);
33117437f31SJens Axboe do_exit(0);
33217437f31SJens Axboe }
33317437f31SJens Axboe
io_sqpoll_wait_sq(struct io_ring_ctx * ctx)33488b80534SQuanfa Fu void io_sqpoll_wait_sq(struct io_ring_ctx *ctx)
33517437f31SJens Axboe {
33617437f31SJens Axboe DEFINE_WAIT(wait);
33717437f31SJens Axboe
33817437f31SJens Axboe do {
33917437f31SJens Axboe if (!io_sqring_full(ctx))
34017437f31SJens Axboe break;
34117437f31SJens Axboe prepare_to_wait(&ctx->sqo_sq_wait, &wait, TASK_INTERRUPTIBLE);
34217437f31SJens Axboe
34317437f31SJens Axboe if (!io_sqring_full(ctx))
34417437f31SJens Axboe break;
34517437f31SJens Axboe schedule();
34617437f31SJens Axboe } while (!signal_pending(current));
34717437f31SJens Axboe
34817437f31SJens Axboe finish_wait(&ctx->sqo_sq_wait, &wait);
34917437f31SJens Axboe }
35017437f31SJens Axboe
io_sq_offload_create(struct io_ring_ctx * ctx,struct io_uring_params * p)35117437f31SJens Axboe __cold int io_sq_offload_create(struct io_ring_ctx *ctx,
35217437f31SJens Axboe struct io_uring_params *p)
35317437f31SJens Axboe {
35417437f31SJens Axboe int ret;
35517437f31SJens Axboe
35617437f31SJens Axboe /* Retain compatibility with failing for an invalid attach attempt */
35717437f31SJens Axboe if ((ctx->flags & (IORING_SETUP_ATTACH_WQ | IORING_SETUP_SQPOLL)) ==
35817437f31SJens Axboe IORING_SETUP_ATTACH_WQ) {
35917437f31SJens Axboe struct fd f;
36017437f31SJens Axboe
36117437f31SJens Axboe f = fdget(p->wq_fd);
36217437f31SJens Axboe if (!f.file)
36317437f31SJens Axboe return -ENXIO;
36417437f31SJens Axboe if (!io_is_uring_fops(f.file)) {
36517437f31SJens Axboe fdput(f);
36617437f31SJens Axboe return -EINVAL;
36717437f31SJens Axboe }
36817437f31SJens Axboe fdput(f);
36917437f31SJens Axboe }
37017437f31SJens Axboe if (ctx->flags & IORING_SETUP_SQPOLL) {
37117437f31SJens Axboe struct task_struct *tsk;
37217437f31SJens Axboe struct io_sq_data *sqd;
37317437f31SJens Axboe bool attached;
37417437f31SJens Axboe
37517437f31SJens Axboe ret = security_uring_sqpoll();
37617437f31SJens Axboe if (ret)
37717437f31SJens Axboe return ret;
37817437f31SJens Axboe
37917437f31SJens Axboe sqd = io_get_sq_data(p, &attached);
38017437f31SJens Axboe if (IS_ERR(sqd)) {
38117437f31SJens Axboe ret = PTR_ERR(sqd);
38217437f31SJens Axboe goto err;
38317437f31SJens Axboe }
38417437f31SJens Axboe
38517437f31SJens Axboe ctx->sq_creds = get_current_cred();
38617437f31SJens Axboe ctx->sq_data = sqd;
38717437f31SJens Axboe ctx->sq_thread_idle = msecs_to_jiffies(p->sq_thread_idle);
38817437f31SJens Axboe if (!ctx->sq_thread_idle)
38917437f31SJens Axboe ctx->sq_thread_idle = HZ;
39017437f31SJens Axboe
39117437f31SJens Axboe io_sq_thread_park(sqd);
39217437f31SJens Axboe list_add(&ctx->sqd_list, &sqd->ctx_list);
39317437f31SJens Axboe io_sqd_update_thread_idle(sqd);
39417437f31SJens Axboe /* don't attach to a dying SQPOLL thread, would be racy */
39517437f31SJens Axboe ret = (attached && !sqd->thread) ? -ENXIO : 0;
39617437f31SJens Axboe io_sq_thread_unpark(sqd);
39717437f31SJens Axboe
39817437f31SJens Axboe if (ret < 0)
39917437f31SJens Axboe goto err;
40017437f31SJens Axboe if (attached)
40117437f31SJens Axboe return 0;
40217437f31SJens Axboe
40317437f31SJens Axboe if (p->flags & IORING_SETUP_SQ_AFF) {
40417437f31SJens Axboe int cpu = p->sq_thread_cpu;
40517437f31SJens Axboe
40617437f31SJens Axboe ret = -EINVAL;
40717437f31SJens Axboe if (cpu >= nr_cpu_ids || !cpu_online(cpu))
40817437f31SJens Axboe goto err_sqpoll;
40917437f31SJens Axboe sqd->sq_cpu = cpu;
41017437f31SJens Axboe } else {
41117437f31SJens Axboe sqd->sq_cpu = -1;
41217437f31SJens Axboe }
41317437f31SJens Axboe
41417437f31SJens Axboe sqd->task_pid = current->pid;
41517437f31SJens Axboe sqd->task_tgid = current->tgid;
41617437f31SJens Axboe tsk = create_io_thread(io_sq_thread, sqd, NUMA_NO_NODE);
41717437f31SJens Axboe if (IS_ERR(tsk)) {
41817437f31SJens Axboe ret = PTR_ERR(tsk);
41917437f31SJens Axboe goto err_sqpoll;
42017437f31SJens Axboe }
42117437f31SJens Axboe
42217437f31SJens Axboe sqd->thread = tsk;
42317437f31SJens Axboe ret = io_uring_alloc_task_context(tsk, ctx);
42417437f31SJens Axboe wake_up_new_task(tsk);
42517437f31SJens Axboe if (ret)
42617437f31SJens Axboe goto err;
42717437f31SJens Axboe } else if (p->flags & IORING_SETUP_SQ_AFF) {
42817437f31SJens Axboe /* Can't have SQ_AFF without SQPOLL */
42917437f31SJens Axboe ret = -EINVAL;
43017437f31SJens Axboe goto err;
43117437f31SJens Axboe }
43217437f31SJens Axboe
43317437f31SJens Axboe return 0;
43417437f31SJens Axboe err_sqpoll:
43517437f31SJens Axboe complete(&ctx->sq_data->exited);
43617437f31SJens Axboe err:
43717437f31SJens Axboe io_sq_thread_finish(ctx);
43817437f31SJens Axboe return ret;
43917437f31SJens Axboe }
440ebdfefc0SJens Axboe
io_sqpoll_wq_cpu_affinity(struct io_ring_ctx * ctx,cpumask_var_t mask)441ebdfefc0SJens Axboe __cold int io_sqpoll_wq_cpu_affinity(struct io_ring_ctx *ctx,
442ebdfefc0SJens Axboe cpumask_var_t mask)
443ebdfefc0SJens Axboe {
444ebdfefc0SJens Axboe struct io_sq_data *sqd = ctx->sq_data;
445ebdfefc0SJens Axboe int ret = -EINVAL;
446ebdfefc0SJens Axboe
447ebdfefc0SJens Axboe if (sqd) {
448ebdfefc0SJens Axboe io_sq_thread_park(sqd);
449bd6fc5daSGabriel Krisman Bertazi /* Don't set affinity for a dying thread */
450bd6fc5daSGabriel Krisman Bertazi if (sqd->thread)
451ebdfefc0SJens Axboe ret = io_wq_cpu_affinity(sqd->thread->io_uring, mask);
452ebdfefc0SJens Axboe io_sq_thread_unpark(sqd);
453ebdfefc0SJens Axboe }
454ebdfefc0SJens Axboe
455ebdfefc0SJens Axboe return ret;
456ebdfefc0SJens Axboe }
457