17aaff708SJens Axboe // SPDX-License-Identifier: GPL-2.0
27aaff708SJens Axboe #include <linux/kernel.h>
37aaff708SJens Axboe #include <linux/errno.h>
47aaff708SJens Axboe #include <linux/fs.h>
57aaff708SJens Axboe #include <linux/file.h>
67aaff708SJens Axboe #include <linux/mm.h>
77aaff708SJens Axboe #include <linux/slab.h>
87aaff708SJens Axboe #include <linux/namei.h>
978a861b9SJens Axboe #include <linux/nospec.h>
107aaff708SJens Axboe #include <linux/io_uring.h>
117aaff708SJens Axboe
127aaff708SJens Axboe #include <uapi/linux/io_uring.h>
137aaff708SJens Axboe
147aaff708SJens Axboe #include "io_uring.h"
157aaff708SJens Axboe #include "tctx.h"
167aaff708SJens Axboe #include "poll.h"
177aaff708SJens Axboe #include "timeout.h"
187aaff708SJens Axboe #include "cancel.h"
197aaff708SJens Axboe
207aaff708SJens Axboe struct io_cancel {
217aaff708SJens Axboe struct file *file;
227aaff708SJens Axboe u64 addr;
237aaff708SJens Axboe u32 flags;
247aaff708SJens Axboe s32 fd;
25d7b8b079SJens Axboe u8 opcode;
267aaff708SJens Axboe };
277aaff708SJens Axboe
287aaff708SJens Axboe #define CANCEL_FLAGS (IORING_ASYNC_CANCEL_ALL | IORING_ASYNC_CANCEL_FD | \
298165b566SJens Axboe IORING_ASYNC_CANCEL_ANY | IORING_ASYNC_CANCEL_FD_FIXED | \
30d7b8b079SJens Axboe IORING_ASYNC_CANCEL_USERDATA | IORING_ASYNC_CANCEL_OP)
317aaff708SJens Axboe
32aa5cd116SJens Axboe /*
33aa5cd116SJens Axboe * Returns true if the request matches the criteria outlined by 'cd'.
34aa5cd116SJens Axboe */
io_cancel_req_match(struct io_kiocb * req,struct io_cancel_data * cd)35aa5cd116SJens Axboe bool io_cancel_req_match(struct io_kiocb *req, struct io_cancel_data *cd)
367aaff708SJens Axboe {
378165b566SJens Axboe bool match_user_data = cd->flags & IORING_ASYNC_CANCEL_USERDATA;
388165b566SJens Axboe
397aaff708SJens Axboe if (req->ctx != cd->ctx)
407aaff708SJens Axboe return false;
418165b566SJens Axboe
42d7b8b079SJens Axboe if (!(cd->flags & (IORING_ASYNC_CANCEL_FD | IORING_ASYNC_CANCEL_OP)))
438165b566SJens Axboe match_user_data = true;
448165b566SJens Axboe
458165b566SJens Axboe if (cd->flags & IORING_ASYNC_CANCEL_ANY)
463a372b66SJens Axboe goto check_seq;
478165b566SJens Axboe if (cd->flags & IORING_ASYNC_CANCEL_FD) {
487aaff708SJens Axboe if (req->file != cd->file)
497aaff708SJens Axboe return false;
507aaff708SJens Axboe }
51d7b8b079SJens Axboe if (cd->flags & IORING_ASYNC_CANCEL_OP) {
52d7b8b079SJens Axboe if (req->opcode != cd->opcode)
53d7b8b079SJens Axboe return false;
54d7b8b079SJens Axboe }
558165b566SJens Axboe if (match_user_data && req->cqe.user_data != cd->data)
568165b566SJens Axboe return false;
573a372b66SJens Axboe if (cd->flags & IORING_ASYNC_CANCEL_ALL) {
583a372b66SJens Axboe check_seq:
597aaff708SJens Axboe if (cd->seq == req->work.cancel_seq)
607aaff708SJens Axboe return false;
617aaff708SJens Axboe req->work.cancel_seq = cd->seq;
627aaff708SJens Axboe }
63aa5cd116SJens Axboe
647aaff708SJens Axboe return true;
657aaff708SJens Axboe }
667aaff708SJens Axboe
io_cancel_cb(struct io_wq_work * work,void * data)67aa5cd116SJens Axboe static bool io_cancel_cb(struct io_wq_work *work, void *data)
68aa5cd116SJens Axboe {
69aa5cd116SJens Axboe struct io_kiocb *req = container_of(work, struct io_kiocb, work);
70aa5cd116SJens Axboe struct io_cancel_data *cd = data;
71aa5cd116SJens Axboe
72aa5cd116SJens Axboe return io_cancel_req_match(req, cd);
73aa5cd116SJens Axboe }
74aa5cd116SJens Axboe
io_async_cancel_one(struct io_uring_task * tctx,struct io_cancel_data * cd)757aaff708SJens Axboe static int io_async_cancel_one(struct io_uring_task *tctx,
767aaff708SJens Axboe struct io_cancel_data *cd)
777aaff708SJens Axboe {
787aaff708SJens Axboe enum io_wq_cancel cancel_ret;
797aaff708SJens Axboe int ret = 0;
807aaff708SJens Axboe bool all;
817aaff708SJens Axboe
827aaff708SJens Axboe if (!tctx || !tctx->io_wq)
837aaff708SJens Axboe return -ENOENT;
847aaff708SJens Axboe
857aaff708SJens Axboe all = cd->flags & (IORING_ASYNC_CANCEL_ALL|IORING_ASYNC_CANCEL_ANY);
867aaff708SJens Axboe cancel_ret = io_wq_cancel_cb(tctx->io_wq, io_cancel_cb, cd, all);
877aaff708SJens Axboe switch (cancel_ret) {
887aaff708SJens Axboe case IO_WQ_CANCEL_OK:
897aaff708SJens Axboe ret = 0;
907aaff708SJens Axboe break;
917aaff708SJens Axboe case IO_WQ_CANCEL_RUNNING:
927aaff708SJens Axboe ret = -EALREADY;
937aaff708SJens Axboe break;
947aaff708SJens Axboe case IO_WQ_CANCEL_NOTFOUND:
957aaff708SJens Axboe ret = -ENOENT;
967aaff708SJens Axboe break;
977aaff708SJens Axboe }
987aaff708SJens Axboe
997aaff708SJens Axboe return ret;
1007aaff708SJens Axboe }
1017aaff708SJens Axboe
io_try_cancel(struct io_uring_task * tctx,struct io_cancel_data * cd,unsigned issue_flags)10288f52eaaSJens Axboe int io_try_cancel(struct io_uring_task *tctx, struct io_cancel_data *cd,
1035d7943d9SPavel Begunkov unsigned issue_flags)
1047aaff708SJens Axboe {
10588f52eaaSJens Axboe struct io_ring_ctx *ctx = cd->ctx;
1067aaff708SJens Axboe int ret;
1077aaff708SJens Axboe
10888f52eaaSJens Axboe WARN_ON_ONCE(!io_wq_current_is_worker() && tctx != current->io_uring);
1097aaff708SJens Axboe
11088f52eaaSJens Axboe ret = io_async_cancel_one(tctx, cd);
1117aaff708SJens Axboe /*
1127aaff708SJens Axboe * Fall-through even for -EALREADY, as we may have poll armed
1137aaff708SJens Axboe * that need unarming.
1147aaff708SJens Axboe */
1157aaff708SJens Axboe if (!ret)
1167aaff708SJens Axboe return 0;
1177aaff708SJens Axboe
1185d7943d9SPavel Begunkov ret = io_poll_cancel(ctx, cd, issue_flags);
1197aaff708SJens Axboe if (ret != -ENOENT)
1204dfab8abSPavel Begunkov return ret;
1214dfab8abSPavel Begunkov
12238513c46SHao Xu spin_lock(&ctx->completion_lock);
1237aaff708SJens Axboe if (!(cd->flags & IORING_ASYNC_CANCEL_FD))
1247aaff708SJens Axboe ret = io_timeout_cancel(ctx, cd);
1257aaff708SJens Axboe spin_unlock(&ctx->completion_lock);
1267aaff708SJens Axboe return ret;
1277aaff708SJens Axboe }
1287aaff708SJens Axboe
io_async_cancel_prep(struct io_kiocb * req,const struct io_uring_sqe * sqe)1297aaff708SJens Axboe int io_async_cancel_prep(struct io_kiocb *req, const struct io_uring_sqe *sqe)
1307aaff708SJens Axboe {
131f2ccb5aeSStefan Metzmacher struct io_cancel *cancel = io_kiocb_to_cmd(req, struct io_cancel);
1327aaff708SJens Axboe
1337aaff708SJens Axboe if (unlikely(req->flags & REQ_F_BUFFER_SELECT))
1347aaff708SJens Axboe return -EINVAL;
135d7b8b079SJens Axboe if (sqe->off || sqe->splice_fd_in)
1367aaff708SJens Axboe return -EINVAL;
1377aaff708SJens Axboe
1387aaff708SJens Axboe cancel->addr = READ_ONCE(sqe->addr);
1397aaff708SJens Axboe cancel->flags = READ_ONCE(sqe->cancel_flags);
1407aaff708SJens Axboe if (cancel->flags & ~CANCEL_FLAGS)
1417aaff708SJens Axboe return -EINVAL;
1427aaff708SJens Axboe if (cancel->flags & IORING_ASYNC_CANCEL_FD) {
1437aaff708SJens Axboe if (cancel->flags & IORING_ASYNC_CANCEL_ANY)
1447aaff708SJens Axboe return -EINVAL;
1457aaff708SJens Axboe cancel->fd = READ_ONCE(sqe->fd);
1467aaff708SJens Axboe }
147d7b8b079SJens Axboe if (cancel->flags & IORING_ASYNC_CANCEL_OP) {
148d7b8b079SJens Axboe if (cancel->flags & IORING_ASYNC_CANCEL_ANY)
149d7b8b079SJens Axboe return -EINVAL;
150d7b8b079SJens Axboe cancel->opcode = READ_ONCE(sqe->len);
151d7b8b079SJens Axboe }
1527aaff708SJens Axboe
1537aaff708SJens Axboe return 0;
1547aaff708SJens Axboe }
1557aaff708SJens Axboe
__io_async_cancel(struct io_cancel_data * cd,struct io_uring_task * tctx,unsigned int issue_flags)15688f52eaaSJens Axboe static int __io_async_cancel(struct io_cancel_data *cd,
15788f52eaaSJens Axboe struct io_uring_task *tctx,
1587aaff708SJens Axboe unsigned int issue_flags)
1597aaff708SJens Axboe {
1607aaff708SJens Axboe bool all = cd->flags & (IORING_ASYNC_CANCEL_ALL|IORING_ASYNC_CANCEL_ANY);
1617aaff708SJens Axboe struct io_ring_ctx *ctx = cd->ctx;
1627aaff708SJens Axboe struct io_tctx_node *node;
1637aaff708SJens Axboe int ret, nr = 0;
1647aaff708SJens Axboe
1657aaff708SJens Axboe do {
16688f52eaaSJens Axboe ret = io_try_cancel(tctx, cd, issue_flags);
1677aaff708SJens Axboe if (ret == -ENOENT)
1687aaff708SJens Axboe break;
1697aaff708SJens Axboe if (!all)
1707aaff708SJens Axboe return ret;
1717aaff708SJens Axboe nr++;
1727aaff708SJens Axboe } while (1);
1737aaff708SJens Axboe
1747aaff708SJens Axboe /* slow path, try all io-wq's */
1757aaff708SJens Axboe io_ring_submit_lock(ctx, issue_flags);
1767aaff708SJens Axboe ret = -ENOENT;
1777aaff708SJens Axboe list_for_each_entry(node, &ctx->tctx_list, ctx_node) {
1787aaff708SJens Axboe struct io_uring_task *tctx = node->task->io_uring;
1797aaff708SJens Axboe
1807aaff708SJens Axboe ret = io_async_cancel_one(tctx, cd);
1817aaff708SJens Axboe if (ret != -ENOENT) {
1827aaff708SJens Axboe if (!all)
1837aaff708SJens Axboe break;
1847aaff708SJens Axboe nr++;
1857aaff708SJens Axboe }
1867aaff708SJens Axboe }
1877aaff708SJens Axboe io_ring_submit_unlock(ctx, issue_flags);
1887aaff708SJens Axboe return all ? nr : ret;
1897aaff708SJens Axboe }
1907aaff708SJens Axboe
io_async_cancel(struct io_kiocb * req,unsigned int issue_flags)1917aaff708SJens Axboe int io_async_cancel(struct io_kiocb *req, unsigned int issue_flags)
1927aaff708SJens Axboe {
193f2ccb5aeSStefan Metzmacher struct io_cancel *cancel = io_kiocb_to_cmd(req, struct io_cancel);
1947aaff708SJens Axboe struct io_cancel_data cd = {
1957aaff708SJens Axboe .ctx = req->ctx,
1967aaff708SJens Axboe .data = cancel->addr,
1977aaff708SJens Axboe .flags = cancel->flags,
198d7b8b079SJens Axboe .opcode = cancel->opcode,
1997aaff708SJens Axboe .seq = atomic_inc_return(&req->ctx->cancel_seq),
2007aaff708SJens Axboe };
20188f52eaaSJens Axboe struct io_uring_task *tctx = req->task->io_uring;
2027aaff708SJens Axboe int ret;
2037aaff708SJens Axboe
2047aaff708SJens Axboe if (cd.flags & IORING_ASYNC_CANCEL_FD) {
2057d8ca725SJens Axboe if (req->flags & REQ_F_FIXED_FILE ||
2067d8ca725SJens Axboe cd.flags & IORING_ASYNC_CANCEL_FD_FIXED) {
2077d8ca725SJens Axboe req->flags |= REQ_F_FIXED_FILE;
2087aaff708SJens Axboe req->file = io_file_get_fixed(req, cancel->fd,
2097aaff708SJens Axboe issue_flags);
2107d8ca725SJens Axboe } else {
2117aaff708SJens Axboe req->file = io_file_get_normal(req, cancel->fd);
2127d8ca725SJens Axboe }
2137aaff708SJens Axboe if (!req->file) {
2147aaff708SJens Axboe ret = -EBADF;
2157aaff708SJens Axboe goto done;
2167aaff708SJens Axboe }
2177aaff708SJens Axboe cd.file = req->file;
2187aaff708SJens Axboe }
2197aaff708SJens Axboe
22088f52eaaSJens Axboe ret = __io_async_cancel(&cd, tctx, issue_flags);
2217aaff708SJens Axboe done:
2227aaff708SJens Axboe if (ret < 0)
2237aaff708SJens Axboe req_set_fail(req);
2247aaff708SJens Axboe io_req_set_res(req, ret, 0);
2257aaff708SJens Axboe return IOU_OK;
2267aaff708SJens Axboe }
22738513c46SHao Xu
init_hash_table(struct io_hash_table * table,unsigned size)228e6f89be6SPavel Begunkov void init_hash_table(struct io_hash_table *table, unsigned size)
22938513c46SHao Xu {
23038513c46SHao Xu unsigned int i;
23138513c46SHao Xu
23238513c46SHao Xu for (i = 0; i < size; i++) {
233e6f89be6SPavel Begunkov spin_lock_init(&table->hbs[i].lock);
234e6f89be6SPavel Begunkov INIT_HLIST_HEAD(&table->hbs[i].list);
23538513c46SHao Xu }
23638513c46SHao Xu }
23778a861b9SJens Axboe
__io_sync_cancel(struct io_uring_task * tctx,struct io_cancel_data * cd,int fd)23878a861b9SJens Axboe static int __io_sync_cancel(struct io_uring_task *tctx,
23978a861b9SJens Axboe struct io_cancel_data *cd, int fd)
24078a861b9SJens Axboe {
24178a861b9SJens Axboe struct io_ring_ctx *ctx = cd->ctx;
24278a861b9SJens Axboe
24378a861b9SJens Axboe /* fixed must be grabbed every time since we drop the uring_lock */
24478a861b9SJens Axboe if ((cd->flags & IORING_ASYNC_CANCEL_FD) &&
24578a861b9SJens Axboe (cd->flags & IORING_ASYNC_CANCEL_FD_FIXED)) {
24647abea04SJens Axboe if (unlikely(fd >= ctx->nr_user_files))
24778a861b9SJens Axboe return -EBADF;
24878a861b9SJens Axboe fd = array_index_nospec(fd, ctx->nr_user_files);
24960a666f0SChristoph Hellwig cd->file = io_file_from_index(&ctx->file_table, fd);
25078a861b9SJens Axboe if (!cd->file)
25178a861b9SJens Axboe return -EBADF;
25278a861b9SJens Axboe }
25378a861b9SJens Axboe
25478a861b9SJens Axboe return __io_async_cancel(cd, tctx, 0);
25578a861b9SJens Axboe }
25678a861b9SJens Axboe
io_sync_cancel(struct io_ring_ctx * ctx,void __user * arg)25778a861b9SJens Axboe int io_sync_cancel(struct io_ring_ctx *ctx, void __user *arg)
25878a861b9SJens Axboe __must_hold(&ctx->uring_lock)
25978a861b9SJens Axboe {
26078a861b9SJens Axboe struct io_cancel_data cd = {
26178a861b9SJens Axboe .ctx = ctx,
26278a861b9SJens Axboe .seq = atomic_inc_return(&ctx->cancel_seq),
26378a861b9SJens Axboe };
26478a861b9SJens Axboe ktime_t timeout = KTIME_MAX;
26578a861b9SJens Axboe struct io_uring_sync_cancel_reg sc;
266*0c7df8c2SJens Axboe struct file *file = NULL;
26778a861b9SJens Axboe DEFINE_WAIT(wait);
268f77569d2SJens Axboe int ret, i;
26978a861b9SJens Axboe
27078a861b9SJens Axboe if (copy_from_user(&sc, arg, sizeof(sc)))
27178a861b9SJens Axboe return -EFAULT;
27278a861b9SJens Axboe if (sc.flags & ~CANCEL_FLAGS)
27378a861b9SJens Axboe return -EINVAL;
274f77569d2SJens Axboe for (i = 0; i < ARRAY_SIZE(sc.pad); i++)
275f77569d2SJens Axboe if (sc.pad[i])
276f77569d2SJens Axboe return -EINVAL;
277f77569d2SJens Axboe for (i = 0; i < ARRAY_SIZE(sc.pad2); i++)
278f77569d2SJens Axboe if (sc.pad2[i])
27978a861b9SJens Axboe return -EINVAL;
28078a861b9SJens Axboe
28178a861b9SJens Axboe cd.data = sc.addr;
28278a861b9SJens Axboe cd.flags = sc.flags;
283f77569d2SJens Axboe cd.opcode = sc.opcode;
28478a861b9SJens Axboe
28578a861b9SJens Axboe /* we can grab a normal file descriptor upfront */
28678a861b9SJens Axboe if ((cd.flags & IORING_ASYNC_CANCEL_FD) &&
28778a861b9SJens Axboe !(cd.flags & IORING_ASYNC_CANCEL_FD_FIXED)) {
288*0c7df8c2SJens Axboe file = fget(sc.fd);
289*0c7df8c2SJens Axboe if (!file)
29078a861b9SJens Axboe return -EBADF;
291*0c7df8c2SJens Axboe cd.file = file;
29278a861b9SJens Axboe }
29378a861b9SJens Axboe
29478a861b9SJens Axboe ret = __io_sync_cancel(current->io_uring, &cd, sc.fd);
29578a861b9SJens Axboe
29678a861b9SJens Axboe /* found something, done! */
29778a861b9SJens Axboe if (ret != -EALREADY)
29878a861b9SJens Axboe goto out;
29978a861b9SJens Axboe
30078a861b9SJens Axboe if (sc.timeout.tv_sec != -1UL || sc.timeout.tv_nsec != -1UL) {
30178a861b9SJens Axboe struct timespec64 ts = {
30278a861b9SJens Axboe .tv_sec = sc.timeout.tv_sec,
30378a861b9SJens Axboe .tv_nsec = sc.timeout.tv_nsec
30478a861b9SJens Axboe };
30578a861b9SJens Axboe
30678a861b9SJens Axboe timeout = ktime_add_ns(timespec64_to_ktime(ts), ktime_get_ns());
30778a861b9SJens Axboe }
30878a861b9SJens Axboe
30978a861b9SJens Axboe /*
31078a861b9SJens Axboe * Keep looking until we get -ENOENT. we'll get woken everytime
31178a861b9SJens Axboe * every time a request completes and will retry the cancelation.
31278a861b9SJens Axboe */
31378a861b9SJens Axboe do {
31478a861b9SJens Axboe cd.seq = atomic_inc_return(&ctx->cancel_seq);
31578a861b9SJens Axboe
31678a861b9SJens Axboe prepare_to_wait(&ctx->cq_wait, &wait, TASK_INTERRUPTIBLE);
31778a861b9SJens Axboe
31878a861b9SJens Axboe ret = __io_sync_cancel(current->io_uring, &cd, sc.fd);
31978a861b9SJens Axboe
32023fffb2fSJens Axboe mutex_unlock(&ctx->uring_lock);
32178a861b9SJens Axboe if (ret != -EALREADY)
32278a861b9SJens Axboe break;
32378a861b9SJens Axboe
324c0e0d6baSDylan Yudaken ret = io_run_task_work_sig(ctx);
32523fffb2fSJens Axboe if (ret < 0)
32678a861b9SJens Axboe break;
32778a861b9SJens Axboe ret = schedule_hrtimeout(&timeout, HRTIMER_MODE_ABS);
32878a861b9SJens Axboe if (!ret) {
32978a861b9SJens Axboe ret = -ETIME;
33078a861b9SJens Axboe break;
33178a861b9SJens Axboe }
33223fffb2fSJens Axboe mutex_lock(&ctx->uring_lock);
33378a861b9SJens Axboe } while (1);
33478a861b9SJens Axboe
33578a861b9SJens Axboe finish_wait(&ctx->cq_wait, &wait);
33623fffb2fSJens Axboe mutex_lock(&ctx->uring_lock);
33778a861b9SJens Axboe
33878a861b9SJens Axboe if (ret == -ENOENT || ret > 0)
33978a861b9SJens Axboe ret = 0;
34078a861b9SJens Axboe out:
341*0c7df8c2SJens Axboe if (file)
342*0c7df8c2SJens Axboe fput(file);
34378a861b9SJens Axboe return ret;
34478a861b9SJens Axboe }
345