xref: /openbmc/linux/io_uring/notif.h (revision 519760df) 
1 // SPDX-License-Identifier: GPL-2.0
2 
3 #include <linux/net.h>
4 #include <linux/uio.h>
5 #include <net/sock.h>
6 #include <linux/nospec.h>
7 
8 #include "rsrc.h"
9 
10 #define IO_NOTIF_UBUF_FLAGS	(SKBFL_ZEROCOPY_FRAG | SKBFL_DONT_ORPHAN)
11 #define IO_NOTIF_SPLICE_BATCH	32
12 
13 struct io_notif_data {
14 	struct file		*file;
15 	struct ubuf_info	uarg;
16 	unsigned long		account_pages;
17 	bool			zc_report;
18 	bool			zc_used;
19 	bool			zc_copied;
20 };
21 
22 struct io_kiocb *io_alloc_notif(struct io_ring_ctx *ctx);
23 void io_notif_set_extended(struct io_kiocb *notif);
24 
io_notif_to_data(struct io_kiocb * notif)25 static inline struct io_notif_data *io_notif_to_data(struct io_kiocb *notif)
26 {
27 	return io_kiocb_to_cmd(notif, struct io_notif_data);
28 }
29 
io_notif_flush(struct io_kiocb * notif)30 static inline void io_notif_flush(struct io_kiocb *notif)
31 	__must_hold(&notif->ctx->uring_lock)
32 {
33 	struct io_notif_data *nd = io_notif_to_data(notif);
34 
35 	/* drop slot's master ref */
36 	if (refcount_dec_and_test(&nd->uarg.refcnt))
37 		__io_req_task_work_add(notif, IOU_F_TWQ_LAZY_WAKE);
38 }
39 
io_notif_account_mem(struct io_kiocb * notif,unsigned len)40 static inline int io_notif_account_mem(struct io_kiocb *notif, unsigned len)
41 {
42 	struct io_ring_ctx *ctx = notif->ctx;
43 	struct io_notif_data *nd = io_notif_to_data(notif);
44 	unsigned nr_pages = (len >> PAGE_SHIFT) + 2;
45 	int ret;
46 
47 	if (ctx->user) {
48 		ret = __io_account_mem(ctx->user, nr_pages);
49 		if (ret)
50 			return ret;
51 		nd->account_pages += nr_pages;
52 	}
53 	return 0;
54 }
55