xref: /openbmc/linux/net/xdp/xdp_umem.c (revision a343993c518ce252b62ec00ac06bccfb1d17129d)
1 c0c77d8fSBjörn Töpel // SPDX-License-Identifier: GPL-2.0
2 c0c77d8fSBjörn Töpel /* XDP user-space packet buffer
3 c0c77d8fSBjörn Töpel  * Copyright(c) 2018 Intel Corporation.
4 c0c77d8fSBjörn Töpel  */
5 c0c77d8fSBjörn Töpel 
6 c0c77d8fSBjörn Töpel #include <linux/init.h>
7 c0c77d8fSBjörn Töpel #include <linux/sched/mm.h>
8 c0c77d8fSBjörn Töpel #include <linux/sched/signal.h>
9 c0c77d8fSBjörn Töpel #include <linux/sched/task.h>
10 c0c77d8fSBjörn Töpel #include <linux/uaccess.h>
11 c0c77d8fSBjörn Töpel #include <linux/slab.h>
12 c0c77d8fSBjörn Töpel #include <linux/bpf.h>
13 c0c77d8fSBjörn Töpel #include <linux/mm.h>
14 c0c77d8fSBjörn Töpel 
15 c0c77d8fSBjörn Töpel #include "xdp_umem.h"
16 e61e62b9SBjörn Töpel #include "xsk_queue.h"
17 c0c77d8fSBjörn Töpel 
18 bbff2f32SBjörn Töpel #define XDP_UMEM_MIN_CHUNK_SIZE 2048
19 c0c77d8fSBjörn Töpel 
20 ac98d8aaSMagnus Karlsson void xdp_add_sk_umem(struct xdp_umem *umem, struct xdp_sock *xs)
21 ac98d8aaSMagnus Karlsson {
22 ac98d8aaSMagnus Karlsson 	unsigned long flags;
23 ac98d8aaSMagnus Karlsson 
24 ac98d8aaSMagnus Karlsson 	spin_lock_irqsave(&umem->xsk_list_lock, flags);
25 ac98d8aaSMagnus Karlsson 	list_add_rcu(&xs->list, &umem->xsk_list);
26 ac98d8aaSMagnus Karlsson 	spin_unlock_irqrestore(&umem->xsk_list_lock, flags);
27 ac98d8aaSMagnus Karlsson }
28 ac98d8aaSMagnus Karlsson 
29 ac98d8aaSMagnus Karlsson void xdp_del_sk_umem(struct xdp_umem *umem, struct xdp_sock *xs)
30 ac98d8aaSMagnus Karlsson {
31 ac98d8aaSMagnus Karlsson 	unsigned long flags;
32 ac98d8aaSMagnus Karlsson 
33 ac98d8aaSMagnus Karlsson 	if (xs->dev) {
34 ac98d8aaSMagnus Karlsson 		spin_lock_irqsave(&umem->xsk_list_lock, flags);
35 ac98d8aaSMagnus Karlsson 		list_del_rcu(&xs->list);
36 ac98d8aaSMagnus Karlsson 		spin_unlock_irqrestore(&umem->xsk_list_lock, flags);
37 ac98d8aaSMagnus Karlsson 
38 ac98d8aaSMagnus Karlsson 		if (umem->zc)
39 ac98d8aaSMagnus Karlsson 			synchronize_net();
40 ac98d8aaSMagnus Karlsson 	}
41 ac98d8aaSMagnus Karlsson }
42 ac98d8aaSMagnus Karlsson 
43 173d3adbSBjörn Töpel int xdp_umem_assign_dev(struct xdp_umem *umem, struct net_device *dev,
44 173d3adbSBjörn Töpel 			u32 queue_id, u16 flags)
45 173d3adbSBjörn Töpel {
46 173d3adbSBjörn Töpel 	bool force_zc, force_copy;
47 173d3adbSBjörn Töpel 	struct netdev_bpf bpf;
48 173d3adbSBjörn Töpel 	int err;
49 173d3adbSBjörn Töpel 
50 173d3adbSBjörn Töpel 	force_zc = flags & XDP_ZEROCOPY;
51 173d3adbSBjörn Töpel 	force_copy = flags & XDP_COPY;
52 173d3adbSBjörn Töpel 
53 173d3adbSBjörn Töpel 	if (force_zc && force_copy)
54 173d3adbSBjörn Töpel 		return -EINVAL;
55 173d3adbSBjörn Töpel 
56 173d3adbSBjörn Töpel 	if (force_copy)
57 173d3adbSBjörn Töpel 		return 0;
58 173d3adbSBjörn Töpel 
59 173d3adbSBjörn Töpel 	dev_hold(dev);
60 173d3adbSBjörn Töpel 
61 ac98d8aaSMagnus Karlsson 	if (dev->netdev_ops->ndo_bpf && dev->netdev_ops->ndo_xsk_async_xmit) {
62 173d3adbSBjörn Töpel 		bpf.command = XDP_QUERY_XSK_UMEM;
63 173d3adbSBjörn Töpel 
64 173d3adbSBjörn Töpel 		rtnl_lock();
65 173d3adbSBjörn Töpel 		err = dev->netdev_ops->ndo_bpf(dev, &bpf);
66 173d3adbSBjörn Töpel 		rtnl_unlock();
67 173d3adbSBjörn Töpel 
68 173d3adbSBjörn Töpel 		if (err) {
69 173d3adbSBjörn Töpel 			dev_put(dev);
70 173d3adbSBjörn Töpel 			return force_zc ? -ENOTSUPP : 0;
71 173d3adbSBjörn Töpel 		}
72 173d3adbSBjörn Töpel 
73 173d3adbSBjörn Töpel 		bpf.command = XDP_SETUP_XSK_UMEM;
74 173d3adbSBjörn Töpel 		bpf.xsk.umem = umem;
75 173d3adbSBjörn Töpel 		bpf.xsk.queue_id = queue_id;
76 173d3adbSBjörn Töpel 
77 173d3adbSBjörn Töpel 		rtnl_lock();
78 173d3adbSBjörn Töpel 		err = dev->netdev_ops->ndo_bpf(dev, &bpf);
79 173d3adbSBjörn Töpel 		rtnl_unlock();
80 173d3adbSBjörn Töpel 
81 173d3adbSBjörn Töpel 		if (err) {
82 173d3adbSBjörn Töpel 			dev_put(dev);
83 173d3adbSBjörn Töpel 			return force_zc ? err : 0; /* fail or fallback */
84 173d3adbSBjörn Töpel 		}
85 173d3adbSBjörn Töpel 
86 173d3adbSBjörn Töpel 		umem->dev = dev;
87 173d3adbSBjörn Töpel 		umem->queue_id = queue_id;
88 173d3adbSBjörn Töpel 		umem->zc = true;
89 173d3adbSBjörn Töpel 		return 0;
90 173d3adbSBjörn Töpel 	}
91 173d3adbSBjörn Töpel 
92 173d3adbSBjörn Töpel 	dev_put(dev);
93 173d3adbSBjörn Töpel 	return force_zc ? -ENOTSUPP : 0; /* fail or fallback */
94 173d3adbSBjörn Töpel }
95 173d3adbSBjörn Töpel 
96 ac98d8aaSMagnus Karlsson static void xdp_umem_clear_dev(struct xdp_umem *umem)
97 173d3adbSBjörn Töpel {
98 173d3adbSBjörn Töpel 	struct netdev_bpf bpf;
99 173d3adbSBjörn Töpel 	int err;
100 173d3adbSBjörn Töpel 
101 173d3adbSBjörn Töpel 	if (umem->dev) {
102 173d3adbSBjörn Töpel 		bpf.command = XDP_SETUP_XSK_UMEM;
103 173d3adbSBjörn Töpel 		bpf.xsk.umem = NULL;
104 173d3adbSBjörn Töpel 		bpf.xsk.queue_id = umem->queue_id;
105 173d3adbSBjörn Töpel 
106 173d3adbSBjörn Töpel 		rtnl_lock();
107 173d3adbSBjörn Töpel 		err = umem->dev->netdev_ops->ndo_bpf(umem->dev, &bpf);
108 173d3adbSBjörn Töpel 		rtnl_unlock();
109 173d3adbSBjörn Töpel 
110 173d3adbSBjörn Töpel 		if (err)
111 173d3adbSBjörn Töpel 			WARN(1, "failed to disable umem!\n");
112 173d3adbSBjörn Töpel 
113 173d3adbSBjörn Töpel 		dev_put(umem->dev);
114 173d3adbSBjörn Töpel 		umem->dev = NULL;
115 173d3adbSBjörn Töpel 	}
116 173d3adbSBjörn Töpel }
117 173d3adbSBjörn Töpel 
118 c0c77d8fSBjörn Töpel static void xdp_umem_unpin_pages(struct xdp_umem *umem)
119 c0c77d8fSBjörn Töpel {
120 c0c77d8fSBjörn Töpel 	unsigned int i;
121 c0c77d8fSBjörn Töpel 
122 c0c77d8fSBjörn Töpel 	for (i = 0; i < umem->npgs; i++) {
123 c0c77d8fSBjörn Töpel 		struct page *page = umem->pgs[i];
124 c0c77d8fSBjörn Töpel 
125 c0c77d8fSBjörn Töpel 		set_page_dirty_lock(page);
126 c0c77d8fSBjörn Töpel 		put_page(page);
127 c0c77d8fSBjörn Töpel 	}
128 c0c77d8fSBjörn Töpel 
129 c0c77d8fSBjörn Töpel 	kfree(umem->pgs);
130 c0c77d8fSBjörn Töpel 	umem->pgs = NULL;
131 c0c77d8fSBjörn Töpel }
132 c0c77d8fSBjörn Töpel 
133 c0c77d8fSBjörn Töpel static void xdp_umem_unaccount_pages(struct xdp_umem *umem)
134 c0c77d8fSBjörn Töpel {
135 c09290c5SDaniel Borkmann 	if (umem->user) {
136 c0c77d8fSBjörn Töpel 		atomic_long_sub(umem->npgs, &umem->user->locked_vm);
137 c0c77d8fSBjörn Töpel 		free_uid(umem->user);
138 c0c77d8fSBjörn Töpel 	}
139 c09290c5SDaniel Borkmann }
140 c0c77d8fSBjörn Töpel 
141 c0c77d8fSBjörn Töpel static void xdp_umem_release(struct xdp_umem *umem)
142 c0c77d8fSBjörn Töpel {
143 c0c77d8fSBjörn Töpel 	struct task_struct *task;
144 c0c77d8fSBjörn Töpel 	struct mm_struct *mm;
145 c0c77d8fSBjörn Töpel 
146 173d3adbSBjörn Töpel 	xdp_umem_clear_dev(umem);
147 173d3adbSBjörn Töpel 
148 423f3832SMagnus Karlsson 	if (umem->fq) {
149 423f3832SMagnus Karlsson 		xskq_destroy(umem->fq);
150 423f3832SMagnus Karlsson 		umem->fq = NULL;
151 423f3832SMagnus Karlsson 	}
152 423f3832SMagnus Karlsson 
153 fe230832SMagnus Karlsson 	if (umem->cq) {
154 fe230832SMagnus Karlsson 		xskq_destroy(umem->cq);
155 fe230832SMagnus Karlsson 		umem->cq = NULL;
156 fe230832SMagnus Karlsson 	}
157 fe230832SMagnus Karlsson 
158 c0c77d8fSBjörn Töpel 	xdp_umem_unpin_pages(umem);
159 c0c77d8fSBjörn Töpel 
160 c0c77d8fSBjörn Töpel 	task = get_pid_task(umem->pid, PIDTYPE_PID);
161 c0c77d8fSBjörn Töpel 	put_pid(umem->pid);
162 c0c77d8fSBjörn Töpel 	if (!task)
163 c0c77d8fSBjörn Töpel 		goto out;
164 c0c77d8fSBjörn Töpel 	mm = get_task_mm(task);
165 c0c77d8fSBjörn Töpel 	put_task_struct(task);
166 c0c77d8fSBjörn Töpel 	if (!mm)
167 c0c77d8fSBjörn Töpel 		goto out;
168 c0c77d8fSBjörn Töpel 
169 c0c77d8fSBjörn Töpel 	mmput(mm);
170 8aef7340SBjörn Töpel 	kfree(umem->pages);
171 8aef7340SBjörn Töpel 	umem->pages = NULL;
172 8aef7340SBjörn Töpel 
173 c0c77d8fSBjörn Töpel 	xdp_umem_unaccount_pages(umem);
174 c0c77d8fSBjörn Töpel out:
175 c0c77d8fSBjörn Töpel 	kfree(umem);
176 c0c77d8fSBjörn Töpel }
177 c0c77d8fSBjörn Töpel 
178 c0c77d8fSBjörn Töpel static void xdp_umem_release_deferred(struct work_struct *work)
179 c0c77d8fSBjörn Töpel {
180 c0c77d8fSBjörn Töpel 	struct xdp_umem *umem = container_of(work, struct xdp_umem, work);
181 c0c77d8fSBjörn Töpel 
182 c0c77d8fSBjörn Töpel 	xdp_umem_release(umem);
183 c0c77d8fSBjörn Töpel }
184 c0c77d8fSBjörn Töpel 
185 c0c77d8fSBjörn Töpel void xdp_get_umem(struct xdp_umem *umem)
186 c0c77d8fSBjörn Töpel {
187 d3b42f14SBjörn Töpel 	refcount_inc(&umem->users);
188 c0c77d8fSBjörn Töpel }
189 c0c77d8fSBjörn Töpel 
190 c0c77d8fSBjörn Töpel void xdp_put_umem(struct xdp_umem *umem)
191 c0c77d8fSBjörn Töpel {
192 c0c77d8fSBjörn Töpel 	if (!umem)
193 c0c77d8fSBjörn Töpel 		return;
194 c0c77d8fSBjörn Töpel 
195 d3b42f14SBjörn Töpel 	if (refcount_dec_and_test(&umem->users)) {
196 c0c77d8fSBjörn Töpel 		INIT_WORK(&umem->work, xdp_umem_release_deferred);
197 c0c77d8fSBjörn Töpel 		schedule_work(&umem->work);
198 c0c77d8fSBjörn Töpel 	}
199 c0c77d8fSBjörn Töpel }
200 c0c77d8fSBjörn Töpel 
201 c0c77d8fSBjörn Töpel static int xdp_umem_pin_pages(struct xdp_umem *umem)
202 c0c77d8fSBjörn Töpel {
203 c0c77d8fSBjörn Töpel 	unsigned int gup_flags = FOLL_WRITE;
204 c0c77d8fSBjörn Töpel 	long npgs;
205 c0c77d8fSBjörn Töpel 	int err;
206 c0c77d8fSBjörn Töpel 
207 *a343993cSBjörn Töpel 	umem->pgs = kcalloc(umem->npgs, sizeof(*umem->pgs),
208 *a343993cSBjörn Töpel 			    GFP_KERNEL | __GFP_NOWARN);
209 c0c77d8fSBjörn Töpel 	if (!umem->pgs)
210 c0c77d8fSBjörn Töpel 		return -ENOMEM;
211 c0c77d8fSBjörn Töpel 
212 c0c77d8fSBjörn Töpel 	down_write(&current->mm->mmap_sem);
213 c0c77d8fSBjörn Töpel 	npgs = get_user_pages(umem->address, umem->npgs,
214 c0c77d8fSBjörn Töpel 			      gup_flags, &umem->pgs[0], NULL);
215 c0c77d8fSBjörn Töpel 	up_write(&current->mm->mmap_sem);
216 c0c77d8fSBjörn Töpel 
217 c0c77d8fSBjörn Töpel 	if (npgs != umem->npgs) {
218 c0c77d8fSBjörn Töpel 		if (npgs >= 0) {
219 c0c77d8fSBjörn Töpel 			umem->npgs = npgs;
220 c0c77d8fSBjörn Töpel 			err = -ENOMEM;
221 c0c77d8fSBjörn Töpel 			goto out_pin;
222 c0c77d8fSBjörn Töpel 		}
223 c0c77d8fSBjörn Töpel 		err = npgs;
224 c0c77d8fSBjörn Töpel 		goto out_pgs;
225 c0c77d8fSBjörn Töpel 	}
226 c0c77d8fSBjörn Töpel 	return 0;
227 c0c77d8fSBjörn Töpel 
228 c0c77d8fSBjörn Töpel out_pin:
229 c0c77d8fSBjörn Töpel 	xdp_umem_unpin_pages(umem);
230 c0c77d8fSBjörn Töpel out_pgs:
231 c0c77d8fSBjörn Töpel 	kfree(umem->pgs);
232 c0c77d8fSBjörn Töpel 	umem->pgs = NULL;
233 c0c77d8fSBjörn Töpel 	return err;
234 c0c77d8fSBjörn Töpel }
235 c0c77d8fSBjörn Töpel 
236 c0c77d8fSBjörn Töpel static int xdp_umem_account_pages(struct xdp_umem *umem)
237 c0c77d8fSBjörn Töpel {
238 c0c77d8fSBjörn Töpel 	unsigned long lock_limit, new_npgs, old_npgs;
239 c0c77d8fSBjörn Töpel 
240 c0c77d8fSBjörn Töpel 	if (capable(CAP_IPC_LOCK))
241 c0c77d8fSBjörn Töpel 		return 0;
242 c0c77d8fSBjörn Töpel 
243 c0c77d8fSBjörn Töpel 	lock_limit = rlimit(RLIMIT_MEMLOCK) >> PAGE_SHIFT;
244 c0c77d8fSBjörn Töpel 	umem->user = get_uid(current_user());
245 c0c77d8fSBjörn Töpel 
246 c0c77d8fSBjörn Töpel 	do {
247 c0c77d8fSBjörn Töpel 		old_npgs = atomic_long_read(&umem->user->locked_vm);
248 c0c77d8fSBjörn Töpel 		new_npgs = old_npgs + umem->npgs;
249 c0c77d8fSBjörn Töpel 		if (new_npgs > lock_limit) {
250 c0c77d8fSBjörn Töpel 			free_uid(umem->user);
251 c0c77d8fSBjörn Töpel 			umem->user = NULL;
252 c0c77d8fSBjörn Töpel 			return -ENOBUFS;
253 c0c77d8fSBjörn Töpel 		}
254 c0c77d8fSBjörn Töpel 	} while (atomic_long_cmpxchg(&umem->user->locked_vm, old_npgs,
255 c0c77d8fSBjörn Töpel 				     new_npgs) != old_npgs);
256 c0c77d8fSBjörn Töpel 	return 0;
257 c0c77d8fSBjörn Töpel }
258 c0c77d8fSBjörn Töpel 
259 a49049eaSBjörn Töpel static int xdp_umem_reg(struct xdp_umem *umem, struct xdp_umem_reg *mr)
260 c0c77d8fSBjörn Töpel {
261 bbff2f32SBjörn Töpel 	u32 chunk_size = mr->chunk_size, headroom = mr->headroom;
262 bbff2f32SBjörn Töpel 	unsigned int chunks, chunks_per_page;
263 c0c77d8fSBjörn Töpel 	u64 addr = mr->addr, size = mr->len;
264 8aef7340SBjörn Töpel 	int size_chk, err, i;
265 c0c77d8fSBjörn Töpel 
266 bbff2f32SBjörn Töpel 	if (chunk_size < XDP_UMEM_MIN_CHUNK_SIZE || chunk_size > PAGE_SIZE) {
267 c0c77d8fSBjörn Töpel 		/* Strictly speaking we could support this, if:
268 c0c77d8fSBjörn Töpel 		 * - huge pages, or*
269 c0c77d8fSBjörn Töpel 		 * - using an IOMMU, or
270 c0c77d8fSBjörn Töpel 		 * - making sure the memory area is consecutive
271 c0c77d8fSBjörn Töpel 		 * but for now, we simply say "computer says no".
272 c0c77d8fSBjörn Töpel 		 */
273 c0c77d8fSBjörn Töpel 		return -EINVAL;
274 c0c77d8fSBjörn Töpel 	}
275 c0c77d8fSBjörn Töpel 
276 bbff2f32SBjörn Töpel 	if (!is_power_of_2(chunk_size))
277 c0c77d8fSBjörn Töpel 		return -EINVAL;
278 c0c77d8fSBjörn Töpel 
279 c0c77d8fSBjörn Töpel 	if (!PAGE_ALIGNED(addr)) {
280 c0c77d8fSBjörn Töpel 		/* Memory area has to be page size aligned. For
281 c0c77d8fSBjörn Töpel 		 * simplicity, this might change.
282 c0c77d8fSBjörn Töpel 		 */
283 c0c77d8fSBjörn Töpel 		return -EINVAL;
284 c0c77d8fSBjörn Töpel 	}
285 c0c77d8fSBjörn Töpel 
286 c0c77d8fSBjörn Töpel 	if ((addr + size) < addr)
287 c0c77d8fSBjörn Töpel 		return -EINVAL;
288 c0c77d8fSBjörn Töpel 
289 bbff2f32SBjörn Töpel 	chunks = (unsigned int)div_u64(size, chunk_size);
290 bbff2f32SBjörn Töpel 	if (chunks == 0)
291 c0c77d8fSBjörn Töpel 		return -EINVAL;
292 c0c77d8fSBjörn Töpel 
293 bbff2f32SBjörn Töpel 	chunks_per_page = PAGE_SIZE / chunk_size;
294 bbff2f32SBjörn Töpel 	if (chunks < chunks_per_page || chunks % chunks_per_page)
295 c0c77d8fSBjörn Töpel 		return -EINVAL;
296 c0c77d8fSBjörn Töpel 
297 bbff2f32SBjörn Töpel 	headroom = ALIGN(headroom, 64);
298 c0c77d8fSBjörn Töpel 
299 bbff2f32SBjörn Töpel 	size_chk = chunk_size - headroom - XDP_PACKET_HEADROOM;
300 c0c77d8fSBjörn Töpel 	if (size_chk < 0)
301 c0c77d8fSBjörn Töpel 		return -EINVAL;
302 c0c77d8fSBjörn Töpel 
303 c0c77d8fSBjörn Töpel 	umem->pid = get_task_pid(current, PIDTYPE_PID);
304 c0c77d8fSBjörn Töpel 	umem->address = (unsigned long)addr;
305 bbff2f32SBjörn Töpel 	umem->props.chunk_mask = ~((u64)chunk_size - 1);
306 bbff2f32SBjörn Töpel 	umem->props.size = size;
307 bbff2f32SBjörn Töpel 	umem->headroom = headroom;
308 bbff2f32SBjörn Töpel 	umem->chunk_size_nohr = chunk_size - headroom;
309 c0c77d8fSBjörn Töpel 	umem->npgs = size / PAGE_SIZE;
310 c0c77d8fSBjörn Töpel 	umem->pgs = NULL;
311 c0c77d8fSBjörn Töpel 	umem->user = NULL;
312 ac98d8aaSMagnus Karlsson 	INIT_LIST_HEAD(&umem->xsk_list);
313 ac98d8aaSMagnus Karlsson 	spin_lock_init(&umem->xsk_list_lock);
314 c0c77d8fSBjörn Töpel 
315 d3b42f14SBjörn Töpel 	refcount_set(&umem->users, 1);
316 c0c77d8fSBjörn Töpel 
317 c0c77d8fSBjörn Töpel 	err = xdp_umem_account_pages(umem);
318 c0c77d8fSBjörn Töpel 	if (err)
319 c0c77d8fSBjörn Töpel 		goto out;
320 c0c77d8fSBjörn Töpel 
321 c0c77d8fSBjörn Töpel 	err = xdp_umem_pin_pages(umem);
322 c0c77d8fSBjörn Töpel 	if (err)
323 c0c77d8fSBjörn Töpel 		goto out_account;
324 8aef7340SBjörn Töpel 
325 8aef7340SBjörn Töpel 	umem->pages = kcalloc(umem->npgs, sizeof(*umem->pages), GFP_KERNEL);
326 8aef7340SBjörn Töpel 	if (!umem->pages) {
327 8aef7340SBjörn Töpel 		err = -ENOMEM;
328 8aef7340SBjörn Töpel 		goto out_account;
329 8aef7340SBjörn Töpel 	}
330 8aef7340SBjörn Töpel 
331 8aef7340SBjörn Töpel 	for (i = 0; i < umem->npgs; i++)
332 8aef7340SBjörn Töpel 		umem->pages[i].addr = page_address(umem->pgs[i]);
333 8aef7340SBjörn Töpel 
334 c0c77d8fSBjörn Töpel 	return 0;
335 c0c77d8fSBjörn Töpel 
336 c0c77d8fSBjörn Töpel out_account:
337 c0c77d8fSBjörn Töpel 	xdp_umem_unaccount_pages(umem);
338 c0c77d8fSBjörn Töpel out:
339 c0c77d8fSBjörn Töpel 	put_pid(umem->pid);
340 c0c77d8fSBjörn Töpel 	return err;
341 c0c77d8fSBjörn Töpel }
342 965a9909SMagnus Karlsson 
343 a49049eaSBjörn Töpel struct xdp_umem *xdp_umem_create(struct xdp_umem_reg *mr)
344 a49049eaSBjörn Töpel {
345 a49049eaSBjörn Töpel 	struct xdp_umem *umem;
346 a49049eaSBjörn Töpel 	int err;
347 a49049eaSBjörn Töpel 
348 a49049eaSBjörn Töpel 	umem = kzalloc(sizeof(*umem), GFP_KERNEL);
349 a49049eaSBjörn Töpel 	if (!umem)
350 a49049eaSBjörn Töpel 		return ERR_PTR(-ENOMEM);
351 a49049eaSBjörn Töpel 
352 a49049eaSBjörn Töpel 	err = xdp_umem_reg(umem, mr);
353 a49049eaSBjörn Töpel 	if (err) {
354 a49049eaSBjörn Töpel 		kfree(umem);
355 a49049eaSBjörn Töpel 		return ERR_PTR(err);
356 a49049eaSBjörn Töpel 	}
357 a49049eaSBjörn Töpel 
358 a49049eaSBjörn Töpel 	return umem;
359 a49049eaSBjörn Töpel }
360 a49049eaSBjörn Töpel 
361 965a9909SMagnus Karlsson bool xdp_umem_validate_queues(struct xdp_umem *umem)
362 965a9909SMagnus Karlsson {
363 da60cf00SBjörn Töpel 	return umem->fq && umem->cq;
364 965a9909SMagnus Karlsson }
365