1 c0c77d8fSBjörn Töpel // SPDX-License-Identifier: GPL-2.0 2 c0c77d8fSBjörn Töpel /* XDP user-space packet buffer 3 c0c77d8fSBjörn Töpel * Copyright(c) 2018 Intel Corporation. 4 c0c77d8fSBjörn Töpel */ 5 c0c77d8fSBjörn Töpel 6 c0c77d8fSBjörn Töpel #include <linux/init.h> 7 c0c77d8fSBjörn Töpel #include <linux/sched/mm.h> 8 c0c77d8fSBjörn Töpel #include <linux/sched/signal.h> 9 c0c77d8fSBjörn Töpel #include <linux/sched/task.h> 10 c0c77d8fSBjörn Töpel #include <linux/uaccess.h> 11 c0c77d8fSBjörn Töpel #include <linux/slab.h> 12 c0c77d8fSBjörn Töpel #include <linux/bpf.h> 13 c0c77d8fSBjörn Töpel #include <linux/mm.h> 14 c0c77d8fSBjörn Töpel 15 c0c77d8fSBjörn Töpel #include "xdp_umem.h" 16 e61e62b9SBjörn Töpel #include "xsk_queue.h" 17 c0c77d8fSBjörn Töpel 18 bbff2f32SBjörn Töpel #define XDP_UMEM_MIN_CHUNK_SIZE 2048 19 c0c77d8fSBjörn Töpel 20 ac98d8aaSMagnus Karlsson void xdp_add_sk_umem(struct xdp_umem *umem, struct xdp_sock *xs) 21 ac98d8aaSMagnus Karlsson { 22 ac98d8aaSMagnus Karlsson unsigned long flags; 23 ac98d8aaSMagnus Karlsson 24 ac98d8aaSMagnus Karlsson spin_lock_irqsave(&umem->xsk_list_lock, flags); 25 ac98d8aaSMagnus Karlsson list_add_rcu(&xs->list, &umem->xsk_list); 26 ac98d8aaSMagnus Karlsson spin_unlock_irqrestore(&umem->xsk_list_lock, flags); 27 ac98d8aaSMagnus Karlsson } 28 ac98d8aaSMagnus Karlsson 29 ac98d8aaSMagnus Karlsson void xdp_del_sk_umem(struct xdp_umem *umem, struct xdp_sock *xs) 30 ac98d8aaSMagnus Karlsson { 31 ac98d8aaSMagnus Karlsson unsigned long flags; 32 ac98d8aaSMagnus Karlsson 33 ac98d8aaSMagnus Karlsson if (xs->dev) { 34 ac98d8aaSMagnus Karlsson spin_lock_irqsave(&umem->xsk_list_lock, flags); 35 ac98d8aaSMagnus Karlsson list_del_rcu(&xs->list); 36 ac98d8aaSMagnus Karlsson spin_unlock_irqrestore(&umem->xsk_list_lock, flags); 37 ac98d8aaSMagnus Karlsson 38 ac98d8aaSMagnus Karlsson if (umem->zc) 39 ac98d8aaSMagnus Karlsson synchronize_net(); 40 ac98d8aaSMagnus Karlsson } 41 ac98d8aaSMagnus Karlsson } 42 ac98d8aaSMagnus Karlsson 43 173d3adbSBjörn Töpel int xdp_umem_assign_dev(struct xdp_umem *umem, struct net_device *dev, 44 173d3adbSBjörn Töpel u32 queue_id, u16 flags) 45 173d3adbSBjörn Töpel { 46 173d3adbSBjörn Töpel bool force_zc, force_copy; 47 173d3adbSBjörn Töpel struct netdev_bpf bpf; 48 173d3adbSBjörn Töpel int err; 49 173d3adbSBjörn Töpel 50 173d3adbSBjörn Töpel force_zc = flags & XDP_ZEROCOPY; 51 173d3adbSBjörn Töpel force_copy = flags & XDP_COPY; 52 173d3adbSBjörn Töpel 53 173d3adbSBjörn Töpel if (force_zc && force_copy) 54 173d3adbSBjörn Töpel return -EINVAL; 55 173d3adbSBjörn Töpel 56 173d3adbSBjörn Töpel if (force_copy) 57 173d3adbSBjörn Töpel return 0; 58 173d3adbSBjörn Töpel 59 173d3adbSBjörn Töpel dev_hold(dev); 60 173d3adbSBjörn Töpel 61 ac98d8aaSMagnus Karlsson if (dev->netdev_ops->ndo_bpf && dev->netdev_ops->ndo_xsk_async_xmit) { 62 173d3adbSBjörn Töpel bpf.command = XDP_QUERY_XSK_UMEM; 63 173d3adbSBjörn Töpel 64 173d3adbSBjörn Töpel rtnl_lock(); 65 173d3adbSBjörn Töpel err = dev->netdev_ops->ndo_bpf(dev, &bpf); 66 173d3adbSBjörn Töpel rtnl_unlock(); 67 173d3adbSBjörn Töpel 68 173d3adbSBjörn Töpel if (err) { 69 173d3adbSBjörn Töpel dev_put(dev); 70 173d3adbSBjörn Töpel return force_zc ? -ENOTSUPP : 0; 71 173d3adbSBjörn Töpel } 72 173d3adbSBjörn Töpel 73 173d3adbSBjörn Töpel bpf.command = XDP_SETUP_XSK_UMEM; 74 173d3adbSBjörn Töpel bpf.xsk.umem = umem; 75 173d3adbSBjörn Töpel bpf.xsk.queue_id = queue_id; 76 173d3adbSBjörn Töpel 77 173d3adbSBjörn Töpel rtnl_lock(); 78 173d3adbSBjörn Töpel err = dev->netdev_ops->ndo_bpf(dev, &bpf); 79 173d3adbSBjörn Töpel rtnl_unlock(); 80 173d3adbSBjörn Töpel 81 173d3adbSBjörn Töpel if (err) { 82 173d3adbSBjörn Töpel dev_put(dev); 83 173d3adbSBjörn Töpel return force_zc ? err : 0; /* fail or fallback */ 84 173d3adbSBjörn Töpel } 85 173d3adbSBjörn Töpel 86 173d3adbSBjörn Töpel umem->dev = dev; 87 173d3adbSBjörn Töpel umem->queue_id = queue_id; 88 173d3adbSBjörn Töpel umem->zc = true; 89 173d3adbSBjörn Töpel return 0; 90 173d3adbSBjörn Töpel } 91 173d3adbSBjörn Töpel 92 173d3adbSBjörn Töpel dev_put(dev); 93 173d3adbSBjörn Töpel return force_zc ? -ENOTSUPP : 0; /* fail or fallback */ 94 173d3adbSBjörn Töpel } 95 173d3adbSBjörn Töpel 96 ac98d8aaSMagnus Karlsson static void xdp_umem_clear_dev(struct xdp_umem *umem) 97 173d3adbSBjörn Töpel { 98 173d3adbSBjörn Töpel struct netdev_bpf bpf; 99 173d3adbSBjörn Töpel int err; 100 173d3adbSBjörn Töpel 101 173d3adbSBjörn Töpel if (umem->dev) { 102 173d3adbSBjörn Töpel bpf.command = XDP_SETUP_XSK_UMEM; 103 173d3adbSBjörn Töpel bpf.xsk.umem = NULL; 104 173d3adbSBjörn Töpel bpf.xsk.queue_id = umem->queue_id; 105 173d3adbSBjörn Töpel 106 173d3adbSBjörn Töpel rtnl_lock(); 107 173d3adbSBjörn Töpel err = umem->dev->netdev_ops->ndo_bpf(umem->dev, &bpf); 108 173d3adbSBjörn Töpel rtnl_unlock(); 109 173d3adbSBjörn Töpel 110 173d3adbSBjörn Töpel if (err) 111 173d3adbSBjörn Töpel WARN(1, "failed to disable umem!\n"); 112 173d3adbSBjörn Töpel 113 173d3adbSBjörn Töpel dev_put(umem->dev); 114 173d3adbSBjörn Töpel umem->dev = NULL; 115 173d3adbSBjörn Töpel } 116 173d3adbSBjörn Töpel } 117 173d3adbSBjörn Töpel 118 c0c77d8fSBjörn Töpel static void xdp_umem_unpin_pages(struct xdp_umem *umem) 119 c0c77d8fSBjörn Töpel { 120 c0c77d8fSBjörn Töpel unsigned int i; 121 c0c77d8fSBjörn Töpel 122 c0c77d8fSBjörn Töpel for (i = 0; i < umem->npgs; i++) { 123 c0c77d8fSBjörn Töpel struct page *page = umem->pgs[i]; 124 c0c77d8fSBjörn Töpel 125 c0c77d8fSBjörn Töpel set_page_dirty_lock(page); 126 c0c77d8fSBjörn Töpel put_page(page); 127 c0c77d8fSBjörn Töpel } 128 c0c77d8fSBjörn Töpel 129 c0c77d8fSBjörn Töpel kfree(umem->pgs); 130 c0c77d8fSBjörn Töpel umem->pgs = NULL; 131 c0c77d8fSBjörn Töpel } 132 c0c77d8fSBjörn Töpel 133 c0c77d8fSBjörn Töpel static void xdp_umem_unaccount_pages(struct xdp_umem *umem) 134 c0c77d8fSBjörn Töpel { 135 c09290c5SDaniel Borkmann if (umem->user) { 136 c0c77d8fSBjörn Töpel atomic_long_sub(umem->npgs, &umem->user->locked_vm); 137 c0c77d8fSBjörn Töpel free_uid(umem->user); 138 c0c77d8fSBjörn Töpel } 139 c09290c5SDaniel Borkmann } 140 c0c77d8fSBjörn Töpel 141 c0c77d8fSBjörn Töpel static void xdp_umem_release(struct xdp_umem *umem) 142 c0c77d8fSBjörn Töpel { 143 c0c77d8fSBjörn Töpel struct task_struct *task; 144 c0c77d8fSBjörn Töpel struct mm_struct *mm; 145 c0c77d8fSBjörn Töpel 146 173d3adbSBjörn Töpel xdp_umem_clear_dev(umem); 147 173d3adbSBjörn Töpel 148 423f3832SMagnus Karlsson if (umem->fq) { 149 423f3832SMagnus Karlsson xskq_destroy(umem->fq); 150 423f3832SMagnus Karlsson umem->fq = NULL; 151 423f3832SMagnus Karlsson } 152 423f3832SMagnus Karlsson 153 fe230832SMagnus Karlsson if (umem->cq) { 154 fe230832SMagnus Karlsson xskq_destroy(umem->cq); 155 fe230832SMagnus Karlsson umem->cq = NULL; 156 fe230832SMagnus Karlsson } 157 fe230832SMagnus Karlsson 158 c0c77d8fSBjörn Töpel xdp_umem_unpin_pages(umem); 159 c0c77d8fSBjörn Töpel 160 c0c77d8fSBjörn Töpel task = get_pid_task(umem->pid, PIDTYPE_PID); 161 c0c77d8fSBjörn Töpel put_pid(umem->pid); 162 c0c77d8fSBjörn Töpel if (!task) 163 c0c77d8fSBjörn Töpel goto out; 164 c0c77d8fSBjörn Töpel mm = get_task_mm(task); 165 c0c77d8fSBjörn Töpel put_task_struct(task); 166 c0c77d8fSBjörn Töpel if (!mm) 167 c0c77d8fSBjörn Töpel goto out; 168 c0c77d8fSBjörn Töpel 169 c0c77d8fSBjörn Töpel mmput(mm); 170 8aef7340SBjörn Töpel kfree(umem->pages); 171 8aef7340SBjörn Töpel umem->pages = NULL; 172 8aef7340SBjörn Töpel 173 c0c77d8fSBjörn Töpel xdp_umem_unaccount_pages(umem); 174 c0c77d8fSBjörn Töpel out: 175 c0c77d8fSBjörn Töpel kfree(umem); 176 c0c77d8fSBjörn Töpel } 177 c0c77d8fSBjörn Töpel 178 c0c77d8fSBjörn Töpel static void xdp_umem_release_deferred(struct work_struct *work) 179 c0c77d8fSBjörn Töpel { 180 c0c77d8fSBjörn Töpel struct xdp_umem *umem = container_of(work, struct xdp_umem, work); 181 c0c77d8fSBjörn Töpel 182 c0c77d8fSBjörn Töpel xdp_umem_release(umem); 183 c0c77d8fSBjörn Töpel } 184 c0c77d8fSBjörn Töpel 185 c0c77d8fSBjörn Töpel void xdp_get_umem(struct xdp_umem *umem) 186 c0c77d8fSBjörn Töpel { 187 d3b42f14SBjörn Töpel refcount_inc(&umem->users); 188 c0c77d8fSBjörn Töpel } 189 c0c77d8fSBjörn Töpel 190 c0c77d8fSBjörn Töpel void xdp_put_umem(struct xdp_umem *umem) 191 c0c77d8fSBjörn Töpel { 192 c0c77d8fSBjörn Töpel if (!umem) 193 c0c77d8fSBjörn Töpel return; 194 c0c77d8fSBjörn Töpel 195 d3b42f14SBjörn Töpel if (refcount_dec_and_test(&umem->users)) { 196 c0c77d8fSBjörn Töpel INIT_WORK(&umem->work, xdp_umem_release_deferred); 197 c0c77d8fSBjörn Töpel schedule_work(&umem->work); 198 c0c77d8fSBjörn Töpel } 199 c0c77d8fSBjörn Töpel } 200 c0c77d8fSBjörn Töpel 201 c0c77d8fSBjörn Töpel static int xdp_umem_pin_pages(struct xdp_umem *umem) 202 c0c77d8fSBjörn Töpel { 203 c0c77d8fSBjörn Töpel unsigned int gup_flags = FOLL_WRITE; 204 c0c77d8fSBjörn Töpel long npgs; 205 c0c77d8fSBjörn Töpel int err; 206 c0c77d8fSBjörn Töpel 207 *a343993cSBjörn Töpel umem->pgs = kcalloc(umem->npgs, sizeof(*umem->pgs), 208 *a343993cSBjörn Töpel GFP_KERNEL | __GFP_NOWARN); 209 c0c77d8fSBjörn Töpel if (!umem->pgs) 210 c0c77d8fSBjörn Töpel return -ENOMEM; 211 c0c77d8fSBjörn Töpel 212 c0c77d8fSBjörn Töpel down_write(¤t->mm->mmap_sem); 213 c0c77d8fSBjörn Töpel npgs = get_user_pages(umem->address, umem->npgs, 214 c0c77d8fSBjörn Töpel gup_flags, &umem->pgs[0], NULL); 215 c0c77d8fSBjörn Töpel up_write(¤t->mm->mmap_sem); 216 c0c77d8fSBjörn Töpel 217 c0c77d8fSBjörn Töpel if (npgs != umem->npgs) { 218 c0c77d8fSBjörn Töpel if (npgs >= 0) { 219 c0c77d8fSBjörn Töpel umem->npgs = npgs; 220 c0c77d8fSBjörn Töpel err = -ENOMEM; 221 c0c77d8fSBjörn Töpel goto out_pin; 222 c0c77d8fSBjörn Töpel } 223 c0c77d8fSBjörn Töpel err = npgs; 224 c0c77d8fSBjörn Töpel goto out_pgs; 225 c0c77d8fSBjörn Töpel } 226 c0c77d8fSBjörn Töpel return 0; 227 c0c77d8fSBjörn Töpel 228 c0c77d8fSBjörn Töpel out_pin: 229 c0c77d8fSBjörn Töpel xdp_umem_unpin_pages(umem); 230 c0c77d8fSBjörn Töpel out_pgs: 231 c0c77d8fSBjörn Töpel kfree(umem->pgs); 232 c0c77d8fSBjörn Töpel umem->pgs = NULL; 233 c0c77d8fSBjörn Töpel return err; 234 c0c77d8fSBjörn Töpel } 235 c0c77d8fSBjörn Töpel 236 c0c77d8fSBjörn Töpel static int xdp_umem_account_pages(struct xdp_umem *umem) 237 c0c77d8fSBjörn Töpel { 238 c0c77d8fSBjörn Töpel unsigned long lock_limit, new_npgs, old_npgs; 239 c0c77d8fSBjörn Töpel 240 c0c77d8fSBjörn Töpel if (capable(CAP_IPC_LOCK)) 241 c0c77d8fSBjörn Töpel return 0; 242 c0c77d8fSBjörn Töpel 243 c0c77d8fSBjörn Töpel lock_limit = rlimit(RLIMIT_MEMLOCK) >> PAGE_SHIFT; 244 c0c77d8fSBjörn Töpel umem->user = get_uid(current_user()); 245 c0c77d8fSBjörn Töpel 246 c0c77d8fSBjörn Töpel do { 247 c0c77d8fSBjörn Töpel old_npgs = atomic_long_read(&umem->user->locked_vm); 248 c0c77d8fSBjörn Töpel new_npgs = old_npgs + umem->npgs; 249 c0c77d8fSBjörn Töpel if (new_npgs > lock_limit) { 250 c0c77d8fSBjörn Töpel free_uid(umem->user); 251 c0c77d8fSBjörn Töpel umem->user = NULL; 252 c0c77d8fSBjörn Töpel return -ENOBUFS; 253 c0c77d8fSBjörn Töpel } 254 c0c77d8fSBjörn Töpel } while (atomic_long_cmpxchg(&umem->user->locked_vm, old_npgs, 255 c0c77d8fSBjörn Töpel new_npgs) != old_npgs); 256 c0c77d8fSBjörn Töpel return 0; 257 c0c77d8fSBjörn Töpel } 258 c0c77d8fSBjörn Töpel 259 a49049eaSBjörn Töpel static int xdp_umem_reg(struct xdp_umem *umem, struct xdp_umem_reg *mr) 260 c0c77d8fSBjörn Töpel { 261 bbff2f32SBjörn Töpel u32 chunk_size = mr->chunk_size, headroom = mr->headroom; 262 bbff2f32SBjörn Töpel unsigned int chunks, chunks_per_page; 263 c0c77d8fSBjörn Töpel u64 addr = mr->addr, size = mr->len; 264 8aef7340SBjörn Töpel int size_chk, err, i; 265 c0c77d8fSBjörn Töpel 266 bbff2f32SBjörn Töpel if (chunk_size < XDP_UMEM_MIN_CHUNK_SIZE || chunk_size > PAGE_SIZE) { 267 c0c77d8fSBjörn Töpel /* Strictly speaking we could support this, if: 268 c0c77d8fSBjörn Töpel * - huge pages, or* 269 c0c77d8fSBjörn Töpel * - using an IOMMU, or 270 c0c77d8fSBjörn Töpel * - making sure the memory area is consecutive 271 c0c77d8fSBjörn Töpel * but for now, we simply say "computer says no". 272 c0c77d8fSBjörn Töpel */ 273 c0c77d8fSBjörn Töpel return -EINVAL; 274 c0c77d8fSBjörn Töpel } 275 c0c77d8fSBjörn Töpel 276 bbff2f32SBjörn Töpel if (!is_power_of_2(chunk_size)) 277 c0c77d8fSBjörn Töpel return -EINVAL; 278 c0c77d8fSBjörn Töpel 279 c0c77d8fSBjörn Töpel if (!PAGE_ALIGNED(addr)) { 280 c0c77d8fSBjörn Töpel /* Memory area has to be page size aligned. For 281 c0c77d8fSBjörn Töpel * simplicity, this might change. 282 c0c77d8fSBjörn Töpel */ 283 c0c77d8fSBjörn Töpel return -EINVAL; 284 c0c77d8fSBjörn Töpel } 285 c0c77d8fSBjörn Töpel 286 c0c77d8fSBjörn Töpel if ((addr + size) < addr) 287 c0c77d8fSBjörn Töpel return -EINVAL; 288 c0c77d8fSBjörn Töpel 289 bbff2f32SBjörn Töpel chunks = (unsigned int)div_u64(size, chunk_size); 290 bbff2f32SBjörn Töpel if (chunks == 0) 291 c0c77d8fSBjörn Töpel return -EINVAL; 292 c0c77d8fSBjörn Töpel 293 bbff2f32SBjörn Töpel chunks_per_page = PAGE_SIZE / chunk_size; 294 bbff2f32SBjörn Töpel if (chunks < chunks_per_page || chunks % chunks_per_page) 295 c0c77d8fSBjörn Töpel return -EINVAL; 296 c0c77d8fSBjörn Töpel 297 bbff2f32SBjörn Töpel headroom = ALIGN(headroom, 64); 298 c0c77d8fSBjörn Töpel 299 bbff2f32SBjörn Töpel size_chk = chunk_size - headroom - XDP_PACKET_HEADROOM; 300 c0c77d8fSBjörn Töpel if (size_chk < 0) 301 c0c77d8fSBjörn Töpel return -EINVAL; 302 c0c77d8fSBjörn Töpel 303 c0c77d8fSBjörn Töpel umem->pid = get_task_pid(current, PIDTYPE_PID); 304 c0c77d8fSBjörn Töpel umem->address = (unsigned long)addr; 305 bbff2f32SBjörn Töpel umem->props.chunk_mask = ~((u64)chunk_size - 1); 306 bbff2f32SBjörn Töpel umem->props.size = size; 307 bbff2f32SBjörn Töpel umem->headroom = headroom; 308 bbff2f32SBjörn Töpel umem->chunk_size_nohr = chunk_size - headroom; 309 c0c77d8fSBjörn Töpel umem->npgs = size / PAGE_SIZE; 310 c0c77d8fSBjörn Töpel umem->pgs = NULL; 311 c0c77d8fSBjörn Töpel umem->user = NULL; 312 ac98d8aaSMagnus Karlsson INIT_LIST_HEAD(&umem->xsk_list); 313 ac98d8aaSMagnus Karlsson spin_lock_init(&umem->xsk_list_lock); 314 c0c77d8fSBjörn Töpel 315 d3b42f14SBjörn Töpel refcount_set(&umem->users, 1); 316 c0c77d8fSBjörn Töpel 317 c0c77d8fSBjörn Töpel err = xdp_umem_account_pages(umem); 318 c0c77d8fSBjörn Töpel if (err) 319 c0c77d8fSBjörn Töpel goto out; 320 c0c77d8fSBjörn Töpel 321 c0c77d8fSBjörn Töpel err = xdp_umem_pin_pages(umem); 322 c0c77d8fSBjörn Töpel if (err) 323 c0c77d8fSBjörn Töpel goto out_account; 324 8aef7340SBjörn Töpel 325 8aef7340SBjörn Töpel umem->pages = kcalloc(umem->npgs, sizeof(*umem->pages), GFP_KERNEL); 326 8aef7340SBjörn Töpel if (!umem->pages) { 327 8aef7340SBjörn Töpel err = -ENOMEM; 328 8aef7340SBjörn Töpel goto out_account; 329 8aef7340SBjörn Töpel } 330 8aef7340SBjörn Töpel 331 8aef7340SBjörn Töpel for (i = 0; i < umem->npgs; i++) 332 8aef7340SBjörn Töpel umem->pages[i].addr = page_address(umem->pgs[i]); 333 8aef7340SBjörn Töpel 334 c0c77d8fSBjörn Töpel return 0; 335 c0c77d8fSBjörn Töpel 336 c0c77d8fSBjörn Töpel out_account: 337 c0c77d8fSBjörn Töpel xdp_umem_unaccount_pages(umem); 338 c0c77d8fSBjörn Töpel out: 339 c0c77d8fSBjörn Töpel put_pid(umem->pid); 340 c0c77d8fSBjörn Töpel return err; 341 c0c77d8fSBjörn Töpel } 342 965a9909SMagnus Karlsson 343 a49049eaSBjörn Töpel struct xdp_umem *xdp_umem_create(struct xdp_umem_reg *mr) 344 a49049eaSBjörn Töpel { 345 a49049eaSBjörn Töpel struct xdp_umem *umem; 346 a49049eaSBjörn Töpel int err; 347 a49049eaSBjörn Töpel 348 a49049eaSBjörn Töpel umem = kzalloc(sizeof(*umem), GFP_KERNEL); 349 a49049eaSBjörn Töpel if (!umem) 350 a49049eaSBjörn Töpel return ERR_PTR(-ENOMEM); 351 a49049eaSBjörn Töpel 352 a49049eaSBjörn Töpel err = xdp_umem_reg(umem, mr); 353 a49049eaSBjörn Töpel if (err) { 354 a49049eaSBjörn Töpel kfree(umem); 355 a49049eaSBjörn Töpel return ERR_PTR(err); 356 a49049eaSBjörn Töpel } 357 a49049eaSBjörn Töpel 358 a49049eaSBjörn Töpel return umem; 359 a49049eaSBjörn Töpel } 360 a49049eaSBjörn Töpel 361 965a9909SMagnus Karlsson bool xdp_umem_validate_queues(struct xdp_umem *umem) 362 965a9909SMagnus Karlsson { 363 da60cf00SBjörn Töpel return umem->fq && umem->cq; 364 965a9909SMagnus Karlsson } 365