1c0c77d8fSBjörn Töpel // SPDX-License-Identifier: GPL-2.0 2c0c77d8fSBjörn Töpel /* XDP user-space packet buffer 3c0c77d8fSBjörn Töpel * Copyright(c) 2018 Intel Corporation. 4c0c77d8fSBjörn Töpel */ 5c0c77d8fSBjörn Töpel 6c0c77d8fSBjörn Töpel #include <linux/init.h> 7c0c77d8fSBjörn Töpel #include <linux/sched/mm.h> 8c0c77d8fSBjörn Töpel #include <linux/sched/signal.h> 9c0c77d8fSBjörn Töpel #include <linux/sched/task.h> 10c0c77d8fSBjörn Töpel #include <linux/uaccess.h> 11c0c77d8fSBjörn Töpel #include <linux/slab.h> 12c0c77d8fSBjörn Töpel #include <linux/bpf.h> 13c0c77d8fSBjörn Töpel #include <linux/mm.h> 14c0c77d8fSBjörn Töpel 15c0c77d8fSBjörn Töpel #include "xdp_umem.h" 16e61e62b9SBjörn Töpel #include "xsk_queue.h" 17c0c77d8fSBjörn Töpel 18bbff2f32SBjörn Töpel #define XDP_UMEM_MIN_CHUNK_SIZE 2048 19c0c77d8fSBjörn Töpel 20*ac98d8aaSMagnus Karlsson void xdp_add_sk_umem(struct xdp_umem *umem, struct xdp_sock *xs) 21*ac98d8aaSMagnus Karlsson { 22*ac98d8aaSMagnus Karlsson unsigned long flags; 23*ac98d8aaSMagnus Karlsson 24*ac98d8aaSMagnus Karlsson spin_lock_irqsave(&umem->xsk_list_lock, flags); 25*ac98d8aaSMagnus Karlsson list_add_rcu(&xs->list, &umem->xsk_list); 26*ac98d8aaSMagnus Karlsson spin_unlock_irqrestore(&umem->xsk_list_lock, flags); 27*ac98d8aaSMagnus Karlsson } 28*ac98d8aaSMagnus Karlsson 29*ac98d8aaSMagnus Karlsson void xdp_del_sk_umem(struct xdp_umem *umem, struct xdp_sock *xs) 30*ac98d8aaSMagnus Karlsson { 31*ac98d8aaSMagnus Karlsson unsigned long flags; 32*ac98d8aaSMagnus Karlsson 33*ac98d8aaSMagnus Karlsson if (xs->dev) { 34*ac98d8aaSMagnus Karlsson spin_lock_irqsave(&umem->xsk_list_lock, flags); 35*ac98d8aaSMagnus Karlsson list_del_rcu(&xs->list); 36*ac98d8aaSMagnus Karlsson spin_unlock_irqrestore(&umem->xsk_list_lock, flags); 37*ac98d8aaSMagnus Karlsson 38*ac98d8aaSMagnus Karlsson if (umem->zc) 39*ac98d8aaSMagnus Karlsson synchronize_net(); 40*ac98d8aaSMagnus Karlsson } 41*ac98d8aaSMagnus Karlsson } 42*ac98d8aaSMagnus Karlsson 43173d3adbSBjörn Töpel int xdp_umem_assign_dev(struct xdp_umem *umem, struct net_device *dev, 44173d3adbSBjörn Töpel u32 queue_id, u16 flags) 45173d3adbSBjörn Töpel { 46173d3adbSBjörn Töpel bool force_zc, force_copy; 47173d3adbSBjörn Töpel struct netdev_bpf bpf; 48173d3adbSBjörn Töpel int err; 49173d3adbSBjörn Töpel 50173d3adbSBjörn Töpel force_zc = flags & XDP_ZEROCOPY; 51173d3adbSBjörn Töpel force_copy = flags & XDP_COPY; 52173d3adbSBjörn Töpel 53173d3adbSBjörn Töpel if (force_zc && force_copy) 54173d3adbSBjörn Töpel return -EINVAL; 55173d3adbSBjörn Töpel 56173d3adbSBjörn Töpel if (force_copy) 57173d3adbSBjörn Töpel return 0; 58173d3adbSBjörn Töpel 59173d3adbSBjörn Töpel dev_hold(dev); 60173d3adbSBjörn Töpel 61*ac98d8aaSMagnus Karlsson if (dev->netdev_ops->ndo_bpf && dev->netdev_ops->ndo_xsk_async_xmit) { 62173d3adbSBjörn Töpel bpf.command = XDP_QUERY_XSK_UMEM; 63173d3adbSBjörn Töpel 64173d3adbSBjörn Töpel rtnl_lock(); 65173d3adbSBjörn Töpel err = dev->netdev_ops->ndo_bpf(dev, &bpf); 66173d3adbSBjörn Töpel rtnl_unlock(); 67173d3adbSBjörn Töpel 68173d3adbSBjörn Töpel if (err) { 69173d3adbSBjörn Töpel dev_put(dev); 70173d3adbSBjörn Töpel return force_zc ? -ENOTSUPP : 0; 71173d3adbSBjörn Töpel } 72173d3adbSBjörn Töpel 73173d3adbSBjörn Töpel bpf.command = XDP_SETUP_XSK_UMEM; 74173d3adbSBjörn Töpel bpf.xsk.umem = umem; 75173d3adbSBjörn Töpel bpf.xsk.queue_id = queue_id; 76173d3adbSBjörn Töpel 77173d3adbSBjörn Töpel rtnl_lock(); 78173d3adbSBjörn Töpel err = dev->netdev_ops->ndo_bpf(dev, &bpf); 79173d3adbSBjörn Töpel rtnl_unlock(); 80173d3adbSBjörn Töpel 81173d3adbSBjörn Töpel if (err) { 82173d3adbSBjörn Töpel dev_put(dev); 83173d3adbSBjörn Töpel return force_zc ? err : 0; /* fail or fallback */ 84173d3adbSBjörn Töpel } 85173d3adbSBjörn Töpel 86173d3adbSBjörn Töpel umem->dev = dev; 87173d3adbSBjörn Töpel umem->queue_id = queue_id; 88173d3adbSBjörn Töpel umem->zc = true; 89173d3adbSBjörn Töpel return 0; 90173d3adbSBjörn Töpel } 91173d3adbSBjörn Töpel 92173d3adbSBjörn Töpel dev_put(dev); 93173d3adbSBjörn Töpel return force_zc ? -ENOTSUPP : 0; /* fail or fallback */ 94173d3adbSBjörn Töpel } 95173d3adbSBjörn Töpel 96*ac98d8aaSMagnus Karlsson static void xdp_umem_clear_dev(struct xdp_umem *umem) 97173d3adbSBjörn Töpel { 98173d3adbSBjörn Töpel struct netdev_bpf bpf; 99173d3adbSBjörn Töpel int err; 100173d3adbSBjörn Töpel 101173d3adbSBjörn Töpel if (umem->dev) { 102173d3adbSBjörn Töpel bpf.command = XDP_SETUP_XSK_UMEM; 103173d3adbSBjörn Töpel bpf.xsk.umem = NULL; 104173d3adbSBjörn Töpel bpf.xsk.queue_id = umem->queue_id; 105173d3adbSBjörn Töpel 106173d3adbSBjörn Töpel rtnl_lock(); 107173d3adbSBjörn Töpel err = umem->dev->netdev_ops->ndo_bpf(umem->dev, &bpf); 108173d3adbSBjörn Töpel rtnl_unlock(); 109173d3adbSBjörn Töpel 110173d3adbSBjörn Töpel if (err) 111173d3adbSBjörn Töpel WARN(1, "failed to disable umem!\n"); 112173d3adbSBjörn Töpel 113173d3adbSBjörn Töpel dev_put(umem->dev); 114173d3adbSBjörn Töpel umem->dev = NULL; 115173d3adbSBjörn Töpel } 116173d3adbSBjörn Töpel } 117173d3adbSBjörn Töpel 118c0c77d8fSBjörn Töpel static void xdp_umem_unpin_pages(struct xdp_umem *umem) 119c0c77d8fSBjörn Töpel { 120c0c77d8fSBjörn Töpel unsigned int i; 121c0c77d8fSBjörn Töpel 122c0c77d8fSBjörn Töpel for (i = 0; i < umem->npgs; i++) { 123c0c77d8fSBjörn Töpel struct page *page = umem->pgs[i]; 124c0c77d8fSBjörn Töpel 125c0c77d8fSBjörn Töpel set_page_dirty_lock(page); 126c0c77d8fSBjörn Töpel put_page(page); 127c0c77d8fSBjörn Töpel } 128c0c77d8fSBjörn Töpel 129c0c77d8fSBjörn Töpel kfree(umem->pgs); 130c0c77d8fSBjörn Töpel umem->pgs = NULL; 131c0c77d8fSBjörn Töpel } 132c0c77d8fSBjörn Töpel 133c0c77d8fSBjörn Töpel static void xdp_umem_unaccount_pages(struct xdp_umem *umem) 134c0c77d8fSBjörn Töpel { 135c0c77d8fSBjörn Töpel atomic_long_sub(umem->npgs, &umem->user->locked_vm); 136c0c77d8fSBjörn Töpel free_uid(umem->user); 137c0c77d8fSBjörn Töpel } 138c0c77d8fSBjörn Töpel 139c0c77d8fSBjörn Töpel static void xdp_umem_release(struct xdp_umem *umem) 140c0c77d8fSBjörn Töpel { 141c0c77d8fSBjörn Töpel struct task_struct *task; 142c0c77d8fSBjörn Töpel struct mm_struct *mm; 143c0c77d8fSBjörn Töpel 144173d3adbSBjörn Töpel xdp_umem_clear_dev(umem); 145173d3adbSBjörn Töpel 146423f3832SMagnus Karlsson if (umem->fq) { 147423f3832SMagnus Karlsson xskq_destroy(umem->fq); 148423f3832SMagnus Karlsson umem->fq = NULL; 149423f3832SMagnus Karlsson } 150423f3832SMagnus Karlsson 151fe230832SMagnus Karlsson if (umem->cq) { 152fe230832SMagnus Karlsson xskq_destroy(umem->cq); 153fe230832SMagnus Karlsson umem->cq = NULL; 154fe230832SMagnus Karlsson } 155fe230832SMagnus Karlsson 156c0c77d8fSBjörn Töpel xdp_umem_unpin_pages(umem); 157c0c77d8fSBjörn Töpel 158c0c77d8fSBjörn Töpel task = get_pid_task(umem->pid, PIDTYPE_PID); 159c0c77d8fSBjörn Töpel put_pid(umem->pid); 160c0c77d8fSBjörn Töpel if (!task) 161c0c77d8fSBjörn Töpel goto out; 162c0c77d8fSBjörn Töpel mm = get_task_mm(task); 163c0c77d8fSBjörn Töpel put_task_struct(task); 164c0c77d8fSBjörn Töpel if (!mm) 165c0c77d8fSBjörn Töpel goto out; 166c0c77d8fSBjörn Töpel 167c0c77d8fSBjörn Töpel mmput(mm); 1688aef7340SBjörn Töpel kfree(umem->pages); 1698aef7340SBjörn Töpel umem->pages = NULL; 1708aef7340SBjörn Töpel 171c0c77d8fSBjörn Töpel xdp_umem_unaccount_pages(umem); 172c0c77d8fSBjörn Töpel out: 173c0c77d8fSBjörn Töpel kfree(umem); 174c0c77d8fSBjörn Töpel } 175c0c77d8fSBjörn Töpel 176c0c77d8fSBjörn Töpel static void xdp_umem_release_deferred(struct work_struct *work) 177c0c77d8fSBjörn Töpel { 178c0c77d8fSBjörn Töpel struct xdp_umem *umem = container_of(work, struct xdp_umem, work); 179c0c77d8fSBjörn Töpel 180c0c77d8fSBjörn Töpel xdp_umem_release(umem); 181c0c77d8fSBjörn Töpel } 182c0c77d8fSBjörn Töpel 183c0c77d8fSBjörn Töpel void xdp_get_umem(struct xdp_umem *umem) 184c0c77d8fSBjörn Töpel { 185d3b42f14SBjörn Töpel refcount_inc(&umem->users); 186c0c77d8fSBjörn Töpel } 187c0c77d8fSBjörn Töpel 188c0c77d8fSBjörn Töpel void xdp_put_umem(struct xdp_umem *umem) 189c0c77d8fSBjörn Töpel { 190c0c77d8fSBjörn Töpel if (!umem) 191c0c77d8fSBjörn Töpel return; 192c0c77d8fSBjörn Töpel 193d3b42f14SBjörn Töpel if (refcount_dec_and_test(&umem->users)) { 194c0c77d8fSBjörn Töpel INIT_WORK(&umem->work, xdp_umem_release_deferred); 195c0c77d8fSBjörn Töpel schedule_work(&umem->work); 196c0c77d8fSBjörn Töpel } 197c0c77d8fSBjörn Töpel } 198c0c77d8fSBjörn Töpel 199c0c77d8fSBjörn Töpel static int xdp_umem_pin_pages(struct xdp_umem *umem) 200c0c77d8fSBjörn Töpel { 201c0c77d8fSBjörn Töpel unsigned int gup_flags = FOLL_WRITE; 202c0c77d8fSBjörn Töpel long npgs; 203c0c77d8fSBjörn Töpel int err; 204c0c77d8fSBjörn Töpel 205c0c77d8fSBjörn Töpel umem->pgs = kcalloc(umem->npgs, sizeof(*umem->pgs), GFP_KERNEL); 206c0c77d8fSBjörn Töpel if (!umem->pgs) 207c0c77d8fSBjörn Töpel return -ENOMEM; 208c0c77d8fSBjörn Töpel 209c0c77d8fSBjörn Töpel down_write(¤t->mm->mmap_sem); 210c0c77d8fSBjörn Töpel npgs = get_user_pages(umem->address, umem->npgs, 211c0c77d8fSBjörn Töpel gup_flags, &umem->pgs[0], NULL); 212c0c77d8fSBjörn Töpel up_write(¤t->mm->mmap_sem); 213c0c77d8fSBjörn Töpel 214c0c77d8fSBjörn Töpel if (npgs != umem->npgs) { 215c0c77d8fSBjörn Töpel if (npgs >= 0) { 216c0c77d8fSBjörn Töpel umem->npgs = npgs; 217c0c77d8fSBjörn Töpel err = -ENOMEM; 218c0c77d8fSBjörn Töpel goto out_pin; 219c0c77d8fSBjörn Töpel } 220c0c77d8fSBjörn Töpel err = npgs; 221c0c77d8fSBjörn Töpel goto out_pgs; 222c0c77d8fSBjörn Töpel } 223c0c77d8fSBjörn Töpel return 0; 224c0c77d8fSBjörn Töpel 225c0c77d8fSBjörn Töpel out_pin: 226c0c77d8fSBjörn Töpel xdp_umem_unpin_pages(umem); 227c0c77d8fSBjörn Töpel out_pgs: 228c0c77d8fSBjörn Töpel kfree(umem->pgs); 229c0c77d8fSBjörn Töpel umem->pgs = NULL; 230c0c77d8fSBjörn Töpel return err; 231c0c77d8fSBjörn Töpel } 232c0c77d8fSBjörn Töpel 233c0c77d8fSBjörn Töpel static int xdp_umem_account_pages(struct xdp_umem *umem) 234c0c77d8fSBjörn Töpel { 235c0c77d8fSBjörn Töpel unsigned long lock_limit, new_npgs, old_npgs; 236c0c77d8fSBjörn Töpel 237c0c77d8fSBjörn Töpel if (capable(CAP_IPC_LOCK)) 238c0c77d8fSBjörn Töpel return 0; 239c0c77d8fSBjörn Töpel 240c0c77d8fSBjörn Töpel lock_limit = rlimit(RLIMIT_MEMLOCK) >> PAGE_SHIFT; 241c0c77d8fSBjörn Töpel umem->user = get_uid(current_user()); 242c0c77d8fSBjörn Töpel 243c0c77d8fSBjörn Töpel do { 244c0c77d8fSBjörn Töpel old_npgs = atomic_long_read(&umem->user->locked_vm); 245c0c77d8fSBjörn Töpel new_npgs = old_npgs + umem->npgs; 246c0c77d8fSBjörn Töpel if (new_npgs > lock_limit) { 247c0c77d8fSBjörn Töpel free_uid(umem->user); 248c0c77d8fSBjörn Töpel umem->user = NULL; 249c0c77d8fSBjörn Töpel return -ENOBUFS; 250c0c77d8fSBjörn Töpel } 251c0c77d8fSBjörn Töpel } while (atomic_long_cmpxchg(&umem->user->locked_vm, old_npgs, 252c0c77d8fSBjörn Töpel new_npgs) != old_npgs); 253c0c77d8fSBjörn Töpel return 0; 254c0c77d8fSBjörn Töpel } 255c0c77d8fSBjörn Töpel 256a49049eaSBjörn Töpel static int xdp_umem_reg(struct xdp_umem *umem, struct xdp_umem_reg *mr) 257c0c77d8fSBjörn Töpel { 258bbff2f32SBjörn Töpel u32 chunk_size = mr->chunk_size, headroom = mr->headroom; 259bbff2f32SBjörn Töpel unsigned int chunks, chunks_per_page; 260c0c77d8fSBjörn Töpel u64 addr = mr->addr, size = mr->len; 2618aef7340SBjörn Töpel int size_chk, err, i; 262c0c77d8fSBjörn Töpel 263bbff2f32SBjörn Töpel if (chunk_size < XDP_UMEM_MIN_CHUNK_SIZE || chunk_size > PAGE_SIZE) { 264c0c77d8fSBjörn Töpel /* Strictly speaking we could support this, if: 265c0c77d8fSBjörn Töpel * - huge pages, or* 266c0c77d8fSBjörn Töpel * - using an IOMMU, or 267c0c77d8fSBjörn Töpel * - making sure the memory area is consecutive 268c0c77d8fSBjörn Töpel * but for now, we simply say "computer says no". 269c0c77d8fSBjörn Töpel */ 270c0c77d8fSBjörn Töpel return -EINVAL; 271c0c77d8fSBjörn Töpel } 272c0c77d8fSBjörn Töpel 273bbff2f32SBjörn Töpel if (!is_power_of_2(chunk_size)) 274c0c77d8fSBjörn Töpel return -EINVAL; 275c0c77d8fSBjörn Töpel 276c0c77d8fSBjörn Töpel if (!PAGE_ALIGNED(addr)) { 277c0c77d8fSBjörn Töpel /* Memory area has to be page size aligned. For 278c0c77d8fSBjörn Töpel * simplicity, this might change. 279c0c77d8fSBjörn Töpel */ 280c0c77d8fSBjörn Töpel return -EINVAL; 281c0c77d8fSBjörn Töpel } 282c0c77d8fSBjörn Töpel 283c0c77d8fSBjörn Töpel if ((addr + size) < addr) 284c0c77d8fSBjörn Töpel return -EINVAL; 285c0c77d8fSBjörn Töpel 286bbff2f32SBjörn Töpel chunks = (unsigned int)div_u64(size, chunk_size); 287bbff2f32SBjörn Töpel if (chunks == 0) 288c0c77d8fSBjörn Töpel return -EINVAL; 289c0c77d8fSBjörn Töpel 290bbff2f32SBjörn Töpel chunks_per_page = PAGE_SIZE / chunk_size; 291bbff2f32SBjörn Töpel if (chunks < chunks_per_page || chunks % chunks_per_page) 292c0c77d8fSBjörn Töpel return -EINVAL; 293c0c77d8fSBjörn Töpel 294bbff2f32SBjörn Töpel headroom = ALIGN(headroom, 64); 295c0c77d8fSBjörn Töpel 296bbff2f32SBjörn Töpel size_chk = chunk_size - headroom - XDP_PACKET_HEADROOM; 297c0c77d8fSBjörn Töpel if (size_chk < 0) 298c0c77d8fSBjörn Töpel return -EINVAL; 299c0c77d8fSBjörn Töpel 300c0c77d8fSBjörn Töpel umem->pid = get_task_pid(current, PIDTYPE_PID); 301c0c77d8fSBjörn Töpel umem->address = (unsigned long)addr; 302bbff2f32SBjörn Töpel umem->props.chunk_mask = ~((u64)chunk_size - 1); 303bbff2f32SBjörn Töpel umem->props.size = size; 304bbff2f32SBjörn Töpel umem->headroom = headroom; 305bbff2f32SBjörn Töpel umem->chunk_size_nohr = chunk_size - headroom; 306c0c77d8fSBjörn Töpel umem->npgs = size / PAGE_SIZE; 307c0c77d8fSBjörn Töpel umem->pgs = NULL; 308c0c77d8fSBjörn Töpel umem->user = NULL; 309*ac98d8aaSMagnus Karlsson INIT_LIST_HEAD(&umem->xsk_list); 310*ac98d8aaSMagnus Karlsson spin_lock_init(&umem->xsk_list_lock); 311c0c77d8fSBjörn Töpel 312d3b42f14SBjörn Töpel refcount_set(&umem->users, 1); 313c0c77d8fSBjörn Töpel 314c0c77d8fSBjörn Töpel err = xdp_umem_account_pages(umem); 315c0c77d8fSBjörn Töpel if (err) 316c0c77d8fSBjörn Töpel goto out; 317c0c77d8fSBjörn Töpel 318c0c77d8fSBjörn Töpel err = xdp_umem_pin_pages(umem); 319c0c77d8fSBjörn Töpel if (err) 320c0c77d8fSBjörn Töpel goto out_account; 3218aef7340SBjörn Töpel 3228aef7340SBjörn Töpel umem->pages = kcalloc(umem->npgs, sizeof(*umem->pages), GFP_KERNEL); 3238aef7340SBjörn Töpel if (!umem->pages) { 3248aef7340SBjörn Töpel err = -ENOMEM; 3258aef7340SBjörn Töpel goto out_account; 3268aef7340SBjörn Töpel } 3278aef7340SBjörn Töpel 3288aef7340SBjörn Töpel for (i = 0; i < umem->npgs; i++) 3298aef7340SBjörn Töpel umem->pages[i].addr = page_address(umem->pgs[i]); 3308aef7340SBjörn Töpel 331c0c77d8fSBjörn Töpel return 0; 332c0c77d8fSBjörn Töpel 333c0c77d8fSBjörn Töpel out_account: 334c0c77d8fSBjörn Töpel xdp_umem_unaccount_pages(umem); 335c0c77d8fSBjörn Töpel out: 336c0c77d8fSBjörn Töpel put_pid(umem->pid); 337c0c77d8fSBjörn Töpel return err; 338c0c77d8fSBjörn Töpel } 339965a9909SMagnus Karlsson 340a49049eaSBjörn Töpel struct xdp_umem *xdp_umem_create(struct xdp_umem_reg *mr) 341a49049eaSBjörn Töpel { 342a49049eaSBjörn Töpel struct xdp_umem *umem; 343a49049eaSBjörn Töpel int err; 344a49049eaSBjörn Töpel 345a49049eaSBjörn Töpel umem = kzalloc(sizeof(*umem), GFP_KERNEL); 346a49049eaSBjörn Töpel if (!umem) 347a49049eaSBjörn Töpel return ERR_PTR(-ENOMEM); 348a49049eaSBjörn Töpel 349a49049eaSBjörn Töpel err = xdp_umem_reg(umem, mr); 350a49049eaSBjörn Töpel if (err) { 351a49049eaSBjörn Töpel kfree(umem); 352a49049eaSBjörn Töpel return ERR_PTR(err); 353a49049eaSBjörn Töpel } 354a49049eaSBjörn Töpel 355a49049eaSBjörn Töpel return umem; 356a49049eaSBjörn Töpel } 357a49049eaSBjörn Töpel 358965a9909SMagnus Karlsson bool xdp_umem_validate_queues(struct xdp_umem *umem) 359965a9909SMagnus Karlsson { 360da60cf00SBjörn Töpel return umem->fq && umem->cq; 361965a9909SMagnus Karlsson } 362