1453b329bSJens Axboe // SPDX-License-Identifier: GPL-2.0 2453b329bSJens Axboe #include <linux/kernel.h> 3453b329bSJens Axboe #include <linux/errno.h> 4453b329bSJens Axboe #include <linux/file.h> 5453b329bSJens Axboe #include <linux/mm.h> 6453b329bSJens Axboe #include <linux/slab.h> 7c98817e6SJens Axboe #include <linux/nospec.h> 8453b329bSJens Axboe #include <linux/io_uring.h> 9453b329bSJens Axboe 10453b329bSJens Axboe #include <uapi/linux/io_uring.h> 11453b329bSJens Axboe 12453b329bSJens Axboe #include "io_uring.h" 13c98817e6SJens Axboe #include "rsrc.h" 14c98817e6SJens Axboe #include "filetable.h" 15453b329bSJens Axboe 16c98817e6SJens Axboe static int io_file_bitmap_get(struct io_ring_ctx *ctx) 17453b329bSJens Axboe { 18453b329bSJens Axboe struct io_file_table *table = &ctx->file_table; 196e73dffbSPavel Begunkov unsigned long nr = ctx->file_alloc_end; 20453b329bSJens Axboe int ret; 21453b329bSJens Axboe 22*02a4d923SSavino Dicanosa if (!table->bitmap) 23*02a4d923SSavino Dicanosa return -ENFILE; 24*02a4d923SSavino Dicanosa 25453b329bSJens Axboe do { 26453b329bSJens Axboe ret = find_next_zero_bit(table->bitmap, nr, table->alloc_hint); 27453b329bSJens Axboe if (ret != nr) 28453b329bSJens Axboe return ret; 29453b329bSJens Axboe 306e73dffbSPavel Begunkov if (table->alloc_hint == ctx->file_alloc_start) 31453b329bSJens Axboe break; 32453b329bSJens Axboe nr = table->alloc_hint; 336e73dffbSPavel Begunkov table->alloc_hint = ctx->file_alloc_start; 34453b329bSJens Axboe } while (1); 35453b329bSJens Axboe 36453b329bSJens Axboe return -ENFILE; 37453b329bSJens Axboe } 38453b329bSJens Axboe 39453b329bSJens Axboe bool io_alloc_file_tables(struct io_file_table *table, unsigned nr_files) 40453b329bSJens Axboe { 41453b329bSJens Axboe table->files = kvcalloc(nr_files, sizeof(table->files[0]), 42453b329bSJens Axboe GFP_KERNEL_ACCOUNT); 43453b329bSJens Axboe if (unlikely(!table->files)) 44453b329bSJens Axboe return false; 45453b329bSJens Axboe 46453b329bSJens Axboe table->bitmap = bitmap_zalloc(nr_files, GFP_KERNEL_ACCOUNT); 47453b329bSJens Axboe if (unlikely(!table->bitmap)) { 48453b329bSJens Axboe kvfree(table->files); 49453b329bSJens Axboe return false; 50453b329bSJens Axboe } 51453b329bSJens Axboe 52453b329bSJens Axboe return true; 53453b329bSJens Axboe } 54453b329bSJens Axboe 55453b329bSJens Axboe void io_free_file_tables(struct io_file_table *table) 56453b329bSJens Axboe { 57453b329bSJens Axboe kvfree(table->files); 58453b329bSJens Axboe bitmap_free(table->bitmap); 59453b329bSJens Axboe table->files = NULL; 60453b329bSJens Axboe table->bitmap = NULL; 61453b329bSJens Axboe } 62c98817e6SJens Axboe 63f110ed84SJens Axboe static int io_install_fixed_file(struct io_ring_ctx *ctx, struct file *file, 64f110ed84SJens Axboe u32 slot_index) 65c98817e6SJens Axboe __must_hold(&req->ctx->uring_lock) 66c98817e6SJens Axboe { 67c98817e6SJens Axboe bool needs_switch = false; 68c98817e6SJens Axboe struct io_fixed_file *file_slot; 69c98817e6SJens Axboe int ret; 70c98817e6SJens Axboe 71c98817e6SJens Axboe if (io_is_uring_fops(file)) 72c98817e6SJens Axboe return -EBADF; 73c98817e6SJens Axboe if (!ctx->file_data) 74c98817e6SJens Axboe return -ENXIO; 75c98817e6SJens Axboe if (slot_index >= ctx->nr_user_files) 76c98817e6SJens Axboe return -EINVAL; 77c98817e6SJens Axboe 78c98817e6SJens Axboe slot_index = array_index_nospec(slot_index, ctx->nr_user_files); 79c98817e6SJens Axboe file_slot = io_fixed_file_slot(&ctx->file_table, slot_index); 80c98817e6SJens Axboe 81c98817e6SJens Axboe if (file_slot->file_ptr) { 82c98817e6SJens Axboe struct file *old_file; 83c98817e6SJens Axboe 84c98817e6SJens Axboe ret = io_rsrc_node_switch_start(ctx); 85c98817e6SJens Axboe if (ret) 86c98817e6SJens Axboe goto err; 87c98817e6SJens Axboe 88c98817e6SJens Axboe old_file = (struct file *)(file_slot->file_ptr & FFS_MASK); 89c98817e6SJens Axboe ret = io_queue_rsrc_removal(ctx->file_data, slot_index, 90c98817e6SJens Axboe ctx->rsrc_node, old_file); 91c98817e6SJens Axboe if (ret) 92c98817e6SJens Axboe goto err; 93c98817e6SJens Axboe file_slot->file_ptr = 0; 94c98817e6SJens Axboe io_file_bitmap_clear(&ctx->file_table, slot_index); 95c98817e6SJens Axboe needs_switch = true; 96c98817e6SJens Axboe } 97c98817e6SJens Axboe 98c98817e6SJens Axboe ret = io_scm_file_account(ctx, file); 99c98817e6SJens Axboe if (!ret) { 100c98817e6SJens Axboe *io_get_tag_slot(ctx->file_data, slot_index) = 0; 101c98817e6SJens Axboe io_fixed_file_set(file_slot, file); 102c98817e6SJens Axboe io_file_bitmap_set(&ctx->file_table, slot_index); 103c98817e6SJens Axboe } 104c98817e6SJens Axboe err: 105c98817e6SJens Axboe if (needs_switch) 106c98817e6SJens Axboe io_rsrc_node_switch(ctx, ctx->file_data); 107c98817e6SJens Axboe return ret; 108c98817e6SJens Axboe } 109c98817e6SJens Axboe 110f110ed84SJens Axboe int __io_fixed_fd_install(struct io_ring_ctx *ctx, struct file *file, 111f110ed84SJens Axboe unsigned int file_slot) 112f110ed84SJens Axboe { 113f110ed84SJens Axboe bool alloc_slot = file_slot == IORING_FILE_INDEX_ALLOC; 114f110ed84SJens Axboe int ret; 115f110ed84SJens Axboe 116f110ed84SJens Axboe if (alloc_slot) { 117f110ed84SJens Axboe ret = io_file_bitmap_get(ctx); 118f110ed84SJens Axboe if (unlikely(ret < 0)) 119f110ed84SJens Axboe return ret; 120f110ed84SJens Axboe file_slot = ret; 121f110ed84SJens Axboe } else { 122f110ed84SJens Axboe file_slot--; 123f110ed84SJens Axboe } 124f110ed84SJens Axboe 125f110ed84SJens Axboe ret = io_install_fixed_file(ctx, file, file_slot); 126f110ed84SJens Axboe if (!ret && alloc_slot) 127f110ed84SJens Axboe ret = file_slot; 128f110ed84SJens Axboe return ret; 129f110ed84SJens Axboe } 130c98817e6SJens Axboe /* 131c98817e6SJens Axboe * Note when io_fixed_fd_install() returns error value, it will ensure 132c98817e6SJens Axboe * fput() is called correspondingly. 133c98817e6SJens Axboe */ 134c98817e6SJens Axboe int io_fixed_fd_install(struct io_kiocb *req, unsigned int issue_flags, 135c98817e6SJens Axboe struct file *file, unsigned int file_slot) 136c98817e6SJens Axboe { 137c98817e6SJens Axboe struct io_ring_ctx *ctx = req->ctx; 138c98817e6SJens Axboe int ret; 139c98817e6SJens Axboe 140c98817e6SJens Axboe io_ring_submit_lock(ctx, issue_flags); 141f110ed84SJens Axboe ret = __io_fixed_fd_install(ctx, file, file_slot); 142c98817e6SJens Axboe io_ring_submit_unlock(ctx, issue_flags); 143f110ed84SJens Axboe 144c98817e6SJens Axboe if (unlikely(ret < 0)) 145c98817e6SJens Axboe fput(file); 146c98817e6SJens Axboe return ret; 147c98817e6SJens Axboe } 148f110ed84SJens Axboe 149f110ed84SJens Axboe int io_fixed_fd_remove(struct io_ring_ctx *ctx, unsigned int offset) 150f110ed84SJens Axboe { 151f110ed84SJens Axboe struct io_fixed_file *file_slot; 152f110ed84SJens Axboe struct file *file; 153f110ed84SJens Axboe int ret; 154f110ed84SJens Axboe 155f110ed84SJens Axboe if (unlikely(!ctx->file_data)) 156f110ed84SJens Axboe return -ENXIO; 157f110ed84SJens Axboe if (offset >= ctx->nr_user_files) 158f110ed84SJens Axboe return -EINVAL; 159f110ed84SJens Axboe ret = io_rsrc_node_switch_start(ctx); 160f110ed84SJens Axboe if (ret) 161f110ed84SJens Axboe return ret; 162f110ed84SJens Axboe 163f110ed84SJens Axboe offset = array_index_nospec(offset, ctx->nr_user_files); 164f110ed84SJens Axboe file_slot = io_fixed_file_slot(&ctx->file_table, offset); 165f110ed84SJens Axboe if (!file_slot->file_ptr) 166f110ed84SJens Axboe return -EBADF; 167f110ed84SJens Axboe 168f110ed84SJens Axboe file = (struct file *)(file_slot->file_ptr & FFS_MASK); 169f110ed84SJens Axboe ret = io_queue_rsrc_removal(ctx->file_data, offset, ctx->rsrc_node, file); 170f110ed84SJens Axboe if (ret) 171f110ed84SJens Axboe return ret; 172f110ed84SJens Axboe 173f110ed84SJens Axboe file_slot->file_ptr = 0; 174f110ed84SJens Axboe io_file_bitmap_clear(&ctx->file_table, offset); 175f110ed84SJens Axboe io_rsrc_node_switch(ctx, ctx->file_data); 176f110ed84SJens Axboe return 0; 177f110ed84SJens Axboe } 1786e73dffbSPavel Begunkov 1796e73dffbSPavel Begunkov int io_register_file_alloc_range(struct io_ring_ctx *ctx, 1806e73dffbSPavel Begunkov struct io_uring_file_index_range __user *arg) 1816e73dffbSPavel Begunkov { 1826e73dffbSPavel Begunkov struct io_uring_file_index_range range; 1836e73dffbSPavel Begunkov u32 end; 1846e73dffbSPavel Begunkov 1856e73dffbSPavel Begunkov if (copy_from_user(&range, arg, sizeof(range))) 1866e73dffbSPavel Begunkov return -EFAULT; 1876e73dffbSPavel Begunkov if (check_add_overflow(range.off, range.len, &end)) 1886e73dffbSPavel Begunkov return -EOVERFLOW; 1896e73dffbSPavel Begunkov if (range.resv || end > ctx->nr_user_files) 1906e73dffbSPavel Begunkov return -EINVAL; 1916e73dffbSPavel Begunkov 1926e73dffbSPavel Begunkov io_file_table_set_alloc_range(ctx, range.off, range.len); 1936e73dffbSPavel Begunkov return 0; 1946e73dffbSPavel Begunkov } 195