1453b329bSJens Axboe // SPDX-License-Identifier: GPL-2.0 2453b329bSJens Axboe #include <linux/kernel.h> 3453b329bSJens Axboe #include <linux/errno.h> 4453b329bSJens Axboe #include <linux/file.h> 5453b329bSJens Axboe #include <linux/mm.h> 6453b329bSJens Axboe #include <linux/slab.h> 7c98817e6SJens Axboe #include <linux/nospec.h> 8453b329bSJens Axboe #include <linux/io_uring.h> 9453b329bSJens Axboe 10453b329bSJens Axboe #include <uapi/linux/io_uring.h> 11453b329bSJens Axboe 12453b329bSJens Axboe #include "io_uring.h" 13c98817e6SJens Axboe #include "rsrc.h" 14c98817e6SJens Axboe #include "filetable.h" 15453b329bSJens Axboe 16c98817e6SJens Axboe static int io_file_bitmap_get(struct io_ring_ctx *ctx) 17453b329bSJens Axboe { 18453b329bSJens Axboe struct io_file_table *table = &ctx->file_table; 19*6e73dffbSPavel Begunkov unsigned long nr = ctx->file_alloc_end; 20453b329bSJens Axboe int ret; 21453b329bSJens Axboe 22453b329bSJens Axboe do { 23453b329bSJens Axboe ret = find_next_zero_bit(table->bitmap, nr, table->alloc_hint); 24453b329bSJens Axboe if (ret != nr) 25453b329bSJens Axboe return ret; 26453b329bSJens Axboe 27*6e73dffbSPavel Begunkov if (table->alloc_hint == ctx->file_alloc_start) 28453b329bSJens Axboe break; 29453b329bSJens Axboe nr = table->alloc_hint; 30*6e73dffbSPavel Begunkov table->alloc_hint = ctx->file_alloc_start; 31453b329bSJens Axboe } while (1); 32453b329bSJens Axboe 33453b329bSJens Axboe return -ENFILE; 34453b329bSJens Axboe } 35453b329bSJens Axboe 36453b329bSJens Axboe bool io_alloc_file_tables(struct io_file_table *table, unsigned nr_files) 37453b329bSJens Axboe { 38453b329bSJens Axboe table->files = kvcalloc(nr_files, sizeof(table->files[0]), 39453b329bSJens Axboe GFP_KERNEL_ACCOUNT); 40453b329bSJens Axboe if (unlikely(!table->files)) 41453b329bSJens Axboe return false; 42453b329bSJens Axboe 43453b329bSJens Axboe table->bitmap = bitmap_zalloc(nr_files, GFP_KERNEL_ACCOUNT); 44453b329bSJens Axboe if (unlikely(!table->bitmap)) { 45453b329bSJens Axboe kvfree(table->files); 46453b329bSJens Axboe return false; 47453b329bSJens Axboe } 48453b329bSJens Axboe 49453b329bSJens Axboe return true; 50453b329bSJens Axboe } 51453b329bSJens Axboe 52453b329bSJens Axboe void io_free_file_tables(struct io_file_table *table) 53453b329bSJens Axboe { 54453b329bSJens Axboe kvfree(table->files); 55453b329bSJens Axboe bitmap_free(table->bitmap); 56453b329bSJens Axboe table->files = NULL; 57453b329bSJens Axboe table->bitmap = NULL; 58453b329bSJens Axboe } 59c98817e6SJens Axboe 60f110ed84SJens Axboe static int io_install_fixed_file(struct io_ring_ctx *ctx, struct file *file, 61f110ed84SJens Axboe u32 slot_index) 62c98817e6SJens Axboe __must_hold(&req->ctx->uring_lock) 63c98817e6SJens Axboe { 64c98817e6SJens Axboe bool needs_switch = false; 65c98817e6SJens Axboe struct io_fixed_file *file_slot; 66c98817e6SJens Axboe int ret; 67c98817e6SJens Axboe 68c98817e6SJens Axboe if (io_is_uring_fops(file)) 69c98817e6SJens Axboe return -EBADF; 70c98817e6SJens Axboe if (!ctx->file_data) 71c98817e6SJens Axboe return -ENXIO; 72c98817e6SJens Axboe if (slot_index >= ctx->nr_user_files) 73c98817e6SJens Axboe return -EINVAL; 74c98817e6SJens Axboe 75c98817e6SJens Axboe slot_index = array_index_nospec(slot_index, ctx->nr_user_files); 76c98817e6SJens Axboe file_slot = io_fixed_file_slot(&ctx->file_table, slot_index); 77c98817e6SJens Axboe 78c98817e6SJens Axboe if (file_slot->file_ptr) { 79c98817e6SJens Axboe struct file *old_file; 80c98817e6SJens Axboe 81c98817e6SJens Axboe ret = io_rsrc_node_switch_start(ctx); 82c98817e6SJens Axboe if (ret) 83c98817e6SJens Axboe goto err; 84c98817e6SJens Axboe 85c98817e6SJens Axboe old_file = (struct file *)(file_slot->file_ptr & FFS_MASK); 86c98817e6SJens Axboe ret = io_queue_rsrc_removal(ctx->file_data, slot_index, 87c98817e6SJens Axboe ctx->rsrc_node, old_file); 88c98817e6SJens Axboe if (ret) 89c98817e6SJens Axboe goto err; 90c98817e6SJens Axboe file_slot->file_ptr = 0; 91c98817e6SJens Axboe io_file_bitmap_clear(&ctx->file_table, slot_index); 92c98817e6SJens Axboe needs_switch = true; 93c98817e6SJens Axboe } 94c98817e6SJens Axboe 95c98817e6SJens Axboe ret = io_scm_file_account(ctx, file); 96c98817e6SJens Axboe if (!ret) { 97c98817e6SJens Axboe *io_get_tag_slot(ctx->file_data, slot_index) = 0; 98c98817e6SJens Axboe io_fixed_file_set(file_slot, file); 99c98817e6SJens Axboe io_file_bitmap_set(&ctx->file_table, slot_index); 100c98817e6SJens Axboe } 101c98817e6SJens Axboe err: 102c98817e6SJens Axboe if (needs_switch) 103c98817e6SJens Axboe io_rsrc_node_switch(ctx, ctx->file_data); 104c98817e6SJens Axboe if (ret) 105c98817e6SJens Axboe fput(file); 106c98817e6SJens Axboe return ret; 107c98817e6SJens Axboe } 108c98817e6SJens Axboe 109f110ed84SJens Axboe int __io_fixed_fd_install(struct io_ring_ctx *ctx, struct file *file, 110f110ed84SJens Axboe unsigned int file_slot) 111f110ed84SJens Axboe { 112f110ed84SJens Axboe bool alloc_slot = file_slot == IORING_FILE_INDEX_ALLOC; 113f110ed84SJens Axboe int ret; 114f110ed84SJens Axboe 115f110ed84SJens Axboe if (alloc_slot) { 116f110ed84SJens Axboe ret = io_file_bitmap_get(ctx); 117f110ed84SJens Axboe if (unlikely(ret < 0)) 118f110ed84SJens Axboe return ret; 119f110ed84SJens Axboe file_slot = ret; 120f110ed84SJens Axboe } else { 121f110ed84SJens Axboe file_slot--; 122f110ed84SJens Axboe } 123f110ed84SJens Axboe 124f110ed84SJens Axboe ret = io_install_fixed_file(ctx, file, file_slot); 125f110ed84SJens Axboe if (!ret && alloc_slot) 126f110ed84SJens Axboe ret = file_slot; 127f110ed84SJens Axboe return ret; 128f110ed84SJens Axboe } 129c98817e6SJens Axboe /* 130c98817e6SJens Axboe * Note when io_fixed_fd_install() returns error value, it will ensure 131c98817e6SJens Axboe * fput() is called correspondingly. 132c98817e6SJens Axboe */ 133c98817e6SJens Axboe int io_fixed_fd_install(struct io_kiocb *req, unsigned int issue_flags, 134c98817e6SJens Axboe struct file *file, unsigned int file_slot) 135c98817e6SJens Axboe { 136c98817e6SJens Axboe struct io_ring_ctx *ctx = req->ctx; 137c98817e6SJens Axboe int ret; 138c98817e6SJens Axboe 139c98817e6SJens Axboe io_ring_submit_lock(ctx, issue_flags); 140f110ed84SJens Axboe ret = __io_fixed_fd_install(ctx, file, file_slot); 141c98817e6SJens Axboe io_ring_submit_unlock(ctx, issue_flags); 142f110ed84SJens Axboe 143c98817e6SJens Axboe if (unlikely(ret < 0)) 144c98817e6SJens Axboe fput(file); 145c98817e6SJens Axboe return ret; 146c98817e6SJens Axboe } 147f110ed84SJens Axboe 148f110ed84SJens Axboe int io_fixed_fd_remove(struct io_ring_ctx *ctx, unsigned int offset) 149f110ed84SJens Axboe { 150f110ed84SJens Axboe struct io_fixed_file *file_slot; 151f110ed84SJens Axboe struct file *file; 152f110ed84SJens Axboe int ret; 153f110ed84SJens Axboe 154f110ed84SJens Axboe if (unlikely(!ctx->file_data)) 155f110ed84SJens Axboe return -ENXIO; 156f110ed84SJens Axboe if (offset >= ctx->nr_user_files) 157f110ed84SJens Axboe return -EINVAL; 158f110ed84SJens Axboe ret = io_rsrc_node_switch_start(ctx); 159f110ed84SJens Axboe if (ret) 160f110ed84SJens Axboe return ret; 161f110ed84SJens Axboe 162f110ed84SJens Axboe offset = array_index_nospec(offset, ctx->nr_user_files); 163f110ed84SJens Axboe file_slot = io_fixed_file_slot(&ctx->file_table, offset); 164f110ed84SJens Axboe if (!file_slot->file_ptr) 165f110ed84SJens Axboe return -EBADF; 166f110ed84SJens Axboe 167f110ed84SJens Axboe file = (struct file *)(file_slot->file_ptr & FFS_MASK); 168f110ed84SJens Axboe ret = io_queue_rsrc_removal(ctx->file_data, offset, ctx->rsrc_node, file); 169f110ed84SJens Axboe if (ret) 170f110ed84SJens Axboe return ret; 171f110ed84SJens Axboe 172f110ed84SJens Axboe file_slot->file_ptr = 0; 173f110ed84SJens Axboe io_file_bitmap_clear(&ctx->file_table, offset); 174f110ed84SJens Axboe io_rsrc_node_switch(ctx, ctx->file_data); 175f110ed84SJens Axboe return 0; 176f110ed84SJens Axboe } 177*6e73dffbSPavel Begunkov 178*6e73dffbSPavel Begunkov int io_register_file_alloc_range(struct io_ring_ctx *ctx, 179*6e73dffbSPavel Begunkov struct io_uring_file_index_range __user *arg) 180*6e73dffbSPavel Begunkov { 181*6e73dffbSPavel Begunkov struct io_uring_file_index_range range; 182*6e73dffbSPavel Begunkov u32 end; 183*6e73dffbSPavel Begunkov 184*6e73dffbSPavel Begunkov if (copy_from_user(&range, arg, sizeof(range))) 185*6e73dffbSPavel Begunkov return -EFAULT; 186*6e73dffbSPavel Begunkov if (check_add_overflow(range.off, range.len, &end)) 187*6e73dffbSPavel Begunkov return -EOVERFLOW; 188*6e73dffbSPavel Begunkov if (range.resv || end > ctx->nr_user_files) 189*6e73dffbSPavel Begunkov return -EINVAL; 190*6e73dffbSPavel Begunkov 191*6e73dffbSPavel Begunkov io_file_table_set_alloc_range(ctx, range.off, range.len); 192*6e73dffbSPavel Begunkov return 0; 193*6e73dffbSPavel Begunkov } 194