1453b329bSJens Axboe // SPDX-License-Identifier: GPL-2.0 2453b329bSJens Axboe #include <linux/kernel.h> 3453b329bSJens Axboe #include <linux/errno.h> 4453b329bSJens Axboe #include <linux/file.h> 5453b329bSJens Axboe #include <linux/mm.h> 6453b329bSJens Axboe #include <linux/slab.h> 7c98817e6SJens Axboe #include <linux/nospec.h> 8453b329bSJens Axboe #include <linux/io_uring.h> 9453b329bSJens Axboe 10453b329bSJens Axboe #include <uapi/linux/io_uring.h> 11453b329bSJens Axboe 12453b329bSJens Axboe #include "io_uring.h" 13c98817e6SJens Axboe #include "rsrc.h" 14c98817e6SJens Axboe #include "filetable.h" 15453b329bSJens Axboe 16c98817e6SJens Axboe static int io_file_bitmap_get(struct io_ring_ctx *ctx) 17453b329bSJens Axboe { 18453b329bSJens Axboe struct io_file_table *table = &ctx->file_table; 19453b329bSJens Axboe unsigned long nr = ctx->nr_user_files; 20453b329bSJens Axboe int ret; 21453b329bSJens Axboe 22453b329bSJens Axboe do { 23453b329bSJens Axboe ret = find_next_zero_bit(table->bitmap, nr, table->alloc_hint); 24453b329bSJens Axboe if (ret != nr) 25453b329bSJens Axboe return ret; 26453b329bSJens Axboe 27453b329bSJens Axboe if (!table->alloc_hint) 28453b329bSJens Axboe break; 29453b329bSJens Axboe 30453b329bSJens Axboe nr = table->alloc_hint; 31453b329bSJens Axboe table->alloc_hint = 0; 32453b329bSJens Axboe } while (1); 33453b329bSJens Axboe 34453b329bSJens Axboe return -ENFILE; 35453b329bSJens Axboe } 36453b329bSJens Axboe 37453b329bSJens Axboe bool io_alloc_file_tables(struct io_file_table *table, unsigned nr_files) 38453b329bSJens Axboe { 39453b329bSJens Axboe table->files = kvcalloc(nr_files, sizeof(table->files[0]), 40453b329bSJens Axboe GFP_KERNEL_ACCOUNT); 41453b329bSJens Axboe if (unlikely(!table->files)) 42453b329bSJens Axboe return false; 43453b329bSJens Axboe 44453b329bSJens Axboe table->bitmap = bitmap_zalloc(nr_files, GFP_KERNEL_ACCOUNT); 45453b329bSJens Axboe if (unlikely(!table->bitmap)) { 46453b329bSJens Axboe kvfree(table->files); 47453b329bSJens Axboe return false; 48453b329bSJens Axboe } 49453b329bSJens Axboe 50453b329bSJens Axboe return true; 51453b329bSJens Axboe } 52453b329bSJens Axboe 53453b329bSJens Axboe void io_free_file_tables(struct io_file_table *table) 54453b329bSJens Axboe { 55453b329bSJens Axboe kvfree(table->files); 56453b329bSJens Axboe bitmap_free(table->bitmap); 57453b329bSJens Axboe table->files = NULL; 58453b329bSJens Axboe table->bitmap = NULL; 59453b329bSJens Axboe } 60c98817e6SJens Axboe 61*f110ed84SJens Axboe static int io_install_fixed_file(struct io_ring_ctx *ctx, struct file *file, 62*f110ed84SJens Axboe u32 slot_index) 63c98817e6SJens Axboe __must_hold(&req->ctx->uring_lock) 64c98817e6SJens Axboe { 65c98817e6SJens Axboe bool needs_switch = false; 66c98817e6SJens Axboe struct io_fixed_file *file_slot; 67c98817e6SJens Axboe int ret; 68c98817e6SJens Axboe 69c98817e6SJens Axboe if (io_is_uring_fops(file)) 70c98817e6SJens Axboe return -EBADF; 71c98817e6SJens Axboe if (!ctx->file_data) 72c98817e6SJens Axboe return -ENXIO; 73c98817e6SJens Axboe if (slot_index >= ctx->nr_user_files) 74c98817e6SJens Axboe return -EINVAL; 75c98817e6SJens Axboe 76c98817e6SJens Axboe slot_index = array_index_nospec(slot_index, ctx->nr_user_files); 77c98817e6SJens Axboe file_slot = io_fixed_file_slot(&ctx->file_table, slot_index); 78c98817e6SJens Axboe 79c98817e6SJens Axboe if (file_slot->file_ptr) { 80c98817e6SJens Axboe struct file *old_file; 81c98817e6SJens Axboe 82c98817e6SJens Axboe ret = io_rsrc_node_switch_start(ctx); 83c98817e6SJens Axboe if (ret) 84c98817e6SJens Axboe goto err; 85c98817e6SJens Axboe 86c98817e6SJens Axboe old_file = (struct file *)(file_slot->file_ptr & FFS_MASK); 87c98817e6SJens Axboe ret = io_queue_rsrc_removal(ctx->file_data, slot_index, 88c98817e6SJens Axboe ctx->rsrc_node, old_file); 89c98817e6SJens Axboe if (ret) 90c98817e6SJens Axboe goto err; 91c98817e6SJens Axboe file_slot->file_ptr = 0; 92c98817e6SJens Axboe io_file_bitmap_clear(&ctx->file_table, slot_index); 93c98817e6SJens Axboe needs_switch = true; 94c98817e6SJens Axboe } 95c98817e6SJens Axboe 96c98817e6SJens Axboe ret = io_scm_file_account(ctx, file); 97c98817e6SJens Axboe if (!ret) { 98c98817e6SJens Axboe *io_get_tag_slot(ctx->file_data, slot_index) = 0; 99c98817e6SJens Axboe io_fixed_file_set(file_slot, file); 100c98817e6SJens Axboe io_file_bitmap_set(&ctx->file_table, slot_index); 101c98817e6SJens Axboe } 102c98817e6SJens Axboe err: 103c98817e6SJens Axboe if (needs_switch) 104c98817e6SJens Axboe io_rsrc_node_switch(ctx, ctx->file_data); 105c98817e6SJens Axboe if (ret) 106c98817e6SJens Axboe fput(file); 107c98817e6SJens Axboe return ret; 108c98817e6SJens Axboe } 109c98817e6SJens Axboe 110*f110ed84SJens Axboe int __io_fixed_fd_install(struct io_ring_ctx *ctx, struct file *file, 111*f110ed84SJens Axboe unsigned int file_slot) 112*f110ed84SJens Axboe { 113*f110ed84SJens Axboe bool alloc_slot = file_slot == IORING_FILE_INDEX_ALLOC; 114*f110ed84SJens Axboe int ret; 115*f110ed84SJens Axboe 116*f110ed84SJens Axboe if (alloc_slot) { 117*f110ed84SJens Axboe ret = io_file_bitmap_get(ctx); 118*f110ed84SJens Axboe if (unlikely(ret < 0)) 119*f110ed84SJens Axboe return ret; 120*f110ed84SJens Axboe file_slot = ret; 121*f110ed84SJens Axboe } else { 122*f110ed84SJens Axboe file_slot--; 123*f110ed84SJens Axboe } 124*f110ed84SJens Axboe 125*f110ed84SJens Axboe ret = io_install_fixed_file(ctx, file, file_slot); 126*f110ed84SJens Axboe if (!ret && alloc_slot) 127*f110ed84SJens Axboe ret = file_slot; 128*f110ed84SJens Axboe return ret; 129*f110ed84SJens Axboe } 130c98817e6SJens Axboe /* 131c98817e6SJens Axboe * Note when io_fixed_fd_install() returns error value, it will ensure 132c98817e6SJens Axboe * fput() is called correspondingly. 133c98817e6SJens Axboe */ 134c98817e6SJens Axboe int io_fixed_fd_install(struct io_kiocb *req, unsigned int issue_flags, 135c98817e6SJens Axboe struct file *file, unsigned int file_slot) 136c98817e6SJens Axboe { 137c98817e6SJens Axboe struct io_ring_ctx *ctx = req->ctx; 138c98817e6SJens Axboe int ret; 139c98817e6SJens Axboe 140c98817e6SJens Axboe io_ring_submit_lock(ctx, issue_flags); 141*f110ed84SJens Axboe ret = __io_fixed_fd_install(ctx, file, file_slot); 142c98817e6SJens Axboe io_ring_submit_unlock(ctx, issue_flags); 143*f110ed84SJens Axboe 144c98817e6SJens Axboe if (unlikely(ret < 0)) 145c98817e6SJens Axboe fput(file); 146c98817e6SJens Axboe return ret; 147c98817e6SJens Axboe } 148*f110ed84SJens Axboe 149*f110ed84SJens Axboe int io_fixed_fd_remove(struct io_ring_ctx *ctx, unsigned int offset) 150*f110ed84SJens Axboe { 151*f110ed84SJens Axboe struct io_fixed_file *file_slot; 152*f110ed84SJens Axboe struct file *file; 153*f110ed84SJens Axboe int ret; 154*f110ed84SJens Axboe 155*f110ed84SJens Axboe if (unlikely(!ctx->file_data)) 156*f110ed84SJens Axboe return -ENXIO; 157*f110ed84SJens Axboe if (offset >= ctx->nr_user_files) 158*f110ed84SJens Axboe return -EINVAL; 159*f110ed84SJens Axboe ret = io_rsrc_node_switch_start(ctx); 160*f110ed84SJens Axboe if (ret) 161*f110ed84SJens Axboe return ret; 162*f110ed84SJens Axboe 163*f110ed84SJens Axboe offset = array_index_nospec(offset, ctx->nr_user_files); 164*f110ed84SJens Axboe file_slot = io_fixed_file_slot(&ctx->file_table, offset); 165*f110ed84SJens Axboe if (!file_slot->file_ptr) 166*f110ed84SJens Axboe return -EBADF; 167*f110ed84SJens Axboe 168*f110ed84SJens Axboe file = (struct file *)(file_slot->file_ptr & FFS_MASK); 169*f110ed84SJens Axboe ret = io_queue_rsrc_removal(ctx->file_data, offset, ctx->rsrc_node, file); 170*f110ed84SJens Axboe if (ret) 171*f110ed84SJens Axboe return ret; 172*f110ed84SJens Axboe 173*f110ed84SJens Axboe file_slot->file_ptr = 0; 174*f110ed84SJens Axboe io_file_bitmap_clear(&ctx->file_table, offset); 175*f110ed84SJens Axboe io_rsrc_node_switch(ctx, ctx->file_data); 176*f110ed84SJens Axboe return 0; 177*f110ed84SJens Axboe } 178