1453b329bSJens Axboe // SPDX-License-Identifier: GPL-2.0 2453b329bSJens Axboe #include <linux/kernel.h> 3453b329bSJens Axboe #include <linux/errno.h> 4453b329bSJens Axboe #include <linux/file.h> 5453b329bSJens Axboe #include <linux/mm.h> 6453b329bSJens Axboe #include <linux/slab.h> 7*c98817e6SJens Axboe #include <linux/nospec.h> 8453b329bSJens Axboe #include <linux/io_uring.h> 9453b329bSJens Axboe 10453b329bSJens Axboe #include <uapi/linux/io_uring.h> 11453b329bSJens Axboe 12453b329bSJens Axboe #include "io_uring_types.h" 13453b329bSJens Axboe #include "io_uring.h" 14*c98817e6SJens Axboe #include "rsrc.h" 15*c98817e6SJens Axboe #include "filetable.h" 16453b329bSJens Axboe 17*c98817e6SJens Axboe static int io_file_bitmap_get(struct io_ring_ctx *ctx) 18453b329bSJens Axboe { 19453b329bSJens Axboe struct io_file_table *table = &ctx->file_table; 20453b329bSJens Axboe unsigned long nr = ctx->nr_user_files; 21453b329bSJens Axboe int ret; 22453b329bSJens Axboe 23453b329bSJens Axboe do { 24453b329bSJens Axboe ret = find_next_zero_bit(table->bitmap, nr, table->alloc_hint); 25453b329bSJens Axboe if (ret != nr) 26453b329bSJens Axboe return ret; 27453b329bSJens Axboe 28453b329bSJens Axboe if (!table->alloc_hint) 29453b329bSJens Axboe break; 30453b329bSJens Axboe 31453b329bSJens Axboe nr = table->alloc_hint; 32453b329bSJens Axboe table->alloc_hint = 0; 33453b329bSJens Axboe } while (1); 34453b329bSJens Axboe 35453b329bSJens Axboe return -ENFILE; 36453b329bSJens Axboe } 37453b329bSJens Axboe 38453b329bSJens Axboe bool io_alloc_file_tables(struct io_file_table *table, unsigned nr_files) 39453b329bSJens Axboe { 40453b329bSJens Axboe table->files = kvcalloc(nr_files, sizeof(table->files[0]), 41453b329bSJens Axboe GFP_KERNEL_ACCOUNT); 42453b329bSJens Axboe if (unlikely(!table->files)) 43453b329bSJens Axboe return false; 44453b329bSJens Axboe 45453b329bSJens Axboe table->bitmap = bitmap_zalloc(nr_files, GFP_KERNEL_ACCOUNT); 46453b329bSJens Axboe if (unlikely(!table->bitmap)) { 47453b329bSJens Axboe kvfree(table->files); 48453b329bSJens Axboe return false; 49453b329bSJens Axboe } 50453b329bSJens Axboe 51453b329bSJens Axboe return true; 52453b329bSJens Axboe } 53453b329bSJens Axboe 54453b329bSJens Axboe void io_free_file_tables(struct io_file_table *table) 55453b329bSJens Axboe { 56453b329bSJens Axboe kvfree(table->files); 57453b329bSJens Axboe bitmap_free(table->bitmap); 58453b329bSJens Axboe table->files = NULL; 59453b329bSJens Axboe table->bitmap = NULL; 60453b329bSJens Axboe } 61*c98817e6SJens Axboe 62*c98817e6SJens Axboe static int io_install_fixed_file(struct io_kiocb *req, struct file *file, 63*c98817e6SJens Axboe unsigned int issue_flags, u32 slot_index) 64*c98817e6SJens Axboe __must_hold(&req->ctx->uring_lock) 65*c98817e6SJens Axboe { 66*c98817e6SJens Axboe struct io_ring_ctx *ctx = req->ctx; 67*c98817e6SJens Axboe bool needs_switch = false; 68*c98817e6SJens Axboe struct io_fixed_file *file_slot; 69*c98817e6SJens Axboe int ret; 70*c98817e6SJens Axboe 71*c98817e6SJens Axboe if (io_is_uring_fops(file)) 72*c98817e6SJens Axboe return -EBADF; 73*c98817e6SJens Axboe if (!ctx->file_data) 74*c98817e6SJens Axboe return -ENXIO; 75*c98817e6SJens Axboe if (slot_index >= ctx->nr_user_files) 76*c98817e6SJens Axboe return -EINVAL; 77*c98817e6SJens Axboe 78*c98817e6SJens Axboe slot_index = array_index_nospec(slot_index, ctx->nr_user_files); 79*c98817e6SJens Axboe file_slot = io_fixed_file_slot(&ctx->file_table, slot_index); 80*c98817e6SJens Axboe 81*c98817e6SJens Axboe if (file_slot->file_ptr) { 82*c98817e6SJens Axboe struct file *old_file; 83*c98817e6SJens Axboe 84*c98817e6SJens Axboe ret = io_rsrc_node_switch_start(ctx); 85*c98817e6SJens Axboe if (ret) 86*c98817e6SJens Axboe goto err; 87*c98817e6SJens Axboe 88*c98817e6SJens Axboe old_file = (struct file *)(file_slot->file_ptr & FFS_MASK); 89*c98817e6SJens Axboe ret = io_queue_rsrc_removal(ctx->file_data, slot_index, 90*c98817e6SJens Axboe ctx->rsrc_node, old_file); 91*c98817e6SJens Axboe if (ret) 92*c98817e6SJens Axboe goto err; 93*c98817e6SJens Axboe file_slot->file_ptr = 0; 94*c98817e6SJens Axboe io_file_bitmap_clear(&ctx->file_table, slot_index); 95*c98817e6SJens Axboe needs_switch = true; 96*c98817e6SJens Axboe } 97*c98817e6SJens Axboe 98*c98817e6SJens Axboe ret = io_scm_file_account(ctx, file); 99*c98817e6SJens Axboe if (!ret) { 100*c98817e6SJens Axboe *io_get_tag_slot(ctx->file_data, slot_index) = 0; 101*c98817e6SJens Axboe io_fixed_file_set(file_slot, file); 102*c98817e6SJens Axboe io_file_bitmap_set(&ctx->file_table, slot_index); 103*c98817e6SJens Axboe } 104*c98817e6SJens Axboe err: 105*c98817e6SJens Axboe if (needs_switch) 106*c98817e6SJens Axboe io_rsrc_node_switch(ctx, ctx->file_data); 107*c98817e6SJens Axboe if (ret) 108*c98817e6SJens Axboe fput(file); 109*c98817e6SJens Axboe return ret; 110*c98817e6SJens Axboe } 111*c98817e6SJens Axboe 112*c98817e6SJens Axboe /* 113*c98817e6SJens Axboe * Note when io_fixed_fd_install() returns error value, it will ensure 114*c98817e6SJens Axboe * fput() is called correspondingly. 115*c98817e6SJens Axboe */ 116*c98817e6SJens Axboe int io_fixed_fd_install(struct io_kiocb *req, unsigned int issue_flags, 117*c98817e6SJens Axboe struct file *file, unsigned int file_slot) 118*c98817e6SJens Axboe { 119*c98817e6SJens Axboe bool alloc_slot = file_slot == IORING_FILE_INDEX_ALLOC; 120*c98817e6SJens Axboe struct io_ring_ctx *ctx = req->ctx; 121*c98817e6SJens Axboe int ret; 122*c98817e6SJens Axboe 123*c98817e6SJens Axboe io_ring_submit_lock(ctx, issue_flags); 124*c98817e6SJens Axboe 125*c98817e6SJens Axboe if (alloc_slot) { 126*c98817e6SJens Axboe ret = io_file_bitmap_get(ctx); 127*c98817e6SJens Axboe if (unlikely(ret < 0)) 128*c98817e6SJens Axboe goto err; 129*c98817e6SJens Axboe file_slot = ret; 130*c98817e6SJens Axboe } else { 131*c98817e6SJens Axboe file_slot--; 132*c98817e6SJens Axboe } 133*c98817e6SJens Axboe 134*c98817e6SJens Axboe ret = io_install_fixed_file(req, file, issue_flags, file_slot); 135*c98817e6SJens Axboe if (!ret && alloc_slot) 136*c98817e6SJens Axboe ret = file_slot; 137*c98817e6SJens Axboe err: 138*c98817e6SJens Axboe io_ring_submit_unlock(ctx, issue_flags); 139*c98817e6SJens Axboe if (unlikely(ret < 0)) 140*c98817e6SJens Axboe fput(file); 141*c98817e6SJens Axboe return ret; 142*c98817e6SJens Axboe } 143