1d5eff33eSChaitanya Kulkarni // SPDX-License-Identifier: GPL-2.0 2d5eff33eSChaitanya Kulkarni /* 3d5eff33eSChaitanya Kulkarni * NVMe Over Fabrics Target File I/O commands implementation. 4d5eff33eSChaitanya Kulkarni * Copyright (c) 2017-2018 Western Digital Corporation or its 5d5eff33eSChaitanya Kulkarni * affiliates. 6d5eff33eSChaitanya Kulkarni */ 7d5eff33eSChaitanya Kulkarni #define pr_fmt(fmt) KBUILD_MODNAME ": " fmt 8d5eff33eSChaitanya Kulkarni #include <linux/uio.h> 9d5eff33eSChaitanya Kulkarni #include <linux/falloc.h> 10d5eff33eSChaitanya Kulkarni #include <linux/file.h> 11d5eff33eSChaitanya Kulkarni #include "nvmet.h" 12d5eff33eSChaitanya Kulkarni 13d5eff33eSChaitanya Kulkarni #define NVMET_MAX_MPOOL_BVEC 16 14d5eff33eSChaitanya Kulkarni #define NVMET_MIN_MPOOL_OBJ 16 15d5eff33eSChaitanya Kulkarni 16d5eff33eSChaitanya Kulkarni void nvmet_file_ns_disable(struct nvmet_ns *ns) 17d5eff33eSChaitanya Kulkarni { 18d5eff33eSChaitanya Kulkarni if (ns->file) { 19d5eff33eSChaitanya Kulkarni mempool_destroy(ns->bvec_pool); 20d5eff33eSChaitanya Kulkarni ns->bvec_pool = NULL; 21d5eff33eSChaitanya Kulkarni kmem_cache_destroy(ns->bvec_cache); 22d5eff33eSChaitanya Kulkarni ns->bvec_cache = NULL; 23d5eff33eSChaitanya Kulkarni fput(ns->file); 24d5eff33eSChaitanya Kulkarni ns->file = NULL; 25d5eff33eSChaitanya Kulkarni } 26d5eff33eSChaitanya Kulkarni } 27d5eff33eSChaitanya Kulkarni 28d5eff33eSChaitanya Kulkarni int nvmet_file_ns_enable(struct nvmet_ns *ns) 29d5eff33eSChaitanya Kulkarni { 30d5eff33eSChaitanya Kulkarni int ret; 31d5eff33eSChaitanya Kulkarni struct kstat stat; 32d5eff33eSChaitanya Kulkarni 33d5eff33eSChaitanya Kulkarni ns->file = filp_open(ns->device_path, 34d5eff33eSChaitanya Kulkarni O_RDWR | O_LARGEFILE | O_DIRECT, 0); 35d5eff33eSChaitanya Kulkarni if (IS_ERR(ns->file)) { 36d5eff33eSChaitanya Kulkarni pr_err("failed to open file %s: (%ld)\n", 37d5eff33eSChaitanya Kulkarni ns->device_path, PTR_ERR(ns->bdev)); 38d5eff33eSChaitanya Kulkarni return PTR_ERR(ns->file); 39d5eff33eSChaitanya Kulkarni } 40d5eff33eSChaitanya Kulkarni 41d5eff33eSChaitanya Kulkarni ret = vfs_getattr(&ns->file->f_path, 42d5eff33eSChaitanya Kulkarni &stat, STATX_SIZE, AT_STATX_FORCE_SYNC); 43d5eff33eSChaitanya Kulkarni if (ret) 44d5eff33eSChaitanya Kulkarni goto err; 45d5eff33eSChaitanya Kulkarni 46d5eff33eSChaitanya Kulkarni ns->size = stat.size; 47d5eff33eSChaitanya Kulkarni ns->blksize_shift = file_inode(ns->file)->i_blkbits; 48d5eff33eSChaitanya Kulkarni 49d5eff33eSChaitanya Kulkarni ns->bvec_cache = kmem_cache_create("nvmet-bvec", 50d5eff33eSChaitanya Kulkarni NVMET_MAX_MPOOL_BVEC * sizeof(struct bio_vec), 51d5eff33eSChaitanya Kulkarni 0, SLAB_HWCACHE_ALIGN, NULL); 52d5eff33eSChaitanya Kulkarni if (!ns->bvec_cache) 53d5eff33eSChaitanya Kulkarni goto err; 54d5eff33eSChaitanya Kulkarni 55d5eff33eSChaitanya Kulkarni ns->bvec_pool = mempool_create(NVMET_MIN_MPOOL_OBJ, mempool_alloc_slab, 56d5eff33eSChaitanya Kulkarni mempool_free_slab, ns->bvec_cache); 57d5eff33eSChaitanya Kulkarni 58d5eff33eSChaitanya Kulkarni if (!ns->bvec_pool) 59d5eff33eSChaitanya Kulkarni goto err; 60d5eff33eSChaitanya Kulkarni 61d5eff33eSChaitanya Kulkarni return ret; 62d5eff33eSChaitanya Kulkarni err: 63d5eff33eSChaitanya Kulkarni ns->size = 0; 64d5eff33eSChaitanya Kulkarni ns->blksize_shift = 0; 65d5eff33eSChaitanya Kulkarni nvmet_file_ns_disable(ns); 66d5eff33eSChaitanya Kulkarni return ret; 67d5eff33eSChaitanya Kulkarni } 68d5eff33eSChaitanya Kulkarni 69d5eff33eSChaitanya Kulkarni static void nvmet_file_init_bvec(struct bio_vec *bv, struct sg_page_iter *iter) 70d5eff33eSChaitanya Kulkarni { 71d5eff33eSChaitanya Kulkarni bv->bv_page = sg_page_iter_page(iter); 72d5eff33eSChaitanya Kulkarni bv->bv_offset = iter->sg->offset; 73d5eff33eSChaitanya Kulkarni bv->bv_len = PAGE_SIZE - iter->sg->offset; 74d5eff33eSChaitanya Kulkarni } 75d5eff33eSChaitanya Kulkarni 76d5eff33eSChaitanya Kulkarni static ssize_t nvmet_file_submit_bvec(struct nvmet_req *req, loff_t pos, 77d5eff33eSChaitanya Kulkarni unsigned long nr_segs, size_t count) 78d5eff33eSChaitanya Kulkarni { 79d5eff33eSChaitanya Kulkarni struct kiocb *iocb = &req->f.iocb; 80d5eff33eSChaitanya Kulkarni ssize_t (*call_iter)(struct kiocb *iocb, struct iov_iter *iter); 81d5eff33eSChaitanya Kulkarni struct iov_iter iter; 82d5eff33eSChaitanya Kulkarni int ki_flags = 0, rw; 83d5eff33eSChaitanya Kulkarni ssize_t ret; 84d5eff33eSChaitanya Kulkarni 85d5eff33eSChaitanya Kulkarni if (req->cmd->rw.opcode == nvme_cmd_write) { 86d5eff33eSChaitanya Kulkarni if (req->cmd->rw.control & cpu_to_le16(NVME_RW_FUA)) 87d5eff33eSChaitanya Kulkarni ki_flags = IOCB_DSYNC; 88d5eff33eSChaitanya Kulkarni call_iter = req->ns->file->f_op->write_iter; 89d5eff33eSChaitanya Kulkarni rw = WRITE; 90d5eff33eSChaitanya Kulkarni } else { 91d5eff33eSChaitanya Kulkarni call_iter = req->ns->file->f_op->read_iter; 92d5eff33eSChaitanya Kulkarni rw = READ; 93d5eff33eSChaitanya Kulkarni } 94d5eff33eSChaitanya Kulkarni 95d5eff33eSChaitanya Kulkarni iov_iter_bvec(&iter, ITER_BVEC | rw, req->f.bvec, nr_segs, count); 96d5eff33eSChaitanya Kulkarni 97d5eff33eSChaitanya Kulkarni iocb->ki_pos = pos; 98d5eff33eSChaitanya Kulkarni iocb->ki_filp = req->ns->file; 99d5eff33eSChaitanya Kulkarni iocb->ki_flags = IOCB_DIRECT | ki_flags; 100d5eff33eSChaitanya Kulkarni 101d5eff33eSChaitanya Kulkarni ret = call_iter(iocb, &iter); 102d5eff33eSChaitanya Kulkarni 103d5eff33eSChaitanya Kulkarni if (ret != -EIOCBQUEUED && iocb->ki_complete) 104d5eff33eSChaitanya Kulkarni iocb->ki_complete(iocb, ret, 0); 105d5eff33eSChaitanya Kulkarni 106d5eff33eSChaitanya Kulkarni return ret; 107d5eff33eSChaitanya Kulkarni } 108d5eff33eSChaitanya Kulkarni 109d5eff33eSChaitanya Kulkarni static void nvmet_file_io_done(struct kiocb *iocb, long ret, long ret2) 110d5eff33eSChaitanya Kulkarni { 111d5eff33eSChaitanya Kulkarni struct nvmet_req *req = container_of(iocb, struct nvmet_req, f.iocb); 112d5eff33eSChaitanya Kulkarni 113d5eff33eSChaitanya Kulkarni if (req->f.bvec != req->inline_bvec) { 114d5eff33eSChaitanya Kulkarni if (likely(req->f.mpool_alloc == false)) 115d5eff33eSChaitanya Kulkarni kfree(req->f.bvec); 116d5eff33eSChaitanya Kulkarni else 117d5eff33eSChaitanya Kulkarni mempool_free(req->f.bvec, req->ns->bvec_pool); 118d5eff33eSChaitanya Kulkarni } 119d5eff33eSChaitanya Kulkarni 120d5eff33eSChaitanya Kulkarni nvmet_req_complete(req, ret != req->data_len ? 121d5eff33eSChaitanya Kulkarni NVME_SC_INTERNAL | NVME_SC_DNR : 0); 122d5eff33eSChaitanya Kulkarni } 123d5eff33eSChaitanya Kulkarni 124d5eff33eSChaitanya Kulkarni static void nvmet_file_execute_rw(struct nvmet_req *req) 125d5eff33eSChaitanya Kulkarni { 126d5eff33eSChaitanya Kulkarni ssize_t nr_bvec = DIV_ROUND_UP(req->data_len, PAGE_SIZE); 127d5eff33eSChaitanya Kulkarni struct sg_page_iter sg_pg_iter; 128d5eff33eSChaitanya Kulkarni unsigned long bv_cnt = 0; 129d5eff33eSChaitanya Kulkarni bool is_sync = false; 130d5eff33eSChaitanya Kulkarni size_t len = 0, total_len = 0; 131d5eff33eSChaitanya Kulkarni ssize_t ret = 0; 132d5eff33eSChaitanya Kulkarni loff_t pos; 133d5eff33eSChaitanya Kulkarni 134d5eff33eSChaitanya Kulkarni if (!req->sg_cnt || !nr_bvec) { 135d5eff33eSChaitanya Kulkarni nvmet_req_complete(req, 0); 136d5eff33eSChaitanya Kulkarni return; 137d5eff33eSChaitanya Kulkarni } 138d5eff33eSChaitanya Kulkarni 139d5eff33eSChaitanya Kulkarni if (nr_bvec > NVMET_MAX_INLINE_BIOVEC) 140d5eff33eSChaitanya Kulkarni req->f.bvec = kmalloc_array(nr_bvec, sizeof(struct bio_vec), 141d5eff33eSChaitanya Kulkarni GFP_KERNEL); 142d5eff33eSChaitanya Kulkarni else 143d5eff33eSChaitanya Kulkarni req->f.bvec = req->inline_bvec; 144d5eff33eSChaitanya Kulkarni 145d5eff33eSChaitanya Kulkarni req->f.mpool_alloc = false; 146d5eff33eSChaitanya Kulkarni if (unlikely(!req->f.bvec)) { 147d5eff33eSChaitanya Kulkarni /* fallback under memory pressure */ 148d5eff33eSChaitanya Kulkarni req->f.bvec = mempool_alloc(req->ns->bvec_pool, GFP_KERNEL); 149d5eff33eSChaitanya Kulkarni req->f.mpool_alloc = true; 150d5eff33eSChaitanya Kulkarni if (nr_bvec > NVMET_MAX_MPOOL_BVEC) 151d5eff33eSChaitanya Kulkarni is_sync = true; 152d5eff33eSChaitanya Kulkarni } 153d5eff33eSChaitanya Kulkarni 154d5eff33eSChaitanya Kulkarni pos = le64_to_cpu(req->cmd->rw.slba) << req->ns->blksize_shift; 155d5eff33eSChaitanya Kulkarni 156d5eff33eSChaitanya Kulkarni memset(&req->f.iocb, 0, sizeof(struct kiocb)); 157d5eff33eSChaitanya Kulkarni for_each_sg_page(req->sg, &sg_pg_iter, req->sg_cnt, 0) { 158d5eff33eSChaitanya Kulkarni nvmet_file_init_bvec(&req->f.bvec[bv_cnt], &sg_pg_iter); 159d5eff33eSChaitanya Kulkarni len += req->f.bvec[bv_cnt].bv_len; 160d5eff33eSChaitanya Kulkarni total_len += req->f.bvec[bv_cnt].bv_len; 161d5eff33eSChaitanya Kulkarni bv_cnt++; 162d5eff33eSChaitanya Kulkarni 163d5eff33eSChaitanya Kulkarni WARN_ON_ONCE((nr_bvec - 1) < 0); 164d5eff33eSChaitanya Kulkarni 165d5eff33eSChaitanya Kulkarni if (unlikely(is_sync) && 166d5eff33eSChaitanya Kulkarni (nr_bvec - 1 == 0 || bv_cnt == NVMET_MAX_MPOOL_BVEC)) { 167d5eff33eSChaitanya Kulkarni ret = nvmet_file_submit_bvec(req, pos, bv_cnt, len); 168d5eff33eSChaitanya Kulkarni if (ret < 0) 169d5eff33eSChaitanya Kulkarni goto out; 170d5eff33eSChaitanya Kulkarni pos += len; 171d5eff33eSChaitanya Kulkarni bv_cnt = 0; 172d5eff33eSChaitanya Kulkarni len = 0; 173d5eff33eSChaitanya Kulkarni } 174d5eff33eSChaitanya Kulkarni nr_bvec--; 175d5eff33eSChaitanya Kulkarni } 176d5eff33eSChaitanya Kulkarni 177d5eff33eSChaitanya Kulkarni if (WARN_ON_ONCE(total_len != req->data_len)) 178d5eff33eSChaitanya Kulkarni ret = -EIO; 179d5eff33eSChaitanya Kulkarni out: 180d5eff33eSChaitanya Kulkarni if (unlikely(is_sync || ret)) { 181d5eff33eSChaitanya Kulkarni nvmet_file_io_done(&req->f.iocb, ret < 0 ? ret : total_len, 0); 182d5eff33eSChaitanya Kulkarni return; 183d5eff33eSChaitanya Kulkarni } 184d5eff33eSChaitanya Kulkarni req->f.iocb.ki_complete = nvmet_file_io_done; 185d5eff33eSChaitanya Kulkarni nvmet_file_submit_bvec(req, pos, bv_cnt, total_len); 186d5eff33eSChaitanya Kulkarni } 187d5eff33eSChaitanya Kulkarni 188d5eff33eSChaitanya Kulkarni static void nvmet_file_flush_work(struct work_struct *w) 189d5eff33eSChaitanya Kulkarni { 190d5eff33eSChaitanya Kulkarni struct nvmet_req *req = container_of(w, struct nvmet_req, f.work); 191d5eff33eSChaitanya Kulkarni int ret; 192d5eff33eSChaitanya Kulkarni 193d5eff33eSChaitanya Kulkarni ret = vfs_fsync(req->ns->file, 1); 194d5eff33eSChaitanya Kulkarni 195d5eff33eSChaitanya Kulkarni nvmet_req_complete(req, ret < 0 ? NVME_SC_INTERNAL | NVME_SC_DNR : 0); 196d5eff33eSChaitanya Kulkarni } 197d5eff33eSChaitanya Kulkarni 198d5eff33eSChaitanya Kulkarni static void nvmet_file_execute_flush(struct nvmet_req *req) 199d5eff33eSChaitanya Kulkarni { 200d5eff33eSChaitanya Kulkarni INIT_WORK(&req->f.work, nvmet_file_flush_work); 201d5eff33eSChaitanya Kulkarni schedule_work(&req->f.work); 202d5eff33eSChaitanya Kulkarni } 203d5eff33eSChaitanya Kulkarni 204d5eff33eSChaitanya Kulkarni static void nvmet_file_execute_discard(struct nvmet_req *req) 205d5eff33eSChaitanya Kulkarni { 206d5eff33eSChaitanya Kulkarni int mode = FALLOC_FL_PUNCH_HOLE | FALLOC_FL_KEEP_SIZE; 207d5eff33eSChaitanya Kulkarni struct nvme_dsm_range range; 208d5eff33eSChaitanya Kulkarni loff_t offset; 209d5eff33eSChaitanya Kulkarni loff_t len; 210d5eff33eSChaitanya Kulkarni int i, ret; 211d5eff33eSChaitanya Kulkarni 212d5eff33eSChaitanya Kulkarni for (i = 0; i <= le32_to_cpu(req->cmd->dsm.nr); i++) { 213d5eff33eSChaitanya Kulkarni if (nvmet_copy_from_sgl(req, i * sizeof(range), &range, 214d5eff33eSChaitanya Kulkarni sizeof(range))) 215d5eff33eSChaitanya Kulkarni break; 216d5eff33eSChaitanya Kulkarni offset = le64_to_cpu(range.slba) << req->ns->blksize_shift; 217d5eff33eSChaitanya Kulkarni len = le32_to_cpu(range.nlb) << req->ns->blksize_shift; 218d5eff33eSChaitanya Kulkarni ret = vfs_fallocate(req->ns->file, mode, offset, len); 219d5eff33eSChaitanya Kulkarni if (ret) 220d5eff33eSChaitanya Kulkarni break; 221d5eff33eSChaitanya Kulkarni } 222d5eff33eSChaitanya Kulkarni 223d5eff33eSChaitanya Kulkarni nvmet_req_complete(req, ret < 0 ? NVME_SC_INTERNAL | NVME_SC_DNR : 0); 224d5eff33eSChaitanya Kulkarni } 225d5eff33eSChaitanya Kulkarni 226d5eff33eSChaitanya Kulkarni static void nvmet_file_dsm_work(struct work_struct *w) 227d5eff33eSChaitanya Kulkarni { 228d5eff33eSChaitanya Kulkarni struct nvmet_req *req = container_of(w, struct nvmet_req, f.work); 229d5eff33eSChaitanya Kulkarni 230d5eff33eSChaitanya Kulkarni switch (le32_to_cpu(req->cmd->dsm.attributes)) { 231d5eff33eSChaitanya Kulkarni case NVME_DSMGMT_AD: 232d5eff33eSChaitanya Kulkarni nvmet_file_execute_discard(req); 233d5eff33eSChaitanya Kulkarni return; 234d5eff33eSChaitanya Kulkarni case NVME_DSMGMT_IDR: 235d5eff33eSChaitanya Kulkarni case NVME_DSMGMT_IDW: 236d5eff33eSChaitanya Kulkarni default: 237d5eff33eSChaitanya Kulkarni /* Not supported yet */ 238d5eff33eSChaitanya Kulkarni nvmet_req_complete(req, 0); 239d5eff33eSChaitanya Kulkarni return; 240d5eff33eSChaitanya Kulkarni } 241d5eff33eSChaitanya Kulkarni } 242d5eff33eSChaitanya Kulkarni 243d5eff33eSChaitanya Kulkarni static void nvmet_file_execute_dsm(struct nvmet_req *req) 244d5eff33eSChaitanya Kulkarni { 245d5eff33eSChaitanya Kulkarni INIT_WORK(&req->f.work, nvmet_file_dsm_work); 246d5eff33eSChaitanya Kulkarni schedule_work(&req->f.work); 247d5eff33eSChaitanya Kulkarni } 248d5eff33eSChaitanya Kulkarni 249d5eff33eSChaitanya Kulkarni static void nvmet_file_write_zeroes_work(struct work_struct *w) 250d5eff33eSChaitanya Kulkarni { 251d5eff33eSChaitanya Kulkarni struct nvmet_req *req = container_of(w, struct nvmet_req, f.work); 252d5eff33eSChaitanya Kulkarni struct nvme_write_zeroes_cmd *write_zeroes = &req->cmd->write_zeroes; 253d5eff33eSChaitanya Kulkarni int mode = FALLOC_FL_ZERO_RANGE | FALLOC_FL_KEEP_SIZE; 254d5eff33eSChaitanya Kulkarni loff_t offset; 255d5eff33eSChaitanya Kulkarni loff_t len; 256d5eff33eSChaitanya Kulkarni int ret; 257d5eff33eSChaitanya Kulkarni 258d5eff33eSChaitanya Kulkarni offset = le64_to_cpu(write_zeroes->slba) << req->ns->blksize_shift; 259d5eff33eSChaitanya Kulkarni len = (((sector_t)le16_to_cpu(write_zeroes->length) + 1) << 260d5eff33eSChaitanya Kulkarni req->ns->blksize_shift); 261d5eff33eSChaitanya Kulkarni 262d5eff33eSChaitanya Kulkarni ret = vfs_fallocate(req->ns->file, mode, offset, len); 263d5eff33eSChaitanya Kulkarni nvmet_req_complete(req, ret < 0 ? NVME_SC_INTERNAL | NVME_SC_DNR : 0); 264d5eff33eSChaitanya Kulkarni } 265d5eff33eSChaitanya Kulkarni 266d5eff33eSChaitanya Kulkarni static void nvmet_file_execute_write_zeroes(struct nvmet_req *req) 267d5eff33eSChaitanya Kulkarni { 268d5eff33eSChaitanya Kulkarni INIT_WORK(&req->f.work, nvmet_file_write_zeroes_work); 269d5eff33eSChaitanya Kulkarni schedule_work(&req->f.work); 270d5eff33eSChaitanya Kulkarni } 271d5eff33eSChaitanya Kulkarni 272d5eff33eSChaitanya Kulkarni u16 nvmet_file_parse_io_cmd(struct nvmet_req *req) 273d5eff33eSChaitanya Kulkarni { 274d5eff33eSChaitanya Kulkarni struct nvme_command *cmd = req->cmd; 275d5eff33eSChaitanya Kulkarni 276d5eff33eSChaitanya Kulkarni switch (cmd->common.opcode) { 277d5eff33eSChaitanya Kulkarni case nvme_cmd_read: 278d5eff33eSChaitanya Kulkarni case nvme_cmd_write: 279d5eff33eSChaitanya Kulkarni req->execute = nvmet_file_execute_rw; 280d5eff33eSChaitanya Kulkarni req->data_len = nvmet_rw_len(req); 281d5eff33eSChaitanya Kulkarni return 0; 282d5eff33eSChaitanya Kulkarni case nvme_cmd_flush: 283d5eff33eSChaitanya Kulkarni req->execute = nvmet_file_execute_flush; 284d5eff33eSChaitanya Kulkarni req->data_len = 0; 285d5eff33eSChaitanya Kulkarni return 0; 286d5eff33eSChaitanya Kulkarni case nvme_cmd_dsm: 287d5eff33eSChaitanya Kulkarni req->execute = nvmet_file_execute_dsm; 288d5eff33eSChaitanya Kulkarni req->data_len = (le32_to_cpu(cmd->dsm.nr) + 1) * 289d5eff33eSChaitanya Kulkarni sizeof(struct nvme_dsm_range); 290d5eff33eSChaitanya Kulkarni return 0; 291d5eff33eSChaitanya Kulkarni case nvme_cmd_write_zeroes: 292d5eff33eSChaitanya Kulkarni req->execute = nvmet_file_execute_write_zeroes; 293d5eff33eSChaitanya Kulkarni req->data_len = 0; 294d5eff33eSChaitanya Kulkarni return 0; 295d5eff33eSChaitanya Kulkarni default: 296d5eff33eSChaitanya Kulkarni pr_err("unhandled cmd for file ns %d on qid %d\n", 297d5eff33eSChaitanya Kulkarni cmd->common.opcode, req->sq->qid); 298d5eff33eSChaitanya Kulkarni return NVME_SC_INVALID_OPCODE | NVME_SC_DNR; 299d5eff33eSChaitanya Kulkarni } 300d5eff33eSChaitanya Kulkarni } 301