1d5eff33eSChaitanya Kulkarni // SPDX-License-Identifier: GPL-2.0 2d5eff33eSChaitanya Kulkarni /* 3d5eff33eSChaitanya Kulkarni * NVMe Over Fabrics Target File I/O commands implementation. 4d5eff33eSChaitanya Kulkarni * Copyright (c) 2017-2018 Western Digital Corporation or its 5d5eff33eSChaitanya Kulkarni * affiliates. 6d5eff33eSChaitanya Kulkarni */ 7d5eff33eSChaitanya Kulkarni #define pr_fmt(fmt) KBUILD_MODNAME ": " fmt 8d5eff33eSChaitanya Kulkarni #include <linux/uio.h> 9d5eff33eSChaitanya Kulkarni #include <linux/falloc.h> 10d5eff33eSChaitanya Kulkarni #include <linux/file.h> 11d5eff33eSChaitanya Kulkarni #include "nvmet.h" 12d5eff33eSChaitanya Kulkarni 13d5eff33eSChaitanya Kulkarni #define NVMET_MAX_MPOOL_BVEC 16 14d5eff33eSChaitanya Kulkarni #define NVMET_MIN_MPOOL_OBJ 16 15d5eff33eSChaitanya Kulkarni 16d5eff33eSChaitanya Kulkarni void nvmet_file_ns_disable(struct nvmet_ns *ns) 17d5eff33eSChaitanya Kulkarni { 18d5eff33eSChaitanya Kulkarni if (ns->file) { 19d5eff33eSChaitanya Kulkarni mempool_destroy(ns->bvec_pool); 20d5eff33eSChaitanya Kulkarni ns->bvec_pool = NULL; 21d5eff33eSChaitanya Kulkarni kmem_cache_destroy(ns->bvec_cache); 22d5eff33eSChaitanya Kulkarni ns->bvec_cache = NULL; 23d5eff33eSChaitanya Kulkarni fput(ns->file); 24d5eff33eSChaitanya Kulkarni ns->file = NULL; 25d5eff33eSChaitanya Kulkarni } 26d5eff33eSChaitanya Kulkarni } 27d5eff33eSChaitanya Kulkarni 28d5eff33eSChaitanya Kulkarni int nvmet_file_ns_enable(struct nvmet_ns *ns) 29d5eff33eSChaitanya Kulkarni { 30d5eff33eSChaitanya Kulkarni int ret; 31d5eff33eSChaitanya Kulkarni struct kstat stat; 32d5eff33eSChaitanya Kulkarni 33d5eff33eSChaitanya Kulkarni ns->file = filp_open(ns->device_path, 34d5eff33eSChaitanya Kulkarni O_RDWR | O_LARGEFILE | O_DIRECT, 0); 35d5eff33eSChaitanya Kulkarni if (IS_ERR(ns->file)) { 36d5eff33eSChaitanya Kulkarni pr_err("failed to open file %s: (%ld)\n", 3781cf54e0SWei Yongjun ns->device_path, PTR_ERR(ns->file)); 38d5eff33eSChaitanya Kulkarni return PTR_ERR(ns->file); 39d5eff33eSChaitanya Kulkarni } 40d5eff33eSChaitanya Kulkarni 41d5eff33eSChaitanya Kulkarni ret = vfs_getattr(&ns->file->f_path, 42d5eff33eSChaitanya Kulkarni &stat, STATX_SIZE, AT_STATX_FORCE_SYNC); 43d5eff33eSChaitanya Kulkarni if (ret) 44d5eff33eSChaitanya Kulkarni goto err; 45d5eff33eSChaitanya Kulkarni 46d5eff33eSChaitanya Kulkarni ns->size = stat.size; 47d5eff33eSChaitanya Kulkarni ns->blksize_shift = file_inode(ns->file)->i_blkbits; 48d5eff33eSChaitanya Kulkarni 49d5eff33eSChaitanya Kulkarni ns->bvec_cache = kmem_cache_create("nvmet-bvec", 50d5eff33eSChaitanya Kulkarni NVMET_MAX_MPOOL_BVEC * sizeof(struct bio_vec), 51d5eff33eSChaitanya Kulkarni 0, SLAB_HWCACHE_ALIGN, NULL); 521367bc82SWei Yongjun if (!ns->bvec_cache) { 531367bc82SWei Yongjun ret = -ENOMEM; 54d5eff33eSChaitanya Kulkarni goto err; 551367bc82SWei Yongjun } 56d5eff33eSChaitanya Kulkarni 57d5eff33eSChaitanya Kulkarni ns->bvec_pool = mempool_create(NVMET_MIN_MPOOL_OBJ, mempool_alloc_slab, 58d5eff33eSChaitanya Kulkarni mempool_free_slab, ns->bvec_cache); 59d5eff33eSChaitanya Kulkarni 601367bc82SWei Yongjun if (!ns->bvec_pool) { 611367bc82SWei Yongjun ret = -ENOMEM; 62d5eff33eSChaitanya Kulkarni goto err; 631367bc82SWei Yongjun } 64d5eff33eSChaitanya Kulkarni 65d5eff33eSChaitanya Kulkarni return ret; 66d5eff33eSChaitanya Kulkarni err: 67d5eff33eSChaitanya Kulkarni ns->size = 0; 68d5eff33eSChaitanya Kulkarni ns->blksize_shift = 0; 69d5eff33eSChaitanya Kulkarni nvmet_file_ns_disable(ns); 70d5eff33eSChaitanya Kulkarni return ret; 71d5eff33eSChaitanya Kulkarni } 72d5eff33eSChaitanya Kulkarni 73d5eff33eSChaitanya Kulkarni static void nvmet_file_init_bvec(struct bio_vec *bv, struct sg_page_iter *iter) 74d5eff33eSChaitanya Kulkarni { 75d5eff33eSChaitanya Kulkarni bv->bv_page = sg_page_iter_page(iter); 76d5eff33eSChaitanya Kulkarni bv->bv_offset = iter->sg->offset; 77d5eff33eSChaitanya Kulkarni bv->bv_len = PAGE_SIZE - iter->sg->offset; 78d5eff33eSChaitanya Kulkarni } 79d5eff33eSChaitanya Kulkarni 80d5eff33eSChaitanya Kulkarni static ssize_t nvmet_file_submit_bvec(struct nvmet_req *req, loff_t pos, 81d5eff33eSChaitanya Kulkarni unsigned long nr_segs, size_t count) 82d5eff33eSChaitanya Kulkarni { 83d5eff33eSChaitanya Kulkarni struct kiocb *iocb = &req->f.iocb; 84d5eff33eSChaitanya Kulkarni ssize_t (*call_iter)(struct kiocb *iocb, struct iov_iter *iter); 85d5eff33eSChaitanya Kulkarni struct iov_iter iter; 86d5eff33eSChaitanya Kulkarni int ki_flags = 0, rw; 87d5eff33eSChaitanya Kulkarni ssize_t ret; 88d5eff33eSChaitanya Kulkarni 89d5eff33eSChaitanya Kulkarni if (req->cmd->rw.opcode == nvme_cmd_write) { 90d5eff33eSChaitanya Kulkarni if (req->cmd->rw.control & cpu_to_le16(NVME_RW_FUA)) 91d5eff33eSChaitanya Kulkarni ki_flags = IOCB_DSYNC; 92d5eff33eSChaitanya Kulkarni call_iter = req->ns->file->f_op->write_iter; 93d5eff33eSChaitanya Kulkarni rw = WRITE; 94d5eff33eSChaitanya Kulkarni } else { 95d5eff33eSChaitanya Kulkarni call_iter = req->ns->file->f_op->read_iter; 96d5eff33eSChaitanya Kulkarni rw = READ; 97d5eff33eSChaitanya Kulkarni } 98d5eff33eSChaitanya Kulkarni 99d5eff33eSChaitanya Kulkarni iov_iter_bvec(&iter, ITER_BVEC | rw, req->f.bvec, nr_segs, count); 100d5eff33eSChaitanya Kulkarni 101d5eff33eSChaitanya Kulkarni iocb->ki_pos = pos; 102d5eff33eSChaitanya Kulkarni iocb->ki_filp = req->ns->file; 103d5eff33eSChaitanya Kulkarni iocb->ki_flags = IOCB_DIRECT | ki_flags; 104d5eff33eSChaitanya Kulkarni 105d5eff33eSChaitanya Kulkarni ret = call_iter(iocb, &iter); 106d5eff33eSChaitanya Kulkarni 107d5eff33eSChaitanya Kulkarni if (ret != -EIOCBQUEUED && iocb->ki_complete) 108d5eff33eSChaitanya Kulkarni iocb->ki_complete(iocb, ret, 0); 109d5eff33eSChaitanya Kulkarni 110d5eff33eSChaitanya Kulkarni return ret; 111d5eff33eSChaitanya Kulkarni } 112d5eff33eSChaitanya Kulkarni 113d5eff33eSChaitanya Kulkarni static void nvmet_file_io_done(struct kiocb *iocb, long ret, long ret2) 114d5eff33eSChaitanya Kulkarni { 115d5eff33eSChaitanya Kulkarni struct nvmet_req *req = container_of(iocb, struct nvmet_req, f.iocb); 116d5eff33eSChaitanya Kulkarni 117d5eff33eSChaitanya Kulkarni if (req->f.bvec != req->inline_bvec) { 118d5eff33eSChaitanya Kulkarni if (likely(req->f.mpool_alloc == false)) 119d5eff33eSChaitanya Kulkarni kfree(req->f.bvec); 120d5eff33eSChaitanya Kulkarni else 121d5eff33eSChaitanya Kulkarni mempool_free(req->f.bvec, req->ns->bvec_pool); 122d5eff33eSChaitanya Kulkarni } 123d5eff33eSChaitanya Kulkarni 124d5eff33eSChaitanya Kulkarni nvmet_req_complete(req, ret != req->data_len ? 125d5eff33eSChaitanya Kulkarni NVME_SC_INTERNAL | NVME_SC_DNR : 0); 126d5eff33eSChaitanya Kulkarni } 127d5eff33eSChaitanya Kulkarni 128d5eff33eSChaitanya Kulkarni static void nvmet_file_execute_rw(struct nvmet_req *req) 129d5eff33eSChaitanya Kulkarni { 130d5eff33eSChaitanya Kulkarni ssize_t nr_bvec = DIV_ROUND_UP(req->data_len, PAGE_SIZE); 131d5eff33eSChaitanya Kulkarni struct sg_page_iter sg_pg_iter; 132d5eff33eSChaitanya Kulkarni unsigned long bv_cnt = 0; 133d5eff33eSChaitanya Kulkarni bool is_sync = false; 134d5eff33eSChaitanya Kulkarni size_t len = 0, total_len = 0; 135d5eff33eSChaitanya Kulkarni ssize_t ret = 0; 136d5eff33eSChaitanya Kulkarni loff_t pos; 137d5eff33eSChaitanya Kulkarni 138d5eff33eSChaitanya Kulkarni if (!req->sg_cnt || !nr_bvec) { 139d5eff33eSChaitanya Kulkarni nvmet_req_complete(req, 0); 140d5eff33eSChaitanya Kulkarni return; 141d5eff33eSChaitanya Kulkarni } 142d5eff33eSChaitanya Kulkarni 143d5eff33eSChaitanya Kulkarni if (nr_bvec > NVMET_MAX_INLINE_BIOVEC) 144d5eff33eSChaitanya Kulkarni req->f.bvec = kmalloc_array(nr_bvec, sizeof(struct bio_vec), 145d5eff33eSChaitanya Kulkarni GFP_KERNEL); 146d5eff33eSChaitanya Kulkarni else 147d5eff33eSChaitanya Kulkarni req->f.bvec = req->inline_bvec; 148d5eff33eSChaitanya Kulkarni 149d5eff33eSChaitanya Kulkarni req->f.mpool_alloc = false; 150d5eff33eSChaitanya Kulkarni if (unlikely(!req->f.bvec)) { 151d5eff33eSChaitanya Kulkarni /* fallback under memory pressure */ 152d5eff33eSChaitanya Kulkarni req->f.bvec = mempool_alloc(req->ns->bvec_pool, GFP_KERNEL); 153d5eff33eSChaitanya Kulkarni req->f.mpool_alloc = true; 154d5eff33eSChaitanya Kulkarni if (nr_bvec > NVMET_MAX_MPOOL_BVEC) 155d5eff33eSChaitanya Kulkarni is_sync = true; 156d5eff33eSChaitanya Kulkarni } 157d5eff33eSChaitanya Kulkarni 158d5eff33eSChaitanya Kulkarni pos = le64_to_cpu(req->cmd->rw.slba) << req->ns->blksize_shift; 159d5eff33eSChaitanya Kulkarni 160d5eff33eSChaitanya Kulkarni memset(&req->f.iocb, 0, sizeof(struct kiocb)); 161d5eff33eSChaitanya Kulkarni for_each_sg_page(req->sg, &sg_pg_iter, req->sg_cnt, 0) { 162d5eff33eSChaitanya Kulkarni nvmet_file_init_bvec(&req->f.bvec[bv_cnt], &sg_pg_iter); 163d5eff33eSChaitanya Kulkarni len += req->f.bvec[bv_cnt].bv_len; 164d5eff33eSChaitanya Kulkarni total_len += req->f.bvec[bv_cnt].bv_len; 165d5eff33eSChaitanya Kulkarni bv_cnt++; 166d5eff33eSChaitanya Kulkarni 167d5eff33eSChaitanya Kulkarni WARN_ON_ONCE((nr_bvec - 1) < 0); 168d5eff33eSChaitanya Kulkarni 169d5eff33eSChaitanya Kulkarni if (unlikely(is_sync) && 170d5eff33eSChaitanya Kulkarni (nr_bvec - 1 == 0 || bv_cnt == NVMET_MAX_MPOOL_BVEC)) { 171d5eff33eSChaitanya Kulkarni ret = nvmet_file_submit_bvec(req, pos, bv_cnt, len); 172d5eff33eSChaitanya Kulkarni if (ret < 0) 173d5eff33eSChaitanya Kulkarni goto out; 174d5eff33eSChaitanya Kulkarni pos += len; 175d5eff33eSChaitanya Kulkarni bv_cnt = 0; 176d5eff33eSChaitanya Kulkarni len = 0; 177d5eff33eSChaitanya Kulkarni } 178d5eff33eSChaitanya Kulkarni nr_bvec--; 179d5eff33eSChaitanya Kulkarni } 180d5eff33eSChaitanya Kulkarni 181d5eff33eSChaitanya Kulkarni if (WARN_ON_ONCE(total_len != req->data_len)) 182d5eff33eSChaitanya Kulkarni ret = -EIO; 183d5eff33eSChaitanya Kulkarni out: 184d5eff33eSChaitanya Kulkarni if (unlikely(is_sync || ret)) { 185d5eff33eSChaitanya Kulkarni nvmet_file_io_done(&req->f.iocb, ret < 0 ? ret : total_len, 0); 186d5eff33eSChaitanya Kulkarni return; 187d5eff33eSChaitanya Kulkarni } 188d5eff33eSChaitanya Kulkarni req->f.iocb.ki_complete = nvmet_file_io_done; 189d5eff33eSChaitanya Kulkarni nvmet_file_submit_bvec(req, pos, bv_cnt, total_len); 190d5eff33eSChaitanya Kulkarni } 191d5eff33eSChaitanya Kulkarni 192d5eff33eSChaitanya Kulkarni static void nvmet_file_flush_work(struct work_struct *w) 193d5eff33eSChaitanya Kulkarni { 194d5eff33eSChaitanya Kulkarni struct nvmet_req *req = container_of(w, struct nvmet_req, f.work); 195d5eff33eSChaitanya Kulkarni int ret; 196d5eff33eSChaitanya Kulkarni 197d5eff33eSChaitanya Kulkarni ret = vfs_fsync(req->ns->file, 1); 198d5eff33eSChaitanya Kulkarni 199d5eff33eSChaitanya Kulkarni nvmet_req_complete(req, ret < 0 ? NVME_SC_INTERNAL | NVME_SC_DNR : 0); 200d5eff33eSChaitanya Kulkarni } 201d5eff33eSChaitanya Kulkarni 202d5eff33eSChaitanya Kulkarni static void nvmet_file_execute_flush(struct nvmet_req *req) 203d5eff33eSChaitanya Kulkarni { 204d5eff33eSChaitanya Kulkarni INIT_WORK(&req->f.work, nvmet_file_flush_work); 205d5eff33eSChaitanya Kulkarni schedule_work(&req->f.work); 206d5eff33eSChaitanya Kulkarni } 207d5eff33eSChaitanya Kulkarni 208d5eff33eSChaitanya Kulkarni static void nvmet_file_execute_discard(struct nvmet_req *req) 209d5eff33eSChaitanya Kulkarni { 210d5eff33eSChaitanya Kulkarni int mode = FALLOC_FL_PUNCH_HOLE | FALLOC_FL_KEEP_SIZE; 211d5eff33eSChaitanya Kulkarni struct nvme_dsm_range range; 212d5eff33eSChaitanya Kulkarni loff_t offset; 213d5eff33eSChaitanya Kulkarni loff_t len; 214d5eff33eSChaitanya Kulkarni int i, ret; 215d5eff33eSChaitanya Kulkarni 216d5eff33eSChaitanya Kulkarni for (i = 0; i <= le32_to_cpu(req->cmd->dsm.nr); i++) { 217d5eff33eSChaitanya Kulkarni if (nvmet_copy_from_sgl(req, i * sizeof(range), &range, 218d5eff33eSChaitanya Kulkarni sizeof(range))) 219d5eff33eSChaitanya Kulkarni break; 220d5eff33eSChaitanya Kulkarni offset = le64_to_cpu(range.slba) << req->ns->blksize_shift; 221d5eff33eSChaitanya Kulkarni len = le32_to_cpu(range.nlb) << req->ns->blksize_shift; 222d5eff33eSChaitanya Kulkarni ret = vfs_fallocate(req->ns->file, mode, offset, len); 223d5eff33eSChaitanya Kulkarni if (ret) 224d5eff33eSChaitanya Kulkarni break; 225d5eff33eSChaitanya Kulkarni } 226d5eff33eSChaitanya Kulkarni 227d5eff33eSChaitanya Kulkarni nvmet_req_complete(req, ret < 0 ? NVME_SC_INTERNAL | NVME_SC_DNR : 0); 228d5eff33eSChaitanya Kulkarni } 229d5eff33eSChaitanya Kulkarni 230d5eff33eSChaitanya Kulkarni static void nvmet_file_dsm_work(struct work_struct *w) 231d5eff33eSChaitanya Kulkarni { 232d5eff33eSChaitanya Kulkarni struct nvmet_req *req = container_of(w, struct nvmet_req, f.work); 233d5eff33eSChaitanya Kulkarni 234d5eff33eSChaitanya Kulkarni switch (le32_to_cpu(req->cmd->dsm.attributes)) { 235d5eff33eSChaitanya Kulkarni case NVME_DSMGMT_AD: 236d5eff33eSChaitanya Kulkarni nvmet_file_execute_discard(req); 237d5eff33eSChaitanya Kulkarni return; 238d5eff33eSChaitanya Kulkarni case NVME_DSMGMT_IDR: 239d5eff33eSChaitanya Kulkarni case NVME_DSMGMT_IDW: 240d5eff33eSChaitanya Kulkarni default: 241d5eff33eSChaitanya Kulkarni /* Not supported yet */ 242d5eff33eSChaitanya Kulkarni nvmet_req_complete(req, 0); 243d5eff33eSChaitanya Kulkarni return; 244d5eff33eSChaitanya Kulkarni } 245d5eff33eSChaitanya Kulkarni } 246d5eff33eSChaitanya Kulkarni 247d5eff33eSChaitanya Kulkarni static void nvmet_file_execute_dsm(struct nvmet_req *req) 248d5eff33eSChaitanya Kulkarni { 249d5eff33eSChaitanya Kulkarni INIT_WORK(&req->f.work, nvmet_file_dsm_work); 250d5eff33eSChaitanya Kulkarni schedule_work(&req->f.work); 251d5eff33eSChaitanya Kulkarni } 252d5eff33eSChaitanya Kulkarni 253d5eff33eSChaitanya Kulkarni static void nvmet_file_write_zeroes_work(struct work_struct *w) 254d5eff33eSChaitanya Kulkarni { 255d5eff33eSChaitanya Kulkarni struct nvmet_req *req = container_of(w, struct nvmet_req, f.work); 256d5eff33eSChaitanya Kulkarni struct nvme_write_zeroes_cmd *write_zeroes = &req->cmd->write_zeroes; 257d5eff33eSChaitanya Kulkarni int mode = FALLOC_FL_ZERO_RANGE | FALLOC_FL_KEEP_SIZE; 258d5eff33eSChaitanya Kulkarni loff_t offset; 259d5eff33eSChaitanya Kulkarni loff_t len; 260d5eff33eSChaitanya Kulkarni int ret; 261d5eff33eSChaitanya Kulkarni 262d5eff33eSChaitanya Kulkarni offset = le64_to_cpu(write_zeroes->slba) << req->ns->blksize_shift; 263d5eff33eSChaitanya Kulkarni len = (((sector_t)le16_to_cpu(write_zeroes->length) + 1) << 264d5eff33eSChaitanya Kulkarni req->ns->blksize_shift); 265d5eff33eSChaitanya Kulkarni 266d5eff33eSChaitanya Kulkarni ret = vfs_fallocate(req->ns->file, mode, offset, len); 267d5eff33eSChaitanya Kulkarni nvmet_req_complete(req, ret < 0 ? NVME_SC_INTERNAL | NVME_SC_DNR : 0); 268d5eff33eSChaitanya Kulkarni } 269d5eff33eSChaitanya Kulkarni 270d5eff33eSChaitanya Kulkarni static void nvmet_file_execute_write_zeroes(struct nvmet_req *req) 271d5eff33eSChaitanya Kulkarni { 272d5eff33eSChaitanya Kulkarni INIT_WORK(&req->f.work, nvmet_file_write_zeroes_work); 273d5eff33eSChaitanya Kulkarni schedule_work(&req->f.work); 274d5eff33eSChaitanya Kulkarni } 275d5eff33eSChaitanya Kulkarni 276d5eff33eSChaitanya Kulkarni u16 nvmet_file_parse_io_cmd(struct nvmet_req *req) 277d5eff33eSChaitanya Kulkarni { 278d5eff33eSChaitanya Kulkarni struct nvme_command *cmd = req->cmd; 279d5eff33eSChaitanya Kulkarni 280d5eff33eSChaitanya Kulkarni switch (cmd->common.opcode) { 281d5eff33eSChaitanya Kulkarni case nvme_cmd_read: 282d5eff33eSChaitanya Kulkarni case nvme_cmd_write: 283d5eff33eSChaitanya Kulkarni req->execute = nvmet_file_execute_rw; 284d5eff33eSChaitanya Kulkarni req->data_len = nvmet_rw_len(req); 285d5eff33eSChaitanya Kulkarni return 0; 286d5eff33eSChaitanya Kulkarni case nvme_cmd_flush: 287d5eff33eSChaitanya Kulkarni req->execute = nvmet_file_execute_flush; 288d5eff33eSChaitanya Kulkarni req->data_len = 0; 289d5eff33eSChaitanya Kulkarni return 0; 290d5eff33eSChaitanya Kulkarni case nvme_cmd_dsm: 291d5eff33eSChaitanya Kulkarni req->execute = nvmet_file_execute_dsm; 292d5eff33eSChaitanya Kulkarni req->data_len = (le32_to_cpu(cmd->dsm.nr) + 1) * 293d5eff33eSChaitanya Kulkarni sizeof(struct nvme_dsm_range); 294d5eff33eSChaitanya Kulkarni return 0; 295d5eff33eSChaitanya Kulkarni case nvme_cmd_write_zeroes: 296d5eff33eSChaitanya Kulkarni req->execute = nvmet_file_execute_write_zeroes; 297d5eff33eSChaitanya Kulkarni req->data_len = 0; 298d5eff33eSChaitanya Kulkarni return 0; 299d5eff33eSChaitanya Kulkarni default: 300d5eff33eSChaitanya Kulkarni pr_err("unhandled cmd for file ns %d on qid %d\n", 301d5eff33eSChaitanya Kulkarni cmd->common.opcode, req->sq->qid); 302d5eff33eSChaitanya Kulkarni return NVME_SC_INVALID_OPCODE | NVME_SC_DNR; 303d5eff33eSChaitanya Kulkarni } 304d5eff33eSChaitanya Kulkarni } 305