1d5eff33eSChaitanya Kulkarni // SPDX-License-Identifier: GPL-2.0 2d5eff33eSChaitanya Kulkarni /* 3d5eff33eSChaitanya Kulkarni * NVMe Over Fabrics Target File I/O commands implementation. 4d5eff33eSChaitanya Kulkarni * Copyright (c) 2017-2018 Western Digital Corporation or its 5d5eff33eSChaitanya Kulkarni * affiliates. 6d5eff33eSChaitanya Kulkarni */ 7d5eff33eSChaitanya Kulkarni #define pr_fmt(fmt) KBUILD_MODNAME ": " fmt 8d5eff33eSChaitanya Kulkarni #include <linux/uio.h> 9d5eff33eSChaitanya Kulkarni #include <linux/falloc.h> 10d5eff33eSChaitanya Kulkarni #include <linux/file.h> 11d5eff33eSChaitanya Kulkarni #include "nvmet.h" 12d5eff33eSChaitanya Kulkarni 13d5eff33eSChaitanya Kulkarni #define NVMET_MAX_MPOOL_BVEC 16 14d5eff33eSChaitanya Kulkarni #define NVMET_MIN_MPOOL_OBJ 16 15d5eff33eSChaitanya Kulkarni 16d5eff33eSChaitanya Kulkarni void nvmet_file_ns_disable(struct nvmet_ns *ns) 17d5eff33eSChaitanya Kulkarni { 18d5eff33eSChaitanya Kulkarni if (ns->file) { 1955eb942eSChaitanya Kulkarni if (ns->buffered_io) 2055eb942eSChaitanya Kulkarni flush_workqueue(buffered_io_wq); 21d5eff33eSChaitanya Kulkarni mempool_destroy(ns->bvec_pool); 22d5eff33eSChaitanya Kulkarni ns->bvec_pool = NULL; 23d5eff33eSChaitanya Kulkarni kmem_cache_destroy(ns->bvec_cache); 24d5eff33eSChaitanya Kulkarni ns->bvec_cache = NULL; 25d5eff33eSChaitanya Kulkarni fput(ns->file); 26d5eff33eSChaitanya Kulkarni ns->file = NULL; 27d5eff33eSChaitanya Kulkarni } 28d5eff33eSChaitanya Kulkarni } 29d5eff33eSChaitanya Kulkarni 30d5eff33eSChaitanya Kulkarni int nvmet_file_ns_enable(struct nvmet_ns *ns) 31d5eff33eSChaitanya Kulkarni { 3255eb942eSChaitanya Kulkarni int flags = O_RDWR | O_LARGEFILE; 33d5eff33eSChaitanya Kulkarni struct kstat stat; 3455eb942eSChaitanya Kulkarni int ret; 35d5eff33eSChaitanya Kulkarni 3655eb942eSChaitanya Kulkarni if (!ns->buffered_io) 3755eb942eSChaitanya Kulkarni flags |= O_DIRECT; 3855eb942eSChaitanya Kulkarni 3955eb942eSChaitanya Kulkarni ns->file = filp_open(ns->device_path, flags, 0); 40d5eff33eSChaitanya Kulkarni if (IS_ERR(ns->file)) { 41d5eff33eSChaitanya Kulkarni pr_err("failed to open file %s: (%ld)\n", 4281cf54e0SWei Yongjun ns->device_path, PTR_ERR(ns->file)); 43d5eff33eSChaitanya Kulkarni return PTR_ERR(ns->file); 44d5eff33eSChaitanya Kulkarni } 45d5eff33eSChaitanya Kulkarni 46d5eff33eSChaitanya Kulkarni ret = vfs_getattr(&ns->file->f_path, 47d5eff33eSChaitanya Kulkarni &stat, STATX_SIZE, AT_STATX_FORCE_SYNC); 48d5eff33eSChaitanya Kulkarni if (ret) 49d5eff33eSChaitanya Kulkarni goto err; 50d5eff33eSChaitanya Kulkarni 51d5eff33eSChaitanya Kulkarni ns->size = stat.size; 52d5eff33eSChaitanya Kulkarni ns->blksize_shift = file_inode(ns->file)->i_blkbits; 53d5eff33eSChaitanya Kulkarni 54d5eff33eSChaitanya Kulkarni ns->bvec_cache = kmem_cache_create("nvmet-bvec", 55d5eff33eSChaitanya Kulkarni NVMET_MAX_MPOOL_BVEC * sizeof(struct bio_vec), 56d5eff33eSChaitanya Kulkarni 0, SLAB_HWCACHE_ALIGN, NULL); 571367bc82SWei Yongjun if (!ns->bvec_cache) { 581367bc82SWei Yongjun ret = -ENOMEM; 59d5eff33eSChaitanya Kulkarni goto err; 601367bc82SWei Yongjun } 61d5eff33eSChaitanya Kulkarni 62d5eff33eSChaitanya Kulkarni ns->bvec_pool = mempool_create(NVMET_MIN_MPOOL_OBJ, mempool_alloc_slab, 63d5eff33eSChaitanya Kulkarni mempool_free_slab, ns->bvec_cache); 64d5eff33eSChaitanya Kulkarni 651367bc82SWei Yongjun if (!ns->bvec_pool) { 661367bc82SWei Yongjun ret = -ENOMEM; 67d5eff33eSChaitanya Kulkarni goto err; 681367bc82SWei Yongjun } 69d5eff33eSChaitanya Kulkarni 70d5eff33eSChaitanya Kulkarni return ret; 71d5eff33eSChaitanya Kulkarni err: 72d5eff33eSChaitanya Kulkarni ns->size = 0; 73d5eff33eSChaitanya Kulkarni ns->blksize_shift = 0; 74d5eff33eSChaitanya Kulkarni nvmet_file_ns_disable(ns); 75d5eff33eSChaitanya Kulkarni return ret; 76d5eff33eSChaitanya Kulkarni } 77d5eff33eSChaitanya Kulkarni 78d5eff33eSChaitanya Kulkarni static void nvmet_file_init_bvec(struct bio_vec *bv, struct sg_page_iter *iter) 79d5eff33eSChaitanya Kulkarni { 80d5eff33eSChaitanya Kulkarni bv->bv_page = sg_page_iter_page(iter); 81d5eff33eSChaitanya Kulkarni bv->bv_offset = iter->sg->offset; 82d5eff33eSChaitanya Kulkarni bv->bv_len = PAGE_SIZE - iter->sg->offset; 83d5eff33eSChaitanya Kulkarni } 84d5eff33eSChaitanya Kulkarni 85d5eff33eSChaitanya Kulkarni static ssize_t nvmet_file_submit_bvec(struct nvmet_req *req, loff_t pos, 86d5eff33eSChaitanya Kulkarni unsigned long nr_segs, size_t count) 87d5eff33eSChaitanya Kulkarni { 88d5eff33eSChaitanya Kulkarni struct kiocb *iocb = &req->f.iocb; 89d5eff33eSChaitanya Kulkarni ssize_t (*call_iter)(struct kiocb *iocb, struct iov_iter *iter); 90d5eff33eSChaitanya Kulkarni struct iov_iter iter; 91d5eff33eSChaitanya Kulkarni int ki_flags = 0, rw; 92d5eff33eSChaitanya Kulkarni ssize_t ret; 93d5eff33eSChaitanya Kulkarni 94d5eff33eSChaitanya Kulkarni if (req->cmd->rw.opcode == nvme_cmd_write) { 95d5eff33eSChaitanya Kulkarni if (req->cmd->rw.control & cpu_to_le16(NVME_RW_FUA)) 96d5eff33eSChaitanya Kulkarni ki_flags = IOCB_DSYNC; 97d5eff33eSChaitanya Kulkarni call_iter = req->ns->file->f_op->write_iter; 98d5eff33eSChaitanya Kulkarni rw = WRITE; 99d5eff33eSChaitanya Kulkarni } else { 100d5eff33eSChaitanya Kulkarni call_iter = req->ns->file->f_op->read_iter; 101d5eff33eSChaitanya Kulkarni rw = READ; 102d5eff33eSChaitanya Kulkarni } 103d5eff33eSChaitanya Kulkarni 104aa563d7bSDavid Howells iov_iter_bvec(&iter, rw, req->f.bvec, nr_segs, count); 105d5eff33eSChaitanya Kulkarni 106d5eff33eSChaitanya Kulkarni iocb->ki_pos = pos; 107d5eff33eSChaitanya Kulkarni iocb->ki_filp = req->ns->file; 10855eb942eSChaitanya Kulkarni iocb->ki_flags = ki_flags | iocb_flags(req->ns->file); 109d5eff33eSChaitanya Kulkarni 110d5eff33eSChaitanya Kulkarni ret = call_iter(iocb, &iter); 111d5eff33eSChaitanya Kulkarni 112d5eff33eSChaitanya Kulkarni if (ret != -EIOCBQUEUED && iocb->ki_complete) 113d5eff33eSChaitanya Kulkarni iocb->ki_complete(iocb, ret, 0); 114d5eff33eSChaitanya Kulkarni 115d5eff33eSChaitanya Kulkarni return ret; 116d5eff33eSChaitanya Kulkarni } 117d5eff33eSChaitanya Kulkarni 118d5eff33eSChaitanya Kulkarni static void nvmet_file_io_done(struct kiocb *iocb, long ret, long ret2) 119d5eff33eSChaitanya Kulkarni { 120d5eff33eSChaitanya Kulkarni struct nvmet_req *req = container_of(iocb, struct nvmet_req, f.iocb); 121d5eff33eSChaitanya Kulkarni 122d5eff33eSChaitanya Kulkarni if (req->f.bvec != req->inline_bvec) { 123d5eff33eSChaitanya Kulkarni if (likely(req->f.mpool_alloc == false)) 124d5eff33eSChaitanya Kulkarni kfree(req->f.bvec); 125d5eff33eSChaitanya Kulkarni else 126d5eff33eSChaitanya Kulkarni mempool_free(req->f.bvec, req->ns->bvec_pool); 127d5eff33eSChaitanya Kulkarni } 128d5eff33eSChaitanya Kulkarni 129d5eff33eSChaitanya Kulkarni nvmet_req_complete(req, ret != req->data_len ? 130d5eff33eSChaitanya Kulkarni NVME_SC_INTERNAL | NVME_SC_DNR : 0); 131d5eff33eSChaitanya Kulkarni } 132d5eff33eSChaitanya Kulkarni 133d5eff33eSChaitanya Kulkarni static void nvmet_file_execute_rw(struct nvmet_req *req) 134d5eff33eSChaitanya Kulkarni { 135d5eff33eSChaitanya Kulkarni ssize_t nr_bvec = DIV_ROUND_UP(req->data_len, PAGE_SIZE); 136d5eff33eSChaitanya Kulkarni struct sg_page_iter sg_pg_iter; 137d5eff33eSChaitanya Kulkarni unsigned long bv_cnt = 0; 138d5eff33eSChaitanya Kulkarni bool is_sync = false; 139d5eff33eSChaitanya Kulkarni size_t len = 0, total_len = 0; 140d5eff33eSChaitanya Kulkarni ssize_t ret = 0; 141d5eff33eSChaitanya Kulkarni loff_t pos; 142d5eff33eSChaitanya Kulkarni 143d5eff33eSChaitanya Kulkarni if (!req->sg_cnt || !nr_bvec) { 144d5eff33eSChaitanya Kulkarni nvmet_req_complete(req, 0); 145d5eff33eSChaitanya Kulkarni return; 146d5eff33eSChaitanya Kulkarni } 147d5eff33eSChaitanya Kulkarni 1489c891c13SSagi Grimberg pos = le64_to_cpu(req->cmd->rw.slba) << req->ns->blksize_shift; 1499c891c13SSagi Grimberg if (unlikely(pos + req->data_len > req->ns->size)) { 1509c891c13SSagi Grimberg nvmet_req_complete(req, NVME_SC_LBA_RANGE | NVME_SC_DNR); 1519c891c13SSagi Grimberg return; 1529c891c13SSagi Grimberg } 1539c891c13SSagi Grimberg 154d5eff33eSChaitanya Kulkarni if (nr_bvec > NVMET_MAX_INLINE_BIOVEC) 155d5eff33eSChaitanya Kulkarni req->f.bvec = kmalloc_array(nr_bvec, sizeof(struct bio_vec), 156d5eff33eSChaitanya Kulkarni GFP_KERNEL); 157d5eff33eSChaitanya Kulkarni else 158d5eff33eSChaitanya Kulkarni req->f.bvec = req->inline_bvec; 159d5eff33eSChaitanya Kulkarni 160d5eff33eSChaitanya Kulkarni req->f.mpool_alloc = false; 161d5eff33eSChaitanya Kulkarni if (unlikely(!req->f.bvec)) { 162d5eff33eSChaitanya Kulkarni /* fallback under memory pressure */ 163d5eff33eSChaitanya Kulkarni req->f.bvec = mempool_alloc(req->ns->bvec_pool, GFP_KERNEL); 164d5eff33eSChaitanya Kulkarni req->f.mpool_alloc = true; 165d5eff33eSChaitanya Kulkarni if (nr_bvec > NVMET_MAX_MPOOL_BVEC) 166d5eff33eSChaitanya Kulkarni is_sync = true; 167d5eff33eSChaitanya Kulkarni } 168d5eff33eSChaitanya Kulkarni 169d5eff33eSChaitanya Kulkarni memset(&req->f.iocb, 0, sizeof(struct kiocb)); 170d5eff33eSChaitanya Kulkarni for_each_sg_page(req->sg, &sg_pg_iter, req->sg_cnt, 0) { 171d5eff33eSChaitanya Kulkarni nvmet_file_init_bvec(&req->f.bvec[bv_cnt], &sg_pg_iter); 172d5eff33eSChaitanya Kulkarni len += req->f.bvec[bv_cnt].bv_len; 173d5eff33eSChaitanya Kulkarni total_len += req->f.bvec[bv_cnt].bv_len; 174d5eff33eSChaitanya Kulkarni bv_cnt++; 175d5eff33eSChaitanya Kulkarni 176d5eff33eSChaitanya Kulkarni WARN_ON_ONCE((nr_bvec - 1) < 0); 177d5eff33eSChaitanya Kulkarni 178d5eff33eSChaitanya Kulkarni if (unlikely(is_sync) && 179d5eff33eSChaitanya Kulkarni (nr_bvec - 1 == 0 || bv_cnt == NVMET_MAX_MPOOL_BVEC)) { 180d5eff33eSChaitanya Kulkarni ret = nvmet_file_submit_bvec(req, pos, bv_cnt, len); 181d5eff33eSChaitanya Kulkarni if (ret < 0) 182d5eff33eSChaitanya Kulkarni goto out; 183d5eff33eSChaitanya Kulkarni pos += len; 184d5eff33eSChaitanya Kulkarni bv_cnt = 0; 185d5eff33eSChaitanya Kulkarni len = 0; 186d5eff33eSChaitanya Kulkarni } 187d5eff33eSChaitanya Kulkarni nr_bvec--; 188d5eff33eSChaitanya Kulkarni } 189d5eff33eSChaitanya Kulkarni 190d5eff33eSChaitanya Kulkarni if (WARN_ON_ONCE(total_len != req->data_len)) 191d5eff33eSChaitanya Kulkarni ret = -EIO; 192d5eff33eSChaitanya Kulkarni out: 193d5eff33eSChaitanya Kulkarni if (unlikely(is_sync || ret)) { 194d5eff33eSChaitanya Kulkarni nvmet_file_io_done(&req->f.iocb, ret < 0 ? ret : total_len, 0); 195d5eff33eSChaitanya Kulkarni return; 196d5eff33eSChaitanya Kulkarni } 197d5eff33eSChaitanya Kulkarni req->f.iocb.ki_complete = nvmet_file_io_done; 198d5eff33eSChaitanya Kulkarni nvmet_file_submit_bvec(req, pos, bv_cnt, total_len); 199d5eff33eSChaitanya Kulkarni } 200d5eff33eSChaitanya Kulkarni 20155eb942eSChaitanya Kulkarni static void nvmet_file_buffered_io_work(struct work_struct *w) 20255eb942eSChaitanya Kulkarni { 20355eb942eSChaitanya Kulkarni struct nvmet_req *req = container_of(w, struct nvmet_req, f.work); 20455eb942eSChaitanya Kulkarni 20555eb942eSChaitanya Kulkarni nvmet_file_execute_rw(req); 20655eb942eSChaitanya Kulkarni } 20755eb942eSChaitanya Kulkarni 20855eb942eSChaitanya Kulkarni static void nvmet_file_execute_rw_buffered_io(struct nvmet_req *req) 20955eb942eSChaitanya Kulkarni { 21055eb942eSChaitanya Kulkarni INIT_WORK(&req->f.work, nvmet_file_buffered_io_work); 21155eb942eSChaitanya Kulkarni queue_work(buffered_io_wq, &req->f.work); 21255eb942eSChaitanya Kulkarni } 21355eb942eSChaitanya Kulkarni 214dedf0be5SChaitanya Kulkarni u16 nvmet_file_flush(struct nvmet_req *req) 215dedf0be5SChaitanya Kulkarni { 216dedf0be5SChaitanya Kulkarni if (vfs_fsync(req->ns->file, 1) < 0) 217dedf0be5SChaitanya Kulkarni return NVME_SC_INTERNAL | NVME_SC_DNR; 218dedf0be5SChaitanya Kulkarni return 0; 219dedf0be5SChaitanya Kulkarni } 220dedf0be5SChaitanya Kulkarni 221d5eff33eSChaitanya Kulkarni static void nvmet_file_flush_work(struct work_struct *w) 222d5eff33eSChaitanya Kulkarni { 223d5eff33eSChaitanya Kulkarni struct nvmet_req *req = container_of(w, struct nvmet_req, f.work); 224d5eff33eSChaitanya Kulkarni 225dedf0be5SChaitanya Kulkarni nvmet_req_complete(req, nvmet_file_flush(req)); 226d5eff33eSChaitanya Kulkarni } 227d5eff33eSChaitanya Kulkarni 228d5eff33eSChaitanya Kulkarni static void nvmet_file_execute_flush(struct nvmet_req *req) 229d5eff33eSChaitanya Kulkarni { 230d5eff33eSChaitanya Kulkarni INIT_WORK(&req->f.work, nvmet_file_flush_work); 231d5eff33eSChaitanya Kulkarni schedule_work(&req->f.work); 232d5eff33eSChaitanya Kulkarni } 233d5eff33eSChaitanya Kulkarni 234d5eff33eSChaitanya Kulkarni static void nvmet_file_execute_discard(struct nvmet_req *req) 235d5eff33eSChaitanya Kulkarni { 236d5eff33eSChaitanya Kulkarni int mode = FALLOC_FL_PUNCH_HOLE | FALLOC_FL_KEEP_SIZE; 237d5eff33eSChaitanya Kulkarni struct nvme_dsm_range range; 2381b72b71fSSagi Grimberg loff_t offset, len; 2391b72b71fSSagi Grimberg u16 ret; 2401b72b71fSSagi Grimberg int i; 241d5eff33eSChaitanya Kulkarni 242d5eff33eSChaitanya Kulkarni for (i = 0; i <= le32_to_cpu(req->cmd->dsm.nr); i++) { 2431b72b71fSSagi Grimberg ret = nvmet_copy_from_sgl(req, i * sizeof(range), &range, 2441b72b71fSSagi Grimberg sizeof(range)); 2451b72b71fSSagi Grimberg if (ret) 246d5eff33eSChaitanya Kulkarni break; 2479c891c13SSagi Grimberg 248d5eff33eSChaitanya Kulkarni offset = le64_to_cpu(range.slba) << req->ns->blksize_shift; 249d5eff33eSChaitanya Kulkarni len = le32_to_cpu(range.nlb) << req->ns->blksize_shift; 2509c891c13SSagi Grimberg if (offset + len > req->ns->size) { 2519c891c13SSagi Grimberg ret = NVME_SC_LBA_RANGE | NVME_SC_DNR; 2529c891c13SSagi Grimberg break; 2539c891c13SSagi Grimberg } 2549c891c13SSagi Grimberg 2551b72b71fSSagi Grimberg if (vfs_fallocate(req->ns->file, mode, offset, len)) { 2561b72b71fSSagi Grimberg ret = NVME_SC_INTERNAL | NVME_SC_DNR; 257d5eff33eSChaitanya Kulkarni break; 258d5eff33eSChaitanya Kulkarni } 2591b72b71fSSagi Grimberg } 260d5eff33eSChaitanya Kulkarni 2611b72b71fSSagi Grimberg nvmet_req_complete(req, ret); 262d5eff33eSChaitanya Kulkarni } 263d5eff33eSChaitanya Kulkarni 264d5eff33eSChaitanya Kulkarni static void nvmet_file_dsm_work(struct work_struct *w) 265d5eff33eSChaitanya Kulkarni { 266d5eff33eSChaitanya Kulkarni struct nvmet_req *req = container_of(w, struct nvmet_req, f.work); 267d5eff33eSChaitanya Kulkarni 268d5eff33eSChaitanya Kulkarni switch (le32_to_cpu(req->cmd->dsm.attributes)) { 269d5eff33eSChaitanya Kulkarni case NVME_DSMGMT_AD: 270d5eff33eSChaitanya Kulkarni nvmet_file_execute_discard(req); 271d5eff33eSChaitanya Kulkarni return; 272d5eff33eSChaitanya Kulkarni case NVME_DSMGMT_IDR: 273d5eff33eSChaitanya Kulkarni case NVME_DSMGMT_IDW: 274d5eff33eSChaitanya Kulkarni default: 275d5eff33eSChaitanya Kulkarni /* Not supported yet */ 276d5eff33eSChaitanya Kulkarni nvmet_req_complete(req, 0); 277d5eff33eSChaitanya Kulkarni return; 278d5eff33eSChaitanya Kulkarni } 279d5eff33eSChaitanya Kulkarni } 280d5eff33eSChaitanya Kulkarni 281d5eff33eSChaitanya Kulkarni static void nvmet_file_execute_dsm(struct nvmet_req *req) 282d5eff33eSChaitanya Kulkarni { 283d5eff33eSChaitanya Kulkarni INIT_WORK(&req->f.work, nvmet_file_dsm_work); 284d5eff33eSChaitanya Kulkarni schedule_work(&req->f.work); 285d5eff33eSChaitanya Kulkarni } 286d5eff33eSChaitanya Kulkarni 287d5eff33eSChaitanya Kulkarni static void nvmet_file_write_zeroes_work(struct work_struct *w) 288d5eff33eSChaitanya Kulkarni { 289d5eff33eSChaitanya Kulkarni struct nvmet_req *req = container_of(w, struct nvmet_req, f.work); 290d5eff33eSChaitanya Kulkarni struct nvme_write_zeroes_cmd *write_zeroes = &req->cmd->write_zeroes; 291d5eff33eSChaitanya Kulkarni int mode = FALLOC_FL_ZERO_RANGE | FALLOC_FL_KEEP_SIZE; 292d5eff33eSChaitanya Kulkarni loff_t offset; 293d5eff33eSChaitanya Kulkarni loff_t len; 294d5eff33eSChaitanya Kulkarni int ret; 295d5eff33eSChaitanya Kulkarni 296d5eff33eSChaitanya Kulkarni offset = le64_to_cpu(write_zeroes->slba) << req->ns->blksize_shift; 297d5eff33eSChaitanya Kulkarni len = (((sector_t)le16_to_cpu(write_zeroes->length) + 1) << 298d5eff33eSChaitanya Kulkarni req->ns->blksize_shift); 299d5eff33eSChaitanya Kulkarni 3009c891c13SSagi Grimberg if (unlikely(offset + len > req->ns->size)) { 3019c891c13SSagi Grimberg nvmet_req_complete(req, NVME_SC_LBA_RANGE | NVME_SC_DNR); 3029c891c13SSagi Grimberg return; 3039c891c13SSagi Grimberg } 3049c891c13SSagi Grimberg 305d5eff33eSChaitanya Kulkarni ret = vfs_fallocate(req->ns->file, mode, offset, len); 306d5eff33eSChaitanya Kulkarni nvmet_req_complete(req, ret < 0 ? NVME_SC_INTERNAL | NVME_SC_DNR : 0); 307d5eff33eSChaitanya Kulkarni } 308d5eff33eSChaitanya Kulkarni 309d5eff33eSChaitanya Kulkarni static void nvmet_file_execute_write_zeroes(struct nvmet_req *req) 310d5eff33eSChaitanya Kulkarni { 311d5eff33eSChaitanya Kulkarni INIT_WORK(&req->f.work, nvmet_file_write_zeroes_work); 312d5eff33eSChaitanya Kulkarni schedule_work(&req->f.work); 313d5eff33eSChaitanya Kulkarni } 314d5eff33eSChaitanya Kulkarni 315d5eff33eSChaitanya Kulkarni u16 nvmet_file_parse_io_cmd(struct nvmet_req *req) 316d5eff33eSChaitanya Kulkarni { 317d5eff33eSChaitanya Kulkarni struct nvme_command *cmd = req->cmd; 318d5eff33eSChaitanya Kulkarni 319d5eff33eSChaitanya Kulkarni switch (cmd->common.opcode) { 320d5eff33eSChaitanya Kulkarni case nvme_cmd_read: 321d5eff33eSChaitanya Kulkarni case nvme_cmd_write: 32255eb942eSChaitanya Kulkarni if (req->ns->buffered_io) 32355eb942eSChaitanya Kulkarni req->execute = nvmet_file_execute_rw_buffered_io; 32455eb942eSChaitanya Kulkarni else 325d5eff33eSChaitanya Kulkarni req->execute = nvmet_file_execute_rw; 326d5eff33eSChaitanya Kulkarni req->data_len = nvmet_rw_len(req); 327d5eff33eSChaitanya Kulkarni return 0; 328d5eff33eSChaitanya Kulkarni case nvme_cmd_flush: 329d5eff33eSChaitanya Kulkarni req->execute = nvmet_file_execute_flush; 330d5eff33eSChaitanya Kulkarni req->data_len = 0; 331d5eff33eSChaitanya Kulkarni return 0; 332d5eff33eSChaitanya Kulkarni case nvme_cmd_dsm: 333d5eff33eSChaitanya Kulkarni req->execute = nvmet_file_execute_dsm; 334d5eff33eSChaitanya Kulkarni req->data_len = (le32_to_cpu(cmd->dsm.nr) + 1) * 335d5eff33eSChaitanya Kulkarni sizeof(struct nvme_dsm_range); 336d5eff33eSChaitanya Kulkarni return 0; 337d5eff33eSChaitanya Kulkarni case nvme_cmd_write_zeroes: 338d5eff33eSChaitanya Kulkarni req->execute = nvmet_file_execute_write_zeroes; 339d5eff33eSChaitanya Kulkarni req->data_len = 0; 340d5eff33eSChaitanya Kulkarni return 0; 341d5eff33eSChaitanya Kulkarni default: 342d5eff33eSChaitanya Kulkarni pr_err("unhandled cmd for file ns %d on qid %d\n", 343d5eff33eSChaitanya Kulkarni cmd->common.opcode, req->sq->qid); 344d5eff33eSChaitanya Kulkarni return NVME_SC_INVALID_OPCODE | NVME_SC_DNR; 345d5eff33eSChaitanya Kulkarni } 346d5eff33eSChaitanya Kulkarni } 347