1e21b3b24STomasz Jeznach /* SPDX-License-Identifier: GPL-2.0-only */ 2e21b3b24STomasz Jeznach /* 3e21b3b24STomasz Jeznach * Copyright © 2022-2023 Rivos Inc. 4e21b3b24STomasz Jeznach * Copyright © 2023 FORTH-ICS/CARV 5e21b3b24STomasz Jeznach * Copyright © 2023 RISC-V IOMMU Task Group 6e21b3b24STomasz Jeznach * 7e21b3b24STomasz Jeznach * RISC-V IOMMU - Register Layout and Data Structures. 8e21b3b24STomasz Jeznach * 9e21b3b24STomasz Jeznach * Based on the IOMMU spec version 1.0, 3/2023 10e21b3b24STomasz Jeznach * https://github.com/riscv-non-isa/riscv-iommu 11e21b3b24STomasz Jeznach */ 12e21b3b24STomasz Jeznach 13e21b3b24STomasz Jeznach #ifndef HW_RISCV_IOMMU_BITS_H 14e21b3b24STomasz Jeznach #define HW_RISCV_IOMMU_BITS_H 15e21b3b24STomasz Jeznach 16e21b3b24STomasz Jeznach #define RISCV_IOMMU_SPEC_DOT_VER 0x010 17e21b3b24STomasz Jeznach 18e21b3b24STomasz Jeznach #ifndef GENMASK_ULL 19e21b3b24STomasz Jeznach #define GENMASK_ULL(h, l) (((~0ULL) >> (63 - (h) + (l))) << (l)) 20e21b3b24STomasz Jeznach #endif 21e21b3b24STomasz Jeznach 22e21b3b24STomasz Jeznach /* 23e21b3b24STomasz Jeznach * struct riscv_iommu_fq_record - Fault/Event Queue Record 24e21b3b24STomasz Jeznach * See section 3.2 for more info. 25e21b3b24STomasz Jeznach */ 26e21b3b24STomasz Jeznach struct riscv_iommu_fq_record { 27e21b3b24STomasz Jeznach uint64_t hdr; 28e21b3b24STomasz Jeznach uint64_t _reserved; 29e21b3b24STomasz Jeznach uint64_t iotval; 30e21b3b24STomasz Jeznach uint64_t iotval2; 31e21b3b24STomasz Jeznach }; 32e21b3b24STomasz Jeznach /* Header fields */ 33e21b3b24STomasz Jeznach #define RISCV_IOMMU_FQ_HDR_CAUSE GENMASK_ULL(11, 0) 34e21b3b24STomasz Jeznach #define RISCV_IOMMU_FQ_HDR_PID GENMASK_ULL(31, 12) 35e21b3b24STomasz Jeznach #define RISCV_IOMMU_FQ_HDR_PV BIT_ULL(32) 36e21b3b24STomasz Jeznach #define RISCV_IOMMU_FQ_HDR_TTYPE GENMASK_ULL(39, 34) 37e21b3b24STomasz Jeznach #define RISCV_IOMMU_FQ_HDR_DID GENMASK_ULL(63, 40) 38e21b3b24STomasz Jeznach 39e21b3b24STomasz Jeznach /* 40e21b3b24STomasz Jeznach * struct riscv_iommu_pq_record - PCIe Page Request record 41e21b3b24STomasz Jeznach * For more infos on the PCIe Page Request queue see chapter 3.3. 42e21b3b24STomasz Jeznach */ 43e21b3b24STomasz Jeznach struct riscv_iommu_pq_record { 44e21b3b24STomasz Jeznach uint64_t hdr; 45e21b3b24STomasz Jeznach uint64_t payload; 46e21b3b24STomasz Jeznach }; 47e21b3b24STomasz Jeznach /* Header fields */ 48e21b3b24STomasz Jeznach #define RISCV_IOMMU_PREQ_HDR_PID GENMASK_ULL(31, 12) 49e21b3b24STomasz Jeznach #define RISCV_IOMMU_PREQ_HDR_PV BIT_ULL(32) 50e21b3b24STomasz Jeznach #define RISCV_IOMMU_PREQ_HDR_PRIV BIT_ULL(33) 51e21b3b24STomasz Jeznach #define RISCV_IOMMU_PREQ_HDR_EXEC BIT_ULL(34) 52e21b3b24STomasz Jeznach #define RISCV_IOMMU_PREQ_HDR_DID GENMASK_ULL(63, 40) 53e21b3b24STomasz Jeznach /* Payload fields */ 54e21b3b24STomasz Jeznach #define RISCV_IOMMU_PREQ_PAYLOAD_M GENMASK_ULL(2, 0) 55e21b3b24STomasz Jeznach 56e21b3b24STomasz Jeznach /* Common field positions */ 57e21b3b24STomasz Jeznach #define RISCV_IOMMU_PPN_FIELD GENMASK_ULL(53, 10) 58e21b3b24STomasz Jeznach #define RISCV_IOMMU_QUEUE_LOGSZ_FIELD GENMASK_ULL(4, 0) 59e21b3b24STomasz Jeznach #define RISCV_IOMMU_QUEUE_INDEX_FIELD GENMASK_ULL(31, 0) 60e21b3b24STomasz Jeznach #define RISCV_IOMMU_QUEUE_ENABLE BIT(0) 61e21b3b24STomasz Jeznach #define RISCV_IOMMU_QUEUE_INTR_ENABLE BIT(1) 62e21b3b24STomasz Jeznach #define RISCV_IOMMU_QUEUE_MEM_FAULT BIT(8) 63e21b3b24STomasz Jeznach #define RISCV_IOMMU_QUEUE_OVERFLOW BIT(9) 64e21b3b24STomasz Jeznach #define RISCV_IOMMU_QUEUE_ACTIVE BIT(16) 65e21b3b24STomasz Jeznach #define RISCV_IOMMU_QUEUE_BUSY BIT(17) 66e21b3b24STomasz Jeznach #define RISCV_IOMMU_ATP_PPN_FIELD GENMASK_ULL(43, 0) 67e21b3b24STomasz Jeznach #define RISCV_IOMMU_ATP_MODE_FIELD GENMASK_ULL(63, 60) 68e21b3b24STomasz Jeznach 69e21b3b24STomasz Jeznach /* 5.3 IOMMU Capabilities (64bits) */ 70e21b3b24STomasz Jeznach #define RISCV_IOMMU_REG_CAP 0x0000 71e21b3b24STomasz Jeznach #define RISCV_IOMMU_CAP_VERSION GENMASK_ULL(7, 0) 720c54acb8STomasz Jeznach #define RISCV_IOMMU_CAP_SV32 BIT_ULL(8) 730c54acb8STomasz Jeznach #define RISCV_IOMMU_CAP_SV39 BIT_ULL(9) 740c54acb8STomasz Jeznach #define RISCV_IOMMU_CAP_SV48 BIT_ULL(10) 750c54acb8STomasz Jeznach #define RISCV_IOMMU_CAP_SV57 BIT_ULL(11) 760c54acb8STomasz Jeznach #define RISCV_IOMMU_CAP_SV32X4 BIT_ULL(16) 770c54acb8STomasz Jeznach #define RISCV_IOMMU_CAP_SV39X4 BIT_ULL(17) 780c54acb8STomasz Jeznach #define RISCV_IOMMU_CAP_SV48X4 BIT_ULL(18) 790c54acb8STomasz Jeznach #define RISCV_IOMMU_CAP_SV57X4 BIT_ULL(19) 80e21b3b24STomasz Jeznach #define RISCV_IOMMU_CAP_MSI_FLAT BIT_ULL(22) 81e21b3b24STomasz Jeznach #define RISCV_IOMMU_CAP_MSI_MRIF BIT_ULL(23) 8269a9ae48STomasz Jeznach #define RISCV_IOMMU_CAP_ATS BIT_ULL(25) 83e21b3b24STomasz Jeznach #define RISCV_IOMMU_CAP_T2GPA BIT_ULL(26) 84e21b3b24STomasz Jeznach #define RISCV_IOMMU_CAP_IGS GENMASK_ULL(29, 28) 85*a7aa525bSTomasz Jeznach #define RISCV_IOMMU_CAP_DBG BIT_ULL(31) 86e21b3b24STomasz Jeznach #define RISCV_IOMMU_CAP_PAS GENMASK_ULL(37, 32) 87e21b3b24STomasz Jeznach #define RISCV_IOMMU_CAP_PD8 BIT_ULL(38) 88e21b3b24STomasz Jeznach #define RISCV_IOMMU_CAP_PD17 BIT_ULL(39) 89e21b3b24STomasz Jeznach #define RISCV_IOMMU_CAP_PD20 BIT_ULL(40) 90e21b3b24STomasz Jeznach 91e21b3b24STomasz Jeznach /* 5.4 Features control register (32bits) */ 92e21b3b24STomasz Jeznach #define RISCV_IOMMU_REG_FCTL 0x0008 930c54acb8STomasz Jeznach #define RISCV_IOMMU_FCTL_BE BIT(0) 94e21b3b24STomasz Jeznach #define RISCV_IOMMU_FCTL_WSI BIT(1) 950c54acb8STomasz Jeznach #define RISCV_IOMMU_FCTL_GXL BIT(2) 96e21b3b24STomasz Jeznach 97e21b3b24STomasz Jeznach /* 5.5 Device-directory-table pointer (64bits) */ 98e21b3b24STomasz Jeznach #define RISCV_IOMMU_REG_DDTP 0x0010 99e21b3b24STomasz Jeznach #define RISCV_IOMMU_DDTP_MODE GENMASK_ULL(3, 0) 100e21b3b24STomasz Jeznach #define RISCV_IOMMU_DDTP_BUSY BIT_ULL(4) 101e21b3b24STomasz Jeznach #define RISCV_IOMMU_DDTP_PPN RISCV_IOMMU_PPN_FIELD 102e21b3b24STomasz Jeznach 103e21b3b24STomasz Jeznach enum riscv_iommu_ddtp_modes { 104e21b3b24STomasz Jeznach RISCV_IOMMU_DDTP_MODE_OFF = 0, 105e21b3b24STomasz Jeznach RISCV_IOMMU_DDTP_MODE_BARE = 1, 106e21b3b24STomasz Jeznach RISCV_IOMMU_DDTP_MODE_1LVL = 2, 107e21b3b24STomasz Jeznach RISCV_IOMMU_DDTP_MODE_2LVL = 3, 108e21b3b24STomasz Jeznach RISCV_IOMMU_DDTP_MODE_3LVL = 4, 109e21b3b24STomasz Jeznach RISCV_IOMMU_DDTP_MODE_MAX = 4 110e21b3b24STomasz Jeznach }; 111e21b3b24STomasz Jeznach 112e21b3b24STomasz Jeznach /* 5.6 Command Queue Base (64bits) */ 113e21b3b24STomasz Jeznach #define RISCV_IOMMU_REG_CQB 0x0018 114e21b3b24STomasz Jeznach #define RISCV_IOMMU_CQB_LOG2SZ RISCV_IOMMU_QUEUE_LOGSZ_FIELD 115e21b3b24STomasz Jeznach #define RISCV_IOMMU_CQB_PPN RISCV_IOMMU_PPN_FIELD 116e21b3b24STomasz Jeznach 117e21b3b24STomasz Jeznach /* 5.7 Command Queue head (32bits) */ 118e21b3b24STomasz Jeznach #define RISCV_IOMMU_REG_CQH 0x0020 119e21b3b24STomasz Jeznach 120e21b3b24STomasz Jeznach /* 5.8 Command Queue tail (32bits) */ 121e21b3b24STomasz Jeznach #define RISCV_IOMMU_REG_CQT 0x0024 122e21b3b24STomasz Jeznach 123e21b3b24STomasz Jeznach /* 5.9 Fault Queue Base (64bits) */ 124e21b3b24STomasz Jeznach #define RISCV_IOMMU_REG_FQB 0x0028 125e21b3b24STomasz Jeznach #define RISCV_IOMMU_FQB_LOG2SZ RISCV_IOMMU_QUEUE_LOGSZ_FIELD 126e21b3b24STomasz Jeznach #define RISCV_IOMMU_FQB_PPN RISCV_IOMMU_PPN_FIELD 127e21b3b24STomasz Jeznach 128e21b3b24STomasz Jeznach /* 5.10 Fault Queue Head (32bits) */ 129e21b3b24STomasz Jeznach #define RISCV_IOMMU_REG_FQH 0x0030 130e21b3b24STomasz Jeznach 131e21b3b24STomasz Jeznach /* 5.11 Fault Queue tail (32bits) */ 132e21b3b24STomasz Jeznach #define RISCV_IOMMU_REG_FQT 0x0034 133e21b3b24STomasz Jeznach 134e21b3b24STomasz Jeznach /* 5.12 Page Request Queue base (64bits) */ 135e21b3b24STomasz Jeznach #define RISCV_IOMMU_REG_PQB 0x0038 136e21b3b24STomasz Jeznach #define RISCV_IOMMU_PQB_LOG2SZ RISCV_IOMMU_QUEUE_LOGSZ_FIELD 137e21b3b24STomasz Jeznach #define RISCV_IOMMU_PQB_PPN RISCV_IOMMU_PPN_FIELD 138e21b3b24STomasz Jeznach 139e21b3b24STomasz Jeznach /* 5.13 Page Request Queue head (32bits) */ 140e21b3b24STomasz Jeznach #define RISCV_IOMMU_REG_PQH 0x0040 141e21b3b24STomasz Jeznach 142e21b3b24STomasz Jeznach /* 5.14 Page Request Queue tail (32bits) */ 143e21b3b24STomasz Jeznach #define RISCV_IOMMU_REG_PQT 0x0044 144e21b3b24STomasz Jeznach 145e21b3b24STomasz Jeznach /* 5.15 Command Queue CSR (32bits) */ 146e21b3b24STomasz Jeznach #define RISCV_IOMMU_REG_CQCSR 0x0048 147e21b3b24STomasz Jeznach #define RISCV_IOMMU_CQCSR_CQEN RISCV_IOMMU_QUEUE_ENABLE 148e21b3b24STomasz Jeznach #define RISCV_IOMMU_CQCSR_CIE RISCV_IOMMU_QUEUE_INTR_ENABLE 149e21b3b24STomasz Jeznach #define RISCV_IOMMU_CQCSR_CQMF RISCV_IOMMU_QUEUE_MEM_FAULT 150e21b3b24STomasz Jeznach #define RISCV_IOMMU_CQCSR_CMD_TO BIT(9) 151e21b3b24STomasz Jeznach #define RISCV_IOMMU_CQCSR_CMD_ILL BIT(10) 152e21b3b24STomasz Jeznach #define RISCV_IOMMU_CQCSR_FENCE_W_IP BIT(11) 153e21b3b24STomasz Jeznach #define RISCV_IOMMU_CQCSR_CQON RISCV_IOMMU_QUEUE_ACTIVE 154e21b3b24STomasz Jeznach #define RISCV_IOMMU_CQCSR_BUSY RISCV_IOMMU_QUEUE_BUSY 155e21b3b24STomasz Jeznach 156e21b3b24STomasz Jeznach /* 5.16 Fault Queue CSR (32bits) */ 157e21b3b24STomasz Jeznach #define RISCV_IOMMU_REG_FQCSR 0x004C 158e21b3b24STomasz Jeznach #define RISCV_IOMMU_FQCSR_FQEN RISCV_IOMMU_QUEUE_ENABLE 159e21b3b24STomasz Jeznach #define RISCV_IOMMU_FQCSR_FIE RISCV_IOMMU_QUEUE_INTR_ENABLE 160e21b3b24STomasz Jeznach #define RISCV_IOMMU_FQCSR_FQMF RISCV_IOMMU_QUEUE_MEM_FAULT 161e21b3b24STomasz Jeznach #define RISCV_IOMMU_FQCSR_FQOF RISCV_IOMMU_QUEUE_OVERFLOW 162e21b3b24STomasz Jeznach #define RISCV_IOMMU_FQCSR_FQON RISCV_IOMMU_QUEUE_ACTIVE 163e21b3b24STomasz Jeznach #define RISCV_IOMMU_FQCSR_BUSY RISCV_IOMMU_QUEUE_BUSY 164e21b3b24STomasz Jeznach 165e21b3b24STomasz Jeznach /* 5.17 Page Request Queue CSR (32bits) */ 166e21b3b24STomasz Jeznach #define RISCV_IOMMU_REG_PQCSR 0x0050 167e21b3b24STomasz Jeznach #define RISCV_IOMMU_PQCSR_PQEN RISCV_IOMMU_QUEUE_ENABLE 168e21b3b24STomasz Jeznach #define RISCV_IOMMU_PQCSR_PIE RISCV_IOMMU_QUEUE_INTR_ENABLE 169e21b3b24STomasz Jeznach #define RISCV_IOMMU_PQCSR_PQMF RISCV_IOMMU_QUEUE_MEM_FAULT 170e21b3b24STomasz Jeznach #define RISCV_IOMMU_PQCSR_PQOF RISCV_IOMMU_QUEUE_OVERFLOW 171e21b3b24STomasz Jeznach #define RISCV_IOMMU_PQCSR_PQON RISCV_IOMMU_QUEUE_ACTIVE 172e21b3b24STomasz Jeznach #define RISCV_IOMMU_PQCSR_BUSY RISCV_IOMMU_QUEUE_BUSY 173e21b3b24STomasz Jeznach 174e21b3b24STomasz Jeznach /* 5.18 Interrupt Pending Status (32bits) */ 175e21b3b24STomasz Jeznach #define RISCV_IOMMU_REG_IPSR 0x0054 176e21b3b24STomasz Jeznach #define RISCV_IOMMU_IPSR_CIP BIT(0) 177e21b3b24STomasz Jeznach #define RISCV_IOMMU_IPSR_FIP BIT(1) 178e21b3b24STomasz Jeznach #define RISCV_IOMMU_IPSR_PIP BIT(3) 179e21b3b24STomasz Jeznach 180e21b3b24STomasz Jeznach enum { 181e21b3b24STomasz Jeznach RISCV_IOMMU_INTR_CQ, 182e21b3b24STomasz Jeznach RISCV_IOMMU_INTR_FQ, 183e21b3b24STomasz Jeznach RISCV_IOMMU_INTR_PM, 184e21b3b24STomasz Jeznach RISCV_IOMMU_INTR_PQ, 185e21b3b24STomasz Jeznach RISCV_IOMMU_INTR_COUNT 186e21b3b24STomasz Jeznach }; 187e21b3b24STomasz Jeznach 188*a7aa525bSTomasz Jeznach /* 5.24 Translation request IOVA (64bits) */ 189*a7aa525bSTomasz Jeznach #define RISCV_IOMMU_REG_TR_REQ_IOVA 0x0258 190*a7aa525bSTomasz Jeznach 191*a7aa525bSTomasz Jeznach /* 5.25 Translation request control (64bits) */ 192*a7aa525bSTomasz Jeznach #define RISCV_IOMMU_REG_TR_REQ_CTL 0x0260 193*a7aa525bSTomasz Jeznach #define RISCV_IOMMU_TR_REQ_CTL_GO_BUSY BIT_ULL(0) 194*a7aa525bSTomasz Jeznach #define RISCV_IOMMU_TR_REQ_CTL_NW BIT_ULL(3) 195*a7aa525bSTomasz Jeznach #define RISCV_IOMMU_TR_REQ_CTL_PID GENMASK_ULL(31, 12) 196*a7aa525bSTomasz Jeznach #define RISCV_IOMMU_TR_REQ_CTL_DID GENMASK_ULL(63, 40) 197*a7aa525bSTomasz Jeznach 198*a7aa525bSTomasz Jeznach /* 5.26 Translation request response (64bits) */ 199*a7aa525bSTomasz Jeznach #define RISCV_IOMMU_REG_TR_RESPONSE 0x0268 200*a7aa525bSTomasz Jeznach #define RISCV_IOMMU_TR_RESPONSE_FAULT BIT_ULL(0) 201*a7aa525bSTomasz Jeznach #define RISCV_IOMMU_TR_RESPONSE_S BIT_ULL(9) 202*a7aa525bSTomasz Jeznach #define RISCV_IOMMU_TR_RESPONSE_PPN RISCV_IOMMU_PPN_FIELD 203*a7aa525bSTomasz Jeznach 204e21b3b24STomasz Jeznach /* 5.27 Interrupt cause to vector (64bits) */ 205e21b3b24STomasz Jeznach #define RISCV_IOMMU_REG_ICVEC 0x02F8 2060c54acb8STomasz Jeznach #define RISCV_IOMMU_ICVEC_CIV GENMASK_ULL(3, 0) 2070c54acb8STomasz Jeznach #define RISCV_IOMMU_ICVEC_FIV GENMASK_ULL(7, 4) 2080c54acb8STomasz Jeznach #define RISCV_IOMMU_ICVEC_PMIV GENMASK_ULL(11, 8) 2090c54acb8STomasz Jeznach #define RISCV_IOMMU_ICVEC_PIV GENMASK_ULL(15, 12) 210e21b3b24STomasz Jeznach 211e21b3b24STomasz Jeznach /* 5.28 MSI Configuration table (32 * 64bits) */ 212e21b3b24STomasz Jeznach #define RISCV_IOMMU_REG_MSI_CONFIG 0x0300 213e21b3b24STomasz Jeznach 214e21b3b24STomasz Jeznach #define RISCV_IOMMU_REG_SIZE 0x1000 215e21b3b24STomasz Jeznach 216e21b3b24STomasz Jeznach #define RISCV_IOMMU_DDTE_VALID BIT_ULL(0) 217e21b3b24STomasz Jeznach #define RISCV_IOMMU_DDTE_PPN RISCV_IOMMU_PPN_FIELD 218e21b3b24STomasz Jeznach 219e21b3b24STomasz Jeznach /* Struct riscv_iommu_dc - Device Context - section 2.1 */ 220e21b3b24STomasz Jeznach struct riscv_iommu_dc { 221e21b3b24STomasz Jeznach uint64_t tc; 222e21b3b24STomasz Jeznach uint64_t iohgatp; 223e21b3b24STomasz Jeznach uint64_t ta; 224e21b3b24STomasz Jeznach uint64_t fsc; 225e21b3b24STomasz Jeznach uint64_t msiptp; 226e21b3b24STomasz Jeznach uint64_t msi_addr_mask; 227e21b3b24STomasz Jeznach uint64_t msi_addr_pattern; 228e21b3b24STomasz Jeznach uint64_t _reserved; 229e21b3b24STomasz Jeznach }; 230e21b3b24STomasz Jeznach 231e21b3b24STomasz Jeznach /* Translation control fields */ 232e21b3b24STomasz Jeznach #define RISCV_IOMMU_DC_TC_V BIT_ULL(0) 23369a9ae48STomasz Jeznach #define RISCV_IOMMU_DC_TC_EN_ATS BIT_ULL(1) 234e21b3b24STomasz Jeznach #define RISCV_IOMMU_DC_TC_EN_PRI BIT_ULL(2) 235e21b3b24STomasz Jeznach #define RISCV_IOMMU_DC_TC_T2GPA BIT_ULL(3) 236e21b3b24STomasz Jeznach #define RISCV_IOMMU_DC_TC_DTF BIT_ULL(4) 237e21b3b24STomasz Jeznach #define RISCV_IOMMU_DC_TC_PDTV BIT_ULL(5) 238e21b3b24STomasz Jeznach #define RISCV_IOMMU_DC_TC_PRPR BIT_ULL(6) 2390c54acb8STomasz Jeznach #define RISCV_IOMMU_DC_TC_GADE BIT_ULL(7) 2400c54acb8STomasz Jeznach #define RISCV_IOMMU_DC_TC_SADE BIT_ULL(8) 241e21b3b24STomasz Jeznach #define RISCV_IOMMU_DC_TC_DPE BIT_ULL(9) 242e21b3b24STomasz Jeznach #define RISCV_IOMMU_DC_TC_SBE BIT_ULL(10) 243e21b3b24STomasz Jeznach #define RISCV_IOMMU_DC_TC_SXL BIT_ULL(11) 244e21b3b24STomasz Jeznach 245e21b3b24STomasz Jeznach /* Second-stage (aka G-stage) context fields */ 246e21b3b24STomasz Jeznach #define RISCV_IOMMU_DC_IOHGATP_PPN RISCV_IOMMU_ATP_PPN_FIELD 247e21b3b24STomasz Jeznach #define RISCV_IOMMU_DC_IOHGATP_GSCID GENMASK_ULL(59, 44) 248e21b3b24STomasz Jeznach #define RISCV_IOMMU_DC_IOHGATP_MODE RISCV_IOMMU_ATP_MODE_FIELD 249e21b3b24STomasz Jeznach 250e21b3b24STomasz Jeznach enum riscv_iommu_dc_iohgatp_modes { 251e21b3b24STomasz Jeznach RISCV_IOMMU_DC_IOHGATP_MODE_BARE = 0, 252e21b3b24STomasz Jeznach RISCV_IOMMU_DC_IOHGATP_MODE_SV32X4 = 8, 253e21b3b24STomasz Jeznach RISCV_IOMMU_DC_IOHGATP_MODE_SV39X4 = 8, 254e21b3b24STomasz Jeznach RISCV_IOMMU_DC_IOHGATP_MODE_SV48X4 = 9, 255e21b3b24STomasz Jeznach RISCV_IOMMU_DC_IOHGATP_MODE_SV57X4 = 10 256e21b3b24STomasz Jeznach }; 257e21b3b24STomasz Jeznach 258e21b3b24STomasz Jeznach /* Translation attributes fields */ 259e21b3b24STomasz Jeznach #define RISCV_IOMMU_DC_TA_PSCID GENMASK_ULL(31, 12) 260e21b3b24STomasz Jeznach 261e21b3b24STomasz Jeznach /* First-stage context fields */ 262e21b3b24STomasz Jeznach #define RISCV_IOMMU_DC_FSC_PPN RISCV_IOMMU_ATP_PPN_FIELD 263e21b3b24STomasz Jeznach #define RISCV_IOMMU_DC_FSC_MODE RISCV_IOMMU_ATP_MODE_FIELD 264e21b3b24STomasz Jeznach 265e21b3b24STomasz Jeznach /* Generic I/O MMU command structure - check section 3.1 */ 266e21b3b24STomasz Jeznach struct riscv_iommu_command { 267e21b3b24STomasz Jeznach uint64_t dword0; 268e21b3b24STomasz Jeznach uint64_t dword1; 269e21b3b24STomasz Jeznach }; 270e21b3b24STomasz Jeznach 271e21b3b24STomasz Jeznach #define RISCV_IOMMU_CMD_OPCODE GENMASK_ULL(6, 0) 272e21b3b24STomasz Jeznach #define RISCV_IOMMU_CMD_FUNC GENMASK_ULL(9, 7) 273e21b3b24STomasz Jeznach 274e21b3b24STomasz Jeznach #define RISCV_IOMMU_CMD_IOTINVAL_OPCODE 1 275e21b3b24STomasz Jeznach #define RISCV_IOMMU_CMD_IOTINVAL_FUNC_VMA 0 276e21b3b24STomasz Jeznach #define RISCV_IOMMU_CMD_IOTINVAL_FUNC_GVMA 1 277e21b3b24STomasz Jeznach #define RISCV_IOMMU_CMD_IOTINVAL_AV BIT_ULL(10) 278e21b3b24STomasz Jeznach #define RISCV_IOMMU_CMD_IOTINVAL_PSCID GENMASK_ULL(31, 12) 279e21b3b24STomasz Jeznach #define RISCV_IOMMU_CMD_IOTINVAL_PSCV BIT_ULL(32) 280e21b3b24STomasz Jeznach #define RISCV_IOMMU_CMD_IOTINVAL_GV BIT_ULL(33) 281e21b3b24STomasz Jeznach #define RISCV_IOMMU_CMD_IOTINVAL_GSCID GENMASK_ULL(59, 44) 282e21b3b24STomasz Jeznach 283e21b3b24STomasz Jeznach #define RISCV_IOMMU_CMD_IOFENCE_OPCODE 2 284e21b3b24STomasz Jeznach #define RISCV_IOMMU_CMD_IOFENCE_FUNC_C 0 285e21b3b24STomasz Jeznach #define RISCV_IOMMU_CMD_IOFENCE_AV BIT_ULL(10) 286e21b3b24STomasz Jeznach #define RISCV_IOMMU_CMD_IOFENCE_DATA GENMASK_ULL(63, 32) 287e21b3b24STomasz Jeznach 288e21b3b24STomasz Jeznach #define RISCV_IOMMU_CMD_IODIR_OPCODE 3 289e21b3b24STomasz Jeznach #define RISCV_IOMMU_CMD_IODIR_FUNC_INVAL_DDT 0 290e21b3b24STomasz Jeznach #define RISCV_IOMMU_CMD_IODIR_FUNC_INVAL_PDT 1 291e21b3b24STomasz Jeznach #define RISCV_IOMMU_CMD_IODIR_PID GENMASK_ULL(31, 12) 292e21b3b24STomasz Jeznach #define RISCV_IOMMU_CMD_IODIR_DV BIT_ULL(33) 293e21b3b24STomasz Jeznach #define RISCV_IOMMU_CMD_IODIR_DID GENMASK_ULL(63, 40) 294e21b3b24STomasz Jeznach 29569a9ae48STomasz Jeznach /* 3.1.4 I/O MMU PCIe ATS */ 29669a9ae48STomasz Jeznach #define RISCV_IOMMU_CMD_ATS_OPCODE 4 29769a9ae48STomasz Jeznach #define RISCV_IOMMU_CMD_ATS_FUNC_INVAL 0 29869a9ae48STomasz Jeznach #define RISCV_IOMMU_CMD_ATS_FUNC_PRGR 1 29969a9ae48STomasz Jeznach #define RISCV_IOMMU_CMD_ATS_PID GENMASK_ULL(31, 12) 30069a9ae48STomasz Jeznach #define RISCV_IOMMU_CMD_ATS_PV BIT_ULL(32) 30169a9ae48STomasz Jeznach #define RISCV_IOMMU_CMD_ATS_DSV BIT_ULL(33) 30269a9ae48STomasz Jeznach #define RISCV_IOMMU_CMD_ATS_RID GENMASK_ULL(55, 40) 30369a9ae48STomasz Jeznach #define RISCV_IOMMU_CMD_ATS_DSEG GENMASK_ULL(63, 56) 30469a9ae48STomasz Jeznach /* dword1 is the ATS payload, two different payload types for INVAL and PRGR */ 30569a9ae48STomasz Jeznach 30669a9ae48STomasz Jeznach /* ATS.PRGR payload */ 30769a9ae48STomasz Jeznach #define RISCV_IOMMU_CMD_ATS_PRGR_RESP_CODE GENMASK_ULL(47, 44) 30869a9ae48STomasz Jeznach 309e21b3b24STomasz Jeznach enum riscv_iommu_dc_fsc_atp_modes { 310e21b3b24STomasz Jeznach RISCV_IOMMU_DC_FSC_MODE_BARE = 0, 311e21b3b24STomasz Jeznach RISCV_IOMMU_DC_FSC_IOSATP_MODE_SV32 = 8, 312e21b3b24STomasz Jeznach RISCV_IOMMU_DC_FSC_IOSATP_MODE_SV39 = 8, 313e21b3b24STomasz Jeznach RISCV_IOMMU_DC_FSC_IOSATP_MODE_SV48 = 9, 314e21b3b24STomasz Jeznach RISCV_IOMMU_DC_FSC_IOSATP_MODE_SV57 = 10, 315e21b3b24STomasz Jeznach RISCV_IOMMU_DC_FSC_PDTP_MODE_PD8 = 1, 316e21b3b24STomasz Jeznach RISCV_IOMMU_DC_FSC_PDTP_MODE_PD17 = 2, 317e21b3b24STomasz Jeznach RISCV_IOMMU_DC_FSC_PDTP_MODE_PD20 = 3 318e21b3b24STomasz Jeznach }; 319e21b3b24STomasz Jeznach 320e21b3b24STomasz Jeznach enum riscv_iommu_fq_causes { 321e21b3b24STomasz Jeznach RISCV_IOMMU_FQ_CAUSE_INST_FAULT = 1, 322e21b3b24STomasz Jeznach RISCV_IOMMU_FQ_CAUSE_RD_ADDR_MISALIGNED = 4, 323e21b3b24STomasz Jeznach RISCV_IOMMU_FQ_CAUSE_RD_FAULT = 5, 324e21b3b24STomasz Jeznach RISCV_IOMMU_FQ_CAUSE_WR_ADDR_MISALIGNED = 6, 325e21b3b24STomasz Jeznach RISCV_IOMMU_FQ_CAUSE_WR_FAULT = 7, 326e21b3b24STomasz Jeznach RISCV_IOMMU_FQ_CAUSE_INST_FAULT_S = 12, 327e21b3b24STomasz Jeznach RISCV_IOMMU_FQ_CAUSE_RD_FAULT_S = 13, 328e21b3b24STomasz Jeznach RISCV_IOMMU_FQ_CAUSE_WR_FAULT_S = 15, 329e21b3b24STomasz Jeznach RISCV_IOMMU_FQ_CAUSE_INST_FAULT_VS = 20, 330e21b3b24STomasz Jeznach RISCV_IOMMU_FQ_CAUSE_RD_FAULT_VS = 21, 331e21b3b24STomasz Jeznach RISCV_IOMMU_FQ_CAUSE_WR_FAULT_VS = 23, 332e21b3b24STomasz Jeznach RISCV_IOMMU_FQ_CAUSE_DMA_DISABLED = 256, 333e21b3b24STomasz Jeznach RISCV_IOMMU_FQ_CAUSE_DDT_LOAD_FAULT = 257, 334e21b3b24STomasz Jeznach RISCV_IOMMU_FQ_CAUSE_DDT_INVALID = 258, 335e21b3b24STomasz Jeznach RISCV_IOMMU_FQ_CAUSE_DDT_MISCONFIGURED = 259, 336e21b3b24STomasz Jeznach RISCV_IOMMU_FQ_CAUSE_TTYPE_BLOCKED = 260, 337e21b3b24STomasz Jeznach RISCV_IOMMU_FQ_CAUSE_MSI_LOAD_FAULT = 261, 338e21b3b24STomasz Jeznach RISCV_IOMMU_FQ_CAUSE_MSI_INVALID = 262, 339e21b3b24STomasz Jeznach RISCV_IOMMU_FQ_CAUSE_MSI_MISCONFIGURED = 263, 340e21b3b24STomasz Jeznach RISCV_IOMMU_FQ_CAUSE_MRIF_FAULT = 264, 341e21b3b24STomasz Jeznach RISCV_IOMMU_FQ_CAUSE_PDT_LOAD_FAULT = 265, 342e21b3b24STomasz Jeznach RISCV_IOMMU_FQ_CAUSE_PDT_INVALID = 266, 343e21b3b24STomasz Jeznach RISCV_IOMMU_FQ_CAUSE_PDT_MISCONFIGURED = 267, 344e21b3b24STomasz Jeznach RISCV_IOMMU_FQ_CAUSE_DDT_CORRUPTED = 268, 345e21b3b24STomasz Jeznach RISCV_IOMMU_FQ_CAUSE_PDT_CORRUPTED = 269, 346e21b3b24STomasz Jeznach RISCV_IOMMU_FQ_CAUSE_MSI_PT_CORRUPTED = 270, 347e21b3b24STomasz Jeznach RISCV_IOMMU_FQ_CAUSE_MRIF_CORRUIPTED = 271, 348e21b3b24STomasz Jeznach RISCV_IOMMU_FQ_CAUSE_INTERNAL_DP_ERROR = 272, 349e21b3b24STomasz Jeznach RISCV_IOMMU_FQ_CAUSE_MSI_WR_FAULT = 273, 350e21b3b24STomasz Jeznach RISCV_IOMMU_FQ_CAUSE_PT_CORRUPTED = 274 351e21b3b24STomasz Jeznach }; 352e21b3b24STomasz Jeznach 353e21b3b24STomasz Jeznach /* MSI page table pointer */ 354e21b3b24STomasz Jeznach #define RISCV_IOMMU_DC_MSIPTP_PPN RISCV_IOMMU_ATP_PPN_FIELD 355e21b3b24STomasz Jeznach #define RISCV_IOMMU_DC_MSIPTP_MODE RISCV_IOMMU_ATP_MODE_FIELD 356e21b3b24STomasz Jeznach #define RISCV_IOMMU_DC_MSIPTP_MODE_OFF 0 357e21b3b24STomasz Jeznach #define RISCV_IOMMU_DC_MSIPTP_MODE_FLAT 1 358e21b3b24STomasz Jeznach 359e21b3b24STomasz Jeznach /* Translation attributes fields */ 360e21b3b24STomasz Jeznach #define RISCV_IOMMU_PC_TA_V BIT_ULL(0) 3610c54acb8STomasz Jeznach #define RISCV_IOMMU_PC_TA_RESERVED GENMASK_ULL(63, 32) 362e21b3b24STomasz Jeznach 363e21b3b24STomasz Jeznach /* First stage context fields */ 364e21b3b24STomasz Jeznach #define RISCV_IOMMU_PC_FSC_PPN GENMASK_ULL(43, 0) 3650c54acb8STomasz Jeznach #define RISCV_IOMMU_PC_FSC_RESERVED GENMASK_ULL(59, 44) 366e21b3b24STomasz Jeznach 367e21b3b24STomasz Jeznach enum riscv_iommu_fq_ttypes { 368e21b3b24STomasz Jeznach RISCV_IOMMU_FQ_TTYPE_NONE = 0, 369e21b3b24STomasz Jeznach RISCV_IOMMU_FQ_TTYPE_UADDR_INST_FETCH = 1, 370e21b3b24STomasz Jeznach RISCV_IOMMU_FQ_TTYPE_UADDR_RD = 2, 371e21b3b24STomasz Jeznach RISCV_IOMMU_FQ_TTYPE_UADDR_WR = 3, 372e21b3b24STomasz Jeznach RISCV_IOMMU_FQ_TTYPE_TADDR_INST_FETCH = 5, 373e21b3b24STomasz Jeznach RISCV_IOMMU_FQ_TTYPE_TADDR_RD = 6, 374e21b3b24STomasz Jeznach RISCV_IOMMU_FQ_TTYPE_TADDR_WR = 7, 37569a9ae48STomasz Jeznach RISCV_IOMMU_FQ_TTYPE_PCIE_ATS_REQ = 8, 37669a9ae48STomasz Jeznach RISCV_IOMMU_FW_TTYPE_PCIE_MSG_REQ = 9, 37769a9ae48STomasz Jeznach }; 37869a9ae48STomasz Jeznach 37969a9ae48STomasz Jeznach /* Header fields */ 38069a9ae48STomasz Jeznach #define RISCV_IOMMU_PREQ_HDR_PID GENMASK_ULL(31, 12) 38169a9ae48STomasz Jeznach #define RISCV_IOMMU_PREQ_HDR_PV BIT_ULL(32) 38269a9ae48STomasz Jeznach #define RISCV_IOMMU_PREQ_HDR_PRIV BIT_ULL(33) 38369a9ae48STomasz Jeznach #define RISCV_IOMMU_PREQ_HDR_EXEC BIT_ULL(34) 38469a9ae48STomasz Jeznach #define RISCV_IOMMU_PREQ_HDR_DID GENMASK_ULL(63, 40) 38569a9ae48STomasz Jeznach 38669a9ae48STomasz Jeznach /* Payload fields */ 38769a9ae48STomasz Jeznach #define RISCV_IOMMU_PREQ_PAYLOAD_R BIT_ULL(0) 38869a9ae48STomasz Jeznach #define RISCV_IOMMU_PREQ_PAYLOAD_W BIT_ULL(1) 38969a9ae48STomasz Jeznach #define RISCV_IOMMU_PREQ_PAYLOAD_L BIT_ULL(2) 39069a9ae48STomasz Jeznach #define RISCV_IOMMU_PREQ_PAYLOAD_M GENMASK_ULL(2, 0) 39169a9ae48STomasz Jeznach #define RISCV_IOMMU_PREQ_PRG_INDEX GENMASK_ULL(11, 3) 39269a9ae48STomasz Jeznach #define RISCV_IOMMU_PREQ_UADDR GENMASK_ULL(63, 12) 39369a9ae48STomasz Jeznach 39469a9ae48STomasz Jeznach 39569a9ae48STomasz Jeznach /* 39669a9ae48STomasz Jeznach * struct riscv_iommu_msi_pte - MSI Page Table Entry 39769a9ae48STomasz Jeznach */ 39869a9ae48STomasz Jeznach struct riscv_iommu_msi_pte { 39969a9ae48STomasz Jeznach uint64_t pte; 40069a9ae48STomasz Jeznach uint64_t mrif_info; 401e21b3b24STomasz Jeznach }; 402e21b3b24STomasz Jeznach 403e21b3b24STomasz Jeznach /* Fields on pte */ 404e21b3b24STomasz Jeznach #define RISCV_IOMMU_MSI_PTE_V BIT_ULL(0) 405e21b3b24STomasz Jeznach #define RISCV_IOMMU_MSI_PTE_M GENMASK_ULL(2, 1) 406e21b3b24STomasz Jeznach 407e21b3b24STomasz Jeznach #define RISCV_IOMMU_MSI_PTE_M_MRIF 1 408e21b3b24STomasz Jeznach #define RISCV_IOMMU_MSI_PTE_M_BASIC 3 409e21b3b24STomasz Jeznach 410e21b3b24STomasz Jeznach /* When M == 1 (MRIF mode) */ 411e21b3b24STomasz Jeznach #define RISCV_IOMMU_MSI_PTE_MRIF_ADDR GENMASK_ULL(53, 7) 412e21b3b24STomasz Jeznach /* When M == 3 (basic mode) */ 413e21b3b24STomasz Jeznach #define RISCV_IOMMU_MSI_PTE_PPN RISCV_IOMMU_PPN_FIELD 414e21b3b24STomasz Jeznach #define RISCV_IOMMU_MSI_PTE_C BIT_ULL(63) 415e21b3b24STomasz Jeznach 416e21b3b24STomasz Jeznach /* Fields on mrif_info */ 417e21b3b24STomasz Jeznach #define RISCV_IOMMU_MSI_MRIF_NID GENMASK_ULL(9, 0) 418e21b3b24STomasz Jeznach #define RISCV_IOMMU_MSI_MRIF_NPPN RISCV_IOMMU_PPN_FIELD 419e21b3b24STomasz Jeznach #define RISCV_IOMMU_MSI_MRIF_NID_MSB BIT_ULL(60) 420e21b3b24STomasz Jeznach 421e21b3b24STomasz Jeznach #endif /* _RISCV_IOMMU_BITS_H_ */ 422