1 // SPDX-License-Identifier: GPL-2.0+ 2 /* 3 * PCIe host controller driver for Xilinx AXI PCIe Bridge 4 * 5 * Copyright (c) 2012 - 2014 Xilinx, Inc. 6 * 7 * Based on the Tegra PCIe driver 8 * 9 * Bits taken from Synopsys DesignWare Host controller driver and 10 * ARM PCI Host generic driver. 11 */ 12 13 #include <linux/interrupt.h> 14 #include <linux/irq.h> 15 #include <linux/irqdomain.h> 16 #include <linux/kernel.h> 17 #include <linux/init.h> 18 #include <linux/msi.h> 19 #include <linux/of_address.h> 20 #include <linux/of_pci.h> 21 #include <linux/of_platform.h> 22 #include <linux/of_irq.h> 23 #include <linux/pci.h> 24 #include <linux/pci-ecam.h> 25 #include <linux/platform_device.h> 26 27 #include "../pci.h" 28 29 /* Register definitions */ 30 #define XILINX_PCIE_REG_BIR 0x00000130 31 #define XILINX_PCIE_REG_IDR 0x00000138 32 #define XILINX_PCIE_REG_IMR 0x0000013c 33 #define XILINX_PCIE_REG_PSCR 0x00000144 34 #define XILINX_PCIE_REG_RPSC 0x00000148 35 #define XILINX_PCIE_REG_MSIBASE1 0x0000014c 36 #define XILINX_PCIE_REG_MSIBASE2 0x00000150 37 #define XILINX_PCIE_REG_RPEFR 0x00000154 38 #define XILINX_PCIE_REG_RPIFR1 0x00000158 39 #define XILINX_PCIE_REG_RPIFR2 0x0000015c 40 41 /* Interrupt registers definitions */ 42 #define XILINX_PCIE_INTR_LINK_DOWN BIT(0) 43 #define XILINX_PCIE_INTR_ECRC_ERR BIT(1) 44 #define XILINX_PCIE_INTR_STR_ERR BIT(2) 45 #define XILINX_PCIE_INTR_HOT_RESET BIT(3) 46 #define XILINX_PCIE_INTR_CFG_TIMEOUT BIT(8) 47 #define XILINX_PCIE_INTR_CORRECTABLE BIT(9) 48 #define XILINX_PCIE_INTR_NONFATAL BIT(10) 49 #define XILINX_PCIE_INTR_FATAL BIT(11) 50 #define XILINX_PCIE_INTR_INTX BIT(16) 51 #define XILINX_PCIE_INTR_MSI BIT(17) 52 #define XILINX_PCIE_INTR_SLV_UNSUPP BIT(20) 53 #define XILINX_PCIE_INTR_SLV_UNEXP BIT(21) 54 #define XILINX_PCIE_INTR_SLV_COMPL BIT(22) 55 #define XILINX_PCIE_INTR_SLV_ERRP BIT(23) 56 #define XILINX_PCIE_INTR_SLV_CMPABT BIT(24) 57 #define XILINX_PCIE_INTR_SLV_ILLBUR BIT(25) 58 #define XILINX_PCIE_INTR_MST_DECERR BIT(26) 59 #define XILINX_PCIE_INTR_MST_SLVERR BIT(27) 60 #define XILINX_PCIE_INTR_MST_ERRP BIT(28) 61 #define XILINX_PCIE_IMR_ALL_MASK 0x1FF30FED 62 #define XILINX_PCIE_IMR_ENABLE_MASK 0x1FF30F0D 63 #define XILINX_PCIE_IDR_ALL_MASK 0xFFFFFFFF 64 65 /* Root Port Error FIFO Read Register definitions */ 66 #define XILINX_PCIE_RPEFR_ERR_VALID BIT(18) 67 #define XILINX_PCIE_RPEFR_REQ_ID GENMASK(15, 0) 68 #define XILINX_PCIE_RPEFR_ALL_MASK 0xFFFFFFFF 69 70 /* Root Port Interrupt FIFO Read Register 1 definitions */ 71 #define XILINX_PCIE_RPIFR1_INTR_VALID BIT(31) 72 #define XILINX_PCIE_RPIFR1_MSI_INTR BIT(30) 73 #define XILINX_PCIE_RPIFR1_INTR_MASK GENMASK(28, 27) 74 #define XILINX_PCIE_RPIFR1_ALL_MASK 0xFFFFFFFF 75 #define XILINX_PCIE_RPIFR1_INTR_SHIFT 27 76 77 /* Bridge Info Register definitions */ 78 #define XILINX_PCIE_BIR_ECAM_SZ_MASK GENMASK(18, 16) 79 #define XILINX_PCIE_BIR_ECAM_SZ_SHIFT 16 80 81 /* Root Port Interrupt FIFO Read Register 2 definitions */ 82 #define XILINX_PCIE_RPIFR2_MSG_DATA GENMASK(15, 0) 83 84 /* Root Port Status/control Register definitions */ 85 #define XILINX_PCIE_REG_RPSC_BEN BIT(0) 86 87 /* Phy Status/Control Register definitions */ 88 #define XILINX_PCIE_REG_PSCR_LNKUP BIT(11) 89 90 /* Number of MSI IRQs */ 91 #define XILINX_NUM_MSI_IRQS 128 92 93 /** 94 * struct xilinx_pcie_port - PCIe port information 95 * @reg_base: IO Mapped Register Base 96 * @dev: Device pointer 97 * @msi_map: Bitmap of allocated MSIs 98 * @map_lock: Mutex protecting the MSI allocation 99 * @msi_domain: MSI IRQ domain pointer 100 * @leg_domain: Legacy IRQ domain pointer 101 * @resources: Bus Resources 102 */ 103 struct xilinx_pcie_port { 104 void __iomem *reg_base; 105 struct device *dev; 106 unsigned long msi_map[BITS_TO_LONGS(XILINX_NUM_MSI_IRQS)]; 107 struct mutex map_lock; 108 struct irq_domain *msi_domain; 109 struct irq_domain *leg_domain; 110 struct list_head resources; 111 }; 112 113 static inline u32 pcie_read(struct xilinx_pcie_port *port, u32 reg) 114 { 115 return readl(port->reg_base + reg); 116 } 117 118 static inline void pcie_write(struct xilinx_pcie_port *port, u32 val, u32 reg) 119 { 120 writel(val, port->reg_base + reg); 121 } 122 123 static inline bool xilinx_pcie_link_up(struct xilinx_pcie_port *port) 124 { 125 return (pcie_read(port, XILINX_PCIE_REG_PSCR) & 126 XILINX_PCIE_REG_PSCR_LNKUP) ? 1 : 0; 127 } 128 129 /** 130 * xilinx_pcie_clear_err_interrupts - Clear Error Interrupts 131 * @port: PCIe port information 132 */ 133 static void xilinx_pcie_clear_err_interrupts(struct xilinx_pcie_port *port) 134 { 135 struct device *dev = port->dev; 136 unsigned long val = pcie_read(port, XILINX_PCIE_REG_RPEFR); 137 138 if (val & XILINX_PCIE_RPEFR_ERR_VALID) { 139 dev_dbg(dev, "Requester ID %lu\n", 140 val & XILINX_PCIE_RPEFR_REQ_ID); 141 pcie_write(port, XILINX_PCIE_RPEFR_ALL_MASK, 142 XILINX_PCIE_REG_RPEFR); 143 } 144 } 145 146 /** 147 * xilinx_pcie_valid_device - Check if a valid device is present on bus 148 * @bus: PCI Bus structure 149 * @devfn: device/function 150 * 151 * Return: 'true' on success and 'false' if invalid device is found 152 */ 153 static bool xilinx_pcie_valid_device(struct pci_bus *bus, unsigned int devfn) 154 { 155 struct xilinx_pcie_port *port = bus->sysdata; 156 157 /* Check if link is up when trying to access downstream ports */ 158 if (!pci_is_root_bus(bus)) { 159 if (!xilinx_pcie_link_up(port)) 160 return false; 161 } else if (devfn > 0) { 162 /* Only one device down on each root port */ 163 return false; 164 } 165 return true; 166 } 167 168 /** 169 * xilinx_pcie_map_bus - Get configuration base 170 * @bus: PCI Bus structure 171 * @devfn: Device/function 172 * @where: Offset from base 173 * 174 * Return: Base address of the configuration space needed to be 175 * accessed. 176 */ 177 static void __iomem *xilinx_pcie_map_bus(struct pci_bus *bus, 178 unsigned int devfn, int where) 179 { 180 struct xilinx_pcie_port *port = bus->sysdata; 181 182 if (!xilinx_pcie_valid_device(bus, devfn)) 183 return NULL; 184 185 return port->reg_base + PCIE_ECAM_OFFSET(bus->number, devfn, where); 186 } 187 188 /* PCIe operations */ 189 static struct pci_ops xilinx_pcie_ops = { 190 .map_bus = xilinx_pcie_map_bus, 191 .read = pci_generic_config_read, 192 .write = pci_generic_config_write, 193 }; 194 195 /* MSI functions */ 196 197 static void xilinx_msi_top_irq_ack(struct irq_data *d) 198 { 199 /* 200 * xilinx_pcie_intr_handler() will have performed the Ack. 201 * Eventually, this should be fixed and the Ack be moved in 202 * the respective callbacks for INTx and MSI. 203 */ 204 } 205 206 static struct irq_chip xilinx_msi_top_chip = { 207 .name = "PCIe MSI", 208 .irq_ack = xilinx_msi_top_irq_ack, 209 }; 210 211 static int xilinx_msi_set_affinity(struct irq_data *d, const struct cpumask *mask, bool force) 212 { 213 return -EINVAL; 214 } 215 216 static void xilinx_compose_msi_msg(struct irq_data *data, struct msi_msg *msg) 217 { 218 struct xilinx_pcie_port *pcie = irq_data_get_irq_chip_data(data); 219 phys_addr_t pa = ALIGN_DOWN(virt_to_phys(pcie), SZ_4K); 220 221 msg->address_lo = lower_32_bits(pa); 222 msg->address_hi = upper_32_bits(pa); 223 msg->data = data->hwirq; 224 } 225 226 static struct irq_chip xilinx_msi_bottom_chip = { 227 .name = "Xilinx MSI", 228 .irq_set_affinity = xilinx_msi_set_affinity, 229 .irq_compose_msi_msg = xilinx_compose_msi_msg, 230 }; 231 232 static int xilinx_msi_domain_alloc(struct irq_domain *domain, unsigned int virq, 233 unsigned int nr_irqs, void *args) 234 { 235 struct xilinx_pcie_port *port = domain->host_data; 236 int hwirq, i; 237 238 mutex_lock(&port->map_lock); 239 240 hwirq = bitmap_find_free_region(port->msi_map, XILINX_NUM_MSI_IRQS, order_base_2(nr_irqs)); 241 242 mutex_unlock(&port->map_lock); 243 244 if (hwirq < 0) 245 return -ENOSPC; 246 247 for (i = 0; i < nr_irqs; i++) 248 irq_domain_set_info(domain, virq + i, hwirq + i, 249 &xilinx_msi_bottom_chip, domain->host_data, 250 handle_edge_irq, NULL, NULL); 251 252 return 0; 253 } 254 255 static void xilinx_msi_domain_free(struct irq_domain *domain, unsigned int virq, 256 unsigned int nr_irqs) 257 { 258 struct irq_data *d = irq_domain_get_irq_data(domain, virq); 259 struct xilinx_pcie_port *port = domain->host_data; 260 261 mutex_lock(&port->map_lock); 262 263 bitmap_release_region(port->msi_map, d->hwirq, order_base_2(nr_irqs)); 264 265 mutex_unlock(&port->map_lock); 266 } 267 268 static const struct irq_domain_ops xilinx_msi_domain_ops = { 269 .alloc = xilinx_msi_domain_alloc, 270 .free = xilinx_msi_domain_free, 271 }; 272 273 static struct msi_domain_info xilinx_msi_info = { 274 .flags = (MSI_FLAG_USE_DEF_DOM_OPS | MSI_FLAG_USE_DEF_CHIP_OPS), 275 .chip = &xilinx_msi_top_chip, 276 }; 277 278 static int xilinx_allocate_msi_domains(struct xilinx_pcie_port *pcie) 279 { 280 struct fwnode_handle *fwnode = dev_fwnode(pcie->dev); 281 struct irq_domain *parent; 282 283 parent = irq_domain_create_linear(fwnode, XILINX_NUM_MSI_IRQS, 284 &xilinx_msi_domain_ops, pcie); 285 if (!parent) { 286 dev_err(pcie->dev, "failed to create IRQ domain\n"); 287 return -ENOMEM; 288 } 289 irq_domain_update_bus_token(parent, DOMAIN_BUS_NEXUS); 290 291 pcie->msi_domain = pci_msi_create_irq_domain(fwnode, &xilinx_msi_info, parent); 292 if (!pcie->msi_domain) { 293 dev_err(pcie->dev, "failed to create MSI domain\n"); 294 irq_domain_remove(parent); 295 return -ENOMEM; 296 } 297 298 return 0; 299 } 300 301 static void xilinx_free_msi_domains(struct xilinx_pcie_port *pcie) 302 { 303 struct irq_domain *parent = pcie->msi_domain->parent; 304 305 irq_domain_remove(pcie->msi_domain); 306 irq_domain_remove(parent); 307 } 308 309 /* INTx Functions */ 310 311 /** 312 * xilinx_pcie_intx_map - Set the handler for the INTx and mark IRQ as valid 313 * @domain: IRQ domain 314 * @irq: Virtual IRQ number 315 * @hwirq: HW interrupt number 316 * 317 * Return: Always returns 0. 318 */ 319 static int xilinx_pcie_intx_map(struct irq_domain *domain, unsigned int irq, 320 irq_hw_number_t hwirq) 321 { 322 irq_set_chip_and_handler(irq, &dummy_irq_chip, handle_simple_irq); 323 irq_set_chip_data(irq, domain->host_data); 324 325 return 0; 326 } 327 328 /* INTx IRQ Domain operations */ 329 static const struct irq_domain_ops intx_domain_ops = { 330 .map = xilinx_pcie_intx_map, 331 .xlate = pci_irqd_intx_xlate, 332 }; 333 334 /* PCIe HW Functions */ 335 336 /** 337 * xilinx_pcie_intr_handler - Interrupt Service Handler 338 * @irq: IRQ number 339 * @data: PCIe port information 340 * 341 * Return: IRQ_HANDLED on success and IRQ_NONE on failure 342 */ 343 static irqreturn_t xilinx_pcie_intr_handler(int irq, void *data) 344 { 345 struct xilinx_pcie_port *port = (struct xilinx_pcie_port *)data; 346 struct device *dev = port->dev; 347 u32 val, mask, status; 348 349 /* Read interrupt decode and mask registers */ 350 val = pcie_read(port, XILINX_PCIE_REG_IDR); 351 mask = pcie_read(port, XILINX_PCIE_REG_IMR); 352 353 status = val & mask; 354 if (!status) 355 return IRQ_NONE; 356 357 if (status & XILINX_PCIE_INTR_LINK_DOWN) 358 dev_warn(dev, "Link Down\n"); 359 360 if (status & XILINX_PCIE_INTR_ECRC_ERR) 361 dev_warn(dev, "ECRC failed\n"); 362 363 if (status & XILINX_PCIE_INTR_STR_ERR) 364 dev_warn(dev, "Streaming error\n"); 365 366 if (status & XILINX_PCIE_INTR_HOT_RESET) 367 dev_info(dev, "Hot reset\n"); 368 369 if (status & XILINX_PCIE_INTR_CFG_TIMEOUT) 370 dev_warn(dev, "ECAM access timeout\n"); 371 372 if (status & XILINX_PCIE_INTR_CORRECTABLE) { 373 dev_warn(dev, "Correctable error message\n"); 374 xilinx_pcie_clear_err_interrupts(port); 375 } 376 377 if (status & XILINX_PCIE_INTR_NONFATAL) { 378 dev_warn(dev, "Non fatal error message\n"); 379 xilinx_pcie_clear_err_interrupts(port); 380 } 381 382 if (status & XILINX_PCIE_INTR_FATAL) { 383 dev_warn(dev, "Fatal error message\n"); 384 xilinx_pcie_clear_err_interrupts(port); 385 } 386 387 if (status & (XILINX_PCIE_INTR_INTX | XILINX_PCIE_INTR_MSI)) { 388 unsigned int irq; 389 390 val = pcie_read(port, XILINX_PCIE_REG_RPIFR1); 391 392 /* Check whether interrupt valid */ 393 if (!(val & XILINX_PCIE_RPIFR1_INTR_VALID)) { 394 dev_warn(dev, "RP Intr FIFO1 read error\n"); 395 goto error; 396 } 397 398 /* Decode the IRQ number */ 399 if (val & XILINX_PCIE_RPIFR1_MSI_INTR) { 400 val = pcie_read(port, XILINX_PCIE_REG_RPIFR2) & 401 XILINX_PCIE_RPIFR2_MSG_DATA; 402 irq = irq_find_mapping(port->msi_domain->parent, val); 403 } else { 404 val = (val & XILINX_PCIE_RPIFR1_INTR_MASK) >> 405 XILINX_PCIE_RPIFR1_INTR_SHIFT; 406 irq = irq_find_mapping(port->leg_domain, val); 407 } 408 409 /* Clear interrupt FIFO register 1 */ 410 pcie_write(port, XILINX_PCIE_RPIFR1_ALL_MASK, 411 XILINX_PCIE_REG_RPIFR1); 412 413 if (irq) 414 generic_handle_irq(irq); 415 } 416 417 if (status & XILINX_PCIE_INTR_SLV_UNSUPP) 418 dev_warn(dev, "Slave unsupported request\n"); 419 420 if (status & XILINX_PCIE_INTR_SLV_UNEXP) 421 dev_warn(dev, "Slave unexpected completion\n"); 422 423 if (status & XILINX_PCIE_INTR_SLV_COMPL) 424 dev_warn(dev, "Slave completion timeout\n"); 425 426 if (status & XILINX_PCIE_INTR_SLV_ERRP) 427 dev_warn(dev, "Slave Error Poison\n"); 428 429 if (status & XILINX_PCIE_INTR_SLV_CMPABT) 430 dev_warn(dev, "Slave Completer Abort\n"); 431 432 if (status & XILINX_PCIE_INTR_SLV_ILLBUR) 433 dev_warn(dev, "Slave Illegal Burst\n"); 434 435 if (status & XILINX_PCIE_INTR_MST_DECERR) 436 dev_warn(dev, "Master decode error\n"); 437 438 if (status & XILINX_PCIE_INTR_MST_SLVERR) 439 dev_warn(dev, "Master slave error\n"); 440 441 if (status & XILINX_PCIE_INTR_MST_ERRP) 442 dev_warn(dev, "Master error poison\n"); 443 444 error: 445 /* Clear the Interrupt Decode register */ 446 pcie_write(port, status, XILINX_PCIE_REG_IDR); 447 448 return IRQ_HANDLED; 449 } 450 451 /** 452 * xilinx_pcie_init_irq_domain - Initialize IRQ domain 453 * @port: PCIe port information 454 * 455 * Return: '0' on success and error value on failure 456 */ 457 static int xilinx_pcie_init_irq_domain(struct xilinx_pcie_port *port) 458 { 459 struct device *dev = port->dev; 460 struct device_node *pcie_intc_node; 461 int ret; 462 463 /* Setup INTx */ 464 pcie_intc_node = of_get_next_child(dev->of_node, NULL); 465 if (!pcie_intc_node) { 466 dev_err(dev, "No PCIe Intc node found\n"); 467 return -ENODEV; 468 } 469 470 port->leg_domain = irq_domain_add_linear(pcie_intc_node, PCI_NUM_INTX, 471 &intx_domain_ops, 472 port); 473 of_node_put(pcie_intc_node); 474 if (!port->leg_domain) { 475 dev_err(dev, "Failed to get a INTx IRQ domain\n"); 476 return -ENODEV; 477 } 478 479 /* Setup MSI */ 480 if (IS_ENABLED(CONFIG_PCI_MSI)) { 481 phys_addr_t pa = ALIGN_DOWN(virt_to_phys(port), SZ_4K); 482 483 ret = xilinx_allocate_msi_domains(port); 484 if (ret) 485 return ret; 486 487 pcie_write(port, upper_32_bits(pa), XILINX_PCIE_REG_MSIBASE1); 488 pcie_write(port, lower_32_bits(pa), XILINX_PCIE_REG_MSIBASE2); 489 } 490 491 return 0; 492 } 493 494 /** 495 * xilinx_pcie_init_port - Initialize hardware 496 * @port: PCIe port information 497 */ 498 static void xilinx_pcie_init_port(struct xilinx_pcie_port *port) 499 { 500 struct device *dev = port->dev; 501 502 if (xilinx_pcie_link_up(port)) 503 dev_info(dev, "PCIe Link is UP\n"); 504 else 505 dev_info(dev, "PCIe Link is DOWN\n"); 506 507 /* Disable all interrupts */ 508 pcie_write(port, ~XILINX_PCIE_IDR_ALL_MASK, 509 XILINX_PCIE_REG_IMR); 510 511 /* Clear pending interrupts */ 512 pcie_write(port, pcie_read(port, XILINX_PCIE_REG_IDR) & 513 XILINX_PCIE_IMR_ALL_MASK, 514 XILINX_PCIE_REG_IDR); 515 516 /* Enable all interrupts we handle */ 517 pcie_write(port, XILINX_PCIE_IMR_ENABLE_MASK, XILINX_PCIE_REG_IMR); 518 519 /* Enable the Bridge enable bit */ 520 pcie_write(port, pcie_read(port, XILINX_PCIE_REG_RPSC) | 521 XILINX_PCIE_REG_RPSC_BEN, 522 XILINX_PCIE_REG_RPSC); 523 } 524 525 /** 526 * xilinx_pcie_parse_dt - Parse Device tree 527 * @port: PCIe port information 528 * 529 * Return: '0' on success and error value on failure 530 */ 531 static int xilinx_pcie_parse_dt(struct xilinx_pcie_port *port) 532 { 533 struct device *dev = port->dev; 534 struct device_node *node = dev->of_node; 535 struct resource regs; 536 unsigned int irq; 537 int err; 538 539 err = of_address_to_resource(node, 0, ®s); 540 if (err) { 541 dev_err(dev, "missing \"reg\" property\n"); 542 return err; 543 } 544 545 port->reg_base = devm_pci_remap_cfg_resource(dev, ®s); 546 if (IS_ERR(port->reg_base)) 547 return PTR_ERR(port->reg_base); 548 549 irq = irq_of_parse_and_map(node, 0); 550 err = devm_request_irq(dev, irq, xilinx_pcie_intr_handler, 551 IRQF_SHARED | IRQF_NO_THREAD, 552 "xilinx-pcie", port); 553 if (err) { 554 dev_err(dev, "unable to request irq %d\n", irq); 555 return err; 556 } 557 558 return 0; 559 } 560 561 /** 562 * xilinx_pcie_probe - Probe function 563 * @pdev: Platform device pointer 564 * 565 * Return: '0' on success and error value on failure 566 */ 567 static int xilinx_pcie_probe(struct platform_device *pdev) 568 { 569 struct device *dev = &pdev->dev; 570 struct xilinx_pcie_port *port; 571 struct pci_host_bridge *bridge; 572 int err; 573 574 if (!dev->of_node) 575 return -ENODEV; 576 577 bridge = devm_pci_alloc_host_bridge(dev, sizeof(*port)); 578 if (!bridge) 579 return -ENODEV; 580 581 port = pci_host_bridge_priv(bridge); 582 mutex_init(&port->map_lock); 583 port->dev = dev; 584 585 err = xilinx_pcie_parse_dt(port); 586 if (err) { 587 dev_err(dev, "Parsing DT failed\n"); 588 return err; 589 } 590 591 xilinx_pcie_init_port(port); 592 593 err = xilinx_pcie_init_irq_domain(port); 594 if (err) { 595 dev_err(dev, "Failed creating IRQ Domain\n"); 596 return err; 597 } 598 599 bridge->sysdata = port; 600 bridge->ops = &xilinx_pcie_ops; 601 602 err = pci_host_probe(bridge); 603 if (err) 604 xilinx_free_msi_domains(port); 605 606 return err; 607 } 608 609 static const struct of_device_id xilinx_pcie_of_match[] = { 610 { .compatible = "xlnx,axi-pcie-host-1.00.a", }, 611 {} 612 }; 613 614 static struct platform_driver xilinx_pcie_driver = { 615 .driver = { 616 .name = "xilinx-pcie", 617 .of_match_table = xilinx_pcie_of_match, 618 .suppress_bind_attrs = true, 619 }, 620 .probe = xilinx_pcie_probe, 621 }; 622 builtin_platform_driver(xilinx_pcie_driver); 623