1 // SPDX-License-Identifier: GPL-2.0
3  * Qualcomm PCIe Endpoint controller driver
18 #include <linux/phy/pcie.h>
26 #include "pcie-designware.h"
144 #define to_pcie_ep(x)				dev_get_drvdata((x)->dev)
154  * struct qcom_pcie_ep - Qualcomm PCIe Endpoint Controller
155  * @pci: Designware PCIe controller struct
156  * @parf: Qualcomm PCIe specific PARF register base
157  * @elbi: Designware PCIe specific ELBI register base
161  * @core_reset: PCIe Endpoint core reset
165  * @debugfs: PCIe Endpoint Debugfs directory
166  * @icc_mem: Handle to an interconnect path between PCIe and MEM
167  * @clks: PCIe clocks
168  * @num_clks: PCIe clocks count
171  * @link_status: PCIe Link status
172  * @global_irq: Qualcomm PCIe specific Global IRQ
205 	struct dw_pcie *pci = &pcie_ep->pci;  in qcom_pcie_ep_core_reset()
206 	struct device *dev = pci->dev;  in qcom_pcie_ep_core_reset()
209 	ret = reset_control_assert(pcie_ep->core_reset);  in qcom_pcie_ep_core_reset()
217 	ret = reset_control_deassert(pcie_ep->core_reset);  in qcom_pcie_ep_core_reset()
219 		dev_err(dev, "Cannot de-assert core reset\n");  in qcom_pcie_ep_core_reset()
235 	if (pcie_ep->perst_map) {  in qcom_pcie_ep_configure_tcsr()
236 		regmap_write(pcie_ep->perst_map, pcie_ep->perst_en, 0);  in qcom_pcie_ep_configure_tcsr()
237 		regmap_write(pcie_ep->perst_map, pcie_ep->perst_sep_en, 0);  in qcom_pcie_ep_configure_tcsr()
246 	reg = readl_relaxed(pcie_ep->elbi + ELBI_SYS_STTS);  in qcom_pcie_dw_link_up()
255 	enable_irq(pcie_ep->perst_irq);  in qcom_pcie_dw_start_link()
264 	disable_irq(pcie_ep->perst_irq);  in qcom_pcie_dw_stop_link()
273 	writel(1, pcie_ep->elbi + ELBI_CS2_ENABLE);  in qcom_pcie_dw_write_dbi2()
275 	ret = dw_pcie_write(pci->dbi_base2 + reg, size, val);  in qcom_pcie_dw_write_dbi2()
277 		dev_err(pci->dev, "Failed to write DBI2 register (0x%x): %d\n", reg, ret);  in qcom_pcie_dw_write_dbi2()
279 	writel(0, pcie_ep->elbi + ELBI_CS2_ENABLE);  in qcom_pcie_dw_write_dbi2()
284 	struct dw_pcie *pci = &pcie_ep->pci;  in qcom_pcie_ep_icc_update()
289 	if (!pcie_ep->icc_mem)  in qcom_pcie_ep_icc_update()
293 	status = readw(pci->dbi_base + offset + PCI_EXP_LNKSTA);  in qcom_pcie_ep_icc_update()
309 		dev_warn(pci->dev, "using default GEN4 bandwidth\n");  in qcom_pcie_ep_icc_update()
316 	ret = icc_set_bw(pcie_ep->icc_mem, 0, width * bw);  in qcom_pcie_ep_icc_update()
318 		dev_err(pci->dev, "failed to set interconnect bandwidth: %d\n",  in qcom_pcie_ep_icc_update()
324 	struct dw_pcie *pci = &pcie_ep->pci;  in qcom_pcie_enable_resources()
327 	ret = clk_bulk_prepare_enable(pcie_ep->num_clks, pcie_ep->clks);  in qcom_pcie_enable_resources()
335 	ret = phy_init(pcie_ep->phy);  in qcom_pcie_enable_resources()
339 	ret = phy_set_mode_ext(pcie_ep->phy, PHY_MODE_PCIE, PHY_MODE_PCIE_EP);  in qcom_pcie_enable_resources()
343 	ret = phy_power_on(pcie_ep->phy);  in qcom_pcie_enable_resources()
351 	 * Set an initial peak bandwidth corresponding to single-lane Gen 1  in qcom_pcie_enable_resources()
352 	 * for the pcie-mem path.  in qcom_pcie_enable_resources()
354 	ret = icc_set_bw(pcie_ep->icc_mem, 0, MBps_to_icc(PCIE_GEN1_BW_MBPS));  in qcom_pcie_enable_resources()
356 		dev_err(pci->dev, "failed to set interconnect bandwidth: %d\n",  in qcom_pcie_enable_resources()
364 	phy_power_off(pcie_ep->phy);  in qcom_pcie_enable_resources()
366 	phy_exit(pcie_ep->phy);  in qcom_pcie_enable_resources()
368 	clk_bulk_disable_unprepare(pcie_ep->num_clks, pcie_ep->clks);  in qcom_pcie_enable_resources()
375 	icc_set_bw(pcie_ep->icc_mem, 0, 0);  in qcom_pcie_disable_resources()
376 	phy_power_off(pcie_ep->phy);  in qcom_pcie_disable_resources()
377 	phy_exit(pcie_ep->phy);  in qcom_pcie_disable_resources()
378 	clk_bulk_disable_unprepare(pcie_ep->num_clks, pcie_ep->clks);  in qcom_pcie_disable_resources()
384 	struct device *dev = pci->dev;  in qcom_pcie_perst_deassert()
395 	gpiod_set_value_cansleep(pcie_ep->wake, 1);  in qcom_pcie_perst_deassert()
397 	gpiod_set_value_cansleep(pcie_ep->wake, 0);  in qcom_pcie_perst_deassert()
402 	val = readl_relaxed(pcie_ep->parf + PARF_BDF_TO_SID_CFG);  in qcom_pcie_perst_deassert()
404 	writel_relaxed(val, pcie_ep->parf + PARF_BDF_TO_SID_CFG);  in qcom_pcie_perst_deassert()
407 	val = readl_relaxed(pcie_ep->parf + PARF_DEBUG_INT_EN);  in qcom_pcie_perst_deassert()
411 	writel_relaxed(val, pcie_ep->parf + PARF_DEBUG_INT_EN);  in qcom_pcie_perst_deassert()
413 	/* Configure PCIe to endpoint mode */  in qcom_pcie_perst_deassert()
414 	writel_relaxed(PARF_DEVICE_TYPE_EP, pcie_ep->parf + PARF_DEVICE_TYPE);  in qcom_pcie_perst_deassert()
417 	val = readl_relaxed(pcie_ep->parf + PARF_PM_CTRL);  in qcom_pcie_perst_deassert()
419 	writel_relaxed(val, pcie_ep->parf + PARF_PM_CTRL);  in qcom_pcie_perst_deassert()
422 	val = readl_relaxed(pcie_ep->parf + PARF_AXI_MSTR_RD_HALT_NO_WRITES);  in qcom_pcie_perst_deassert()
424 	writel_relaxed(val, pcie_ep->parf + PARF_AXI_MSTR_RD_HALT_NO_WRITES);  in qcom_pcie_perst_deassert()
427 	val = readl_relaxed(pcie_ep->parf + PARF_AXI_MSTR_WR_ADDR_HALT);  in qcom_pcie_perst_deassert()
429 	writel_relaxed(val, pcie_ep->parf + PARF_AXI_MSTR_WR_ADDR_HALT);  in qcom_pcie_perst_deassert()
432 	val = readl_relaxed(pcie_ep->parf + PARF_Q2A_FLUSH);  in qcom_pcie_perst_deassert()
434 	writel_relaxed(val, pcie_ep->parf + PARF_Q2A_FLUSH);  in qcom_pcie_perst_deassert()
442 	val = readl_relaxed(pcie_ep->parf + PARF_SYS_CTRL);  in qcom_pcie_perst_deassert()
447 	writel_relaxed(val, pcie_ep->parf + PARF_SYS_CTRL);  in qcom_pcie_perst_deassert()
450 	val = readl_relaxed(pcie_ep->parf + PARF_DB_CTRL);  in qcom_pcie_perst_deassert()
454 	writel_relaxed(val, pcie_ep->parf + PARF_DB_CTRL);  in qcom_pcie_perst_deassert()
457 	val = readl_relaxed(pcie_ep->parf + PARF_CFG_BITS);  in qcom_pcie_perst_deassert()
459 	writel_relaxed(val, pcie_ep->parf + PARF_CFG_BITS);  in qcom_pcie_perst_deassert()
463 	/* Set the L0s Exit Latency to 2us-4us = 0x6 */  in qcom_pcie_perst_deassert()
470 	/* Set the L1 Exit Latency to be 32us-64 us = 0x6 */  in qcom_pcie_perst_deassert()
479 	writel_relaxed(0, pcie_ep->parf + PARF_INT_ALL_MASK);  in qcom_pcie_perst_deassert()
483 	writel_relaxed(val, pcie_ep->parf + PARF_INT_ALL_MASK);  in qcom_pcie_perst_deassert()
485 	ret = dw_pcie_ep_init_complete(&pcie_ep->pci.ep);  in qcom_pcie_perst_deassert()
495 	writel_relaxed(pcie_ep->mmio_res->start,  in qcom_pcie_perst_deassert()
496 		       pcie_ep->parf + PARF_MHI_BASE_ADDR_LOWER);  in qcom_pcie_perst_deassert()
497 	writel_relaxed(0, pcie_ep->parf + PARF_MHI_BASE_ADDR_UPPER);  in qcom_pcie_perst_deassert()
500 	val = readl_relaxed(pcie_ep->parf + PARF_MHI_CLOCK_RESET_CTRL);  in qcom_pcie_perst_deassert()
502 	writel_relaxed(val, pcie_ep->parf + PARF_MHI_CLOCK_RESET_CTRL);  in qcom_pcie_perst_deassert()
504 	dw_pcie_ep_init_notify(&pcie_ep->pci.ep);  in qcom_pcie_perst_deassert()
507 	val = readl_relaxed(pcie_ep->parf + PARF_LTSSM);  in qcom_pcie_perst_deassert()
509 	writel_relaxed(val, pcie_ep->parf + PARF_LTSSM);  in qcom_pcie_perst_deassert()
524 	pcie_ep->link_status = QCOM_PCIE_EP_LINK_DISABLED;  in qcom_pcie_perst_assert()
538 	struct device *dev = &pdev->dev;  in qcom_pcie_ep_get_io_resources()
539 	struct dw_pcie *pci = &pcie_ep->pci;  in qcom_pcie_ep_get_io_resources()
544 	pcie_ep->parf = devm_platform_ioremap_resource_byname(pdev, "parf");  in qcom_pcie_ep_get_io_resources()
545 	if (IS_ERR(pcie_ep->parf))  in qcom_pcie_ep_get_io_resources()
546 		return PTR_ERR(pcie_ep->parf);  in qcom_pcie_ep_get_io_resources()
549 	pci->dbi_base = devm_pci_remap_cfg_resource(dev, res);  in qcom_pcie_ep_get_io_resources()
550 	if (IS_ERR(pci->dbi_base))  in qcom_pcie_ep_get_io_resources()
551 		return PTR_ERR(pci->dbi_base);  in qcom_pcie_ep_get_io_resources()
552 	pci->dbi_base2 = pci->dbi_base;  in qcom_pcie_ep_get_io_resources()
555 	pcie_ep->elbi = devm_pci_remap_cfg_resource(dev, res);  in qcom_pcie_ep_get_io_resources()
556 	if (IS_ERR(pcie_ep->elbi))  in qcom_pcie_ep_get_io_resources()
557 		return PTR_ERR(pcie_ep->elbi);  in qcom_pcie_ep_get_io_resources()
559 	pcie_ep->mmio_res = platform_get_resource_byname(pdev, IORESOURCE_MEM,  in qcom_pcie_ep_get_io_resources()
561 	if (!pcie_ep->mmio_res) {  in qcom_pcie_ep_get_io_resources()
563 		return -EINVAL;  in qcom_pcie_ep_get_io_resources()
566 	pcie_ep->mmio = devm_pci_remap_cfg_resource(dev, pcie_ep->mmio_res);  in qcom_pcie_ep_get_io_resources()
567 	if (IS_ERR(pcie_ep->mmio))  in qcom_pcie_ep_get_io_resources()
568 		return PTR_ERR(pcie_ep->mmio);  in qcom_pcie_ep_get_io_resources()
570 	syscon = of_parse_phandle(dev->of_node, "qcom,perst-regs", 0);  in qcom_pcie_ep_get_io_resources()
576 	pcie_ep->perst_map = syscon_node_to_regmap(syscon);  in qcom_pcie_ep_get_io_resources()
578 	if (IS_ERR(pcie_ep->perst_map))  in qcom_pcie_ep_get_io_resources()
579 		return PTR_ERR(pcie_ep->perst_map);  in qcom_pcie_ep_get_io_resources()
581 	ret = of_property_read_u32_index(dev->of_node, "qcom,perst-regs",  in qcom_pcie_ep_get_io_resources()
582 					 1, &pcie_ep->perst_en);  in qcom_pcie_ep_get_io_resources()
588 	ret = of_property_read_u32_index(dev->of_node, "qcom,perst-regs",  in qcom_pcie_ep_get_io_resources()
589 					 2, &pcie_ep->perst_sep_en);  in qcom_pcie_ep_get_io_resources()
601 	struct device *dev = &pdev->dev;  in qcom_pcie_ep_get_resources()
610 	pcie_ep->num_clks = devm_clk_bulk_get_all(dev, &pcie_ep->clks);  in qcom_pcie_ep_get_resources()
611 	if (pcie_ep->num_clks < 0) {  in qcom_pcie_ep_get_resources()
613 		return pcie_ep->num_clks;  in qcom_pcie_ep_get_resources()
616 	pcie_ep->core_reset = devm_reset_control_get_exclusive(dev, "core");  in qcom_pcie_ep_get_resources()
617 	if (IS_ERR(pcie_ep->core_reset))  in qcom_pcie_ep_get_resources()
618 		return PTR_ERR(pcie_ep->core_reset);  in qcom_pcie_ep_get_resources()
620 	pcie_ep->reset = devm_gpiod_get(dev, "reset", GPIOD_IN);  in qcom_pcie_ep_get_resources()
621 	if (IS_ERR(pcie_ep->reset))  in qcom_pcie_ep_get_resources()
622 		return PTR_ERR(pcie_ep->reset);  in qcom_pcie_ep_get_resources()
624 	pcie_ep->wake = devm_gpiod_get_optional(dev, "wake", GPIOD_OUT_LOW);  in qcom_pcie_ep_get_resources()
625 	if (IS_ERR(pcie_ep->wake))  in qcom_pcie_ep_get_resources()
626 		return PTR_ERR(pcie_ep->wake);  in qcom_pcie_ep_get_resources()
628 	pcie_ep->phy = devm_phy_optional_get(dev, "pciephy");  in qcom_pcie_ep_get_resources()
629 	if (IS_ERR(pcie_ep->phy))  in qcom_pcie_ep_get_resources()
630 		ret = PTR_ERR(pcie_ep->phy);  in qcom_pcie_ep_get_resources()
632 	pcie_ep->icc_mem = devm_of_icc_get(dev, "pcie-mem");  in qcom_pcie_ep_get_resources()
633 	if (IS_ERR(pcie_ep->icc_mem))  in qcom_pcie_ep_get_resources()
634 		ret = PTR_ERR(pcie_ep->icc_mem);  in qcom_pcie_ep_get_resources()
639 /* TODO: Notify clients about PCIe state change */
643 	struct dw_pcie *pci = &pcie_ep->pci;  in qcom_pcie_ep_global_irq_thread()
644 	struct device *dev = pci->dev;  in qcom_pcie_ep_global_irq_thread()
645 	u32 status = readl_relaxed(pcie_ep->parf + PARF_INT_ALL_STATUS);  in qcom_pcie_ep_global_irq_thread()
646 	u32 mask = readl_relaxed(pcie_ep->parf + PARF_INT_ALL_MASK);  in qcom_pcie_ep_global_irq_thread()
649 	writel_relaxed(status, pcie_ep->parf + PARF_INT_ALL_CLEAR);  in qcom_pcie_ep_global_irq_thread()
654 		pcie_ep->link_status = QCOM_PCIE_EP_LINK_DOWN;  in qcom_pcie_ep_global_irq_thread()
655 		pci_epc_linkdown(pci->ep.epc);  in qcom_pcie_ep_global_irq_thread()
658 		pcie_ep->link_status = QCOM_PCIE_EP_LINK_ENABLED;  in qcom_pcie_ep_global_irq_thread()
660 		pci_epc_bme_notify(pci->ep.epc);  in qcom_pcie_ep_global_irq_thread()
662 		dev_dbg(dev, "Received PM Turn-off event! Entering L23\n");  in qcom_pcie_ep_global_irq_thread()
663 		val = readl_relaxed(pcie_ep->parf + PARF_PM_CTRL);  in qcom_pcie_ep_global_irq_thread()
665 		writel_relaxed(val, pcie_ep->parf + PARF_PM_CTRL);  in qcom_pcie_ep_global_irq_thread()
671 			val = readl_relaxed(pcie_ep->parf + PARF_PM_CTRL);  in qcom_pcie_ep_global_irq_thread()
673 			writel_relaxed(val, pcie_ep->parf + PARF_PM_CTRL);  in qcom_pcie_ep_global_irq_thread()
677 		dw_pcie_ep_linkup(&pci->ep);  in qcom_pcie_ep_global_irq_thread()
678 		pcie_ep->link_status = QCOM_PCIE_EP_LINK_UP;  in qcom_pcie_ep_global_irq_thread()
689 	struct dw_pcie *pci = &pcie_ep->pci;  in qcom_pcie_ep_perst_irq_thread()
690 	struct device *dev = pci->dev;  in qcom_pcie_ep_perst_irq_thread()
693 	perst = gpiod_get_value(pcie_ep->reset);  in qcom_pcie_ep_perst_irq_thread()
695 		dev_dbg(dev, "PERST asserted by host. Shutting down the PCIe link!\n");  in qcom_pcie_ep_perst_irq_thread()
698 		dev_dbg(dev, "PERST de-asserted by host. Starting link training!\n");  in qcom_pcie_ep_perst_irq_thread()
702 	irq_set_irq_type(gpiod_to_irq(pcie_ep->reset),  in qcom_pcie_ep_perst_irq_thread()
713 	pcie_ep->global_irq = platform_get_irq_byname(pdev, "global");  in qcom_pcie_ep_enable_irq_resources()
714 	if (pcie_ep->global_irq < 0)  in qcom_pcie_ep_enable_irq_resources()
715 		return pcie_ep->global_irq;  in qcom_pcie_ep_enable_irq_resources()
717 	ret = devm_request_threaded_irq(&pdev->dev, pcie_ep->global_irq, NULL,  in qcom_pcie_ep_enable_irq_resources()
722 		dev_err(&pdev->dev, "Failed to request Global IRQ\n");  in qcom_pcie_ep_enable_irq_resources()
726 	pcie_ep->perst_irq = gpiod_to_irq(pcie_ep->reset);  in qcom_pcie_ep_enable_irq_resources()
727 	irq_set_status_flags(pcie_ep->perst_irq, IRQ_NOAUTOEN);  in qcom_pcie_ep_enable_irq_resources()
728 	ret = devm_request_threaded_irq(&pdev->dev, pcie_ep->perst_irq, NULL,  in qcom_pcie_ep_enable_irq_resources()
733 		dev_err(&pdev->dev, "Failed to request PERST IRQ\n");  in qcom_pcie_ep_enable_irq_resources()
734 		disable_irq(pcie_ep->global_irq);  in qcom_pcie_ep_enable_irq_resources()
741 static int qcom_pcie_ep_raise_irq(struct dw_pcie_ep *ep, u8 func_no,  in qcom_pcie_ep_raise_irq()  argument
744 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in qcom_pcie_ep_raise_irq()
748 		return dw_pcie_ep_raise_legacy_irq(ep, func_no);  in qcom_pcie_ep_raise_irq()
750 		return dw_pcie_ep_raise_msi_irq(ep, func_no, interrupt_num);  in qcom_pcie_ep_raise_irq()
752 		dev_err(pci->dev, "Unknown IRQ type\n");  in qcom_pcie_ep_raise_irq()
753 		return -EINVAL;  in qcom_pcie_ep_raise_irq()
760 				     dev_get_drvdata(s->private);  in qcom_pcie_ep_link_transition_count()
763 		   readl_relaxed(pcie_ep->mmio + PARF_DEBUG_CNT_PM_LINKST_IN_L0S));  in qcom_pcie_ep_link_transition_count()
766 		   readl_relaxed(pcie_ep->mmio + PARF_DEBUG_CNT_PM_LINKST_IN_L1));  in qcom_pcie_ep_link_transition_count()
769 		   readl_relaxed(pcie_ep->mmio + PARF_DEBUG_CNT_AUX_CLK_IN_L1SUB_L1));  in qcom_pcie_ep_link_transition_count()
772 		   readl_relaxed(pcie_ep->mmio + PARF_DEBUG_CNT_AUX_CLK_IN_L1SUB_L2));  in qcom_pcie_ep_link_transition_count()
775 		   readl_relaxed(pcie_ep->mmio + PARF_DEBUG_CNT_PM_LINKST_IN_L2));  in qcom_pcie_ep_link_transition_count()
782 	struct dw_pcie *pci = &pcie_ep->pci;  in qcom_pcie_ep_init_debugfs()
784 	debugfs_create_devm_seqfile(pci->dev, "link_transition_count", pcie_ep->debugfs,  in qcom_pcie_ep_init_debugfs()
802 static void qcom_pcie_ep_init(struct dw_pcie_ep *ep)  in qcom_pcie_ep_init()  argument
804 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in qcom_pcie_ep_init()
819 	struct device *dev = &pdev->dev;  in qcom_pcie_ep_probe()
826 		return -ENOMEM;  in qcom_pcie_ep_probe()
828 	pcie_ep->pci.dev = dev;  in qcom_pcie_ep_probe()
829 	pcie_ep->pci.ops = &pci_ops;  in qcom_pcie_ep_probe()
830 	pcie_ep->pci.ep.ops = &pci_ep_ops;  in qcom_pcie_ep_probe()
831 	pcie_ep->pci.edma.nr_irqs = 1;  in qcom_pcie_ep_probe()
844 	ret = dw_pcie_ep_init(&pcie_ep->pci.ep);  in qcom_pcie_ep_probe()
854 	name = devm_kasprintf(dev, GFP_KERNEL, "%pOFP", dev->of_node);  in qcom_pcie_ep_probe()
856 		ret = -ENOMEM;  in qcom_pcie_ep_probe()
860 	pcie_ep->debugfs = debugfs_create_dir(name, NULL);  in qcom_pcie_ep_probe()
866 	disable_irq(pcie_ep->global_irq);  in qcom_pcie_ep_probe()
867 	disable_irq(pcie_ep->perst_irq);  in qcom_pcie_ep_probe()
879 	disable_irq(pcie_ep->global_irq);  in qcom_pcie_ep_remove()
880 	disable_irq(pcie_ep->perst_irq);  in qcom_pcie_ep_remove()
882 	debugfs_remove_recursive(pcie_ep->debugfs);  in qcom_pcie_ep_remove()
884 	if (pcie_ep->link_status == QCOM_PCIE_EP_LINK_DISABLED)  in qcom_pcie_ep_remove()
891 	{ .compatible = "qcom,sdx55-pcie-ep", },
892 	{ .compatible = "qcom,sm8450-pcie-ep", },
901 		.name = "qcom-pcie-ep",
909 MODULE_DESCRIPTION("Qualcomm PCIe Endpoint controller driver");