1 /* SPDX-License-Identifier: GPL-2.0 */
2 /*
3  * Synopsys DesignWare PCIe host controller driver
4  *
5  * Copyright (C) 2013 Samsung Electronics Co., Ltd.
6  *		http://www.samsung.com
7  *
8  * Author: Jingoo Han <jg1.han@samsung.com>
9  */
10 
11 #ifndef _PCIE_DESIGNWARE_H
12 #define _PCIE_DESIGNWARE_H
13 
14 #include <linux/dma-mapping.h>
15 #include <linux/irq.h>
16 #include <linux/msi.h>
17 #include <linux/pci.h>
18 
19 #include <linux/pci-epc.h>
20 #include <linux/pci-epf.h>
21 
22 /* Parameters for the waiting for link up routine */
23 #define LINK_WAIT_MAX_RETRIES		10
24 #define LINK_WAIT_USLEEP_MIN		90000
25 #define LINK_WAIT_USLEEP_MAX		100000
26 
27 /* Parameters for the waiting for iATU enabled routine */
28 #define LINK_WAIT_MAX_IATU_RETRIES	5
29 #define LINK_WAIT_IATU_MIN		9000
30 #define LINK_WAIT_IATU_MAX		10000
31 
32 /* Synopsys-specific PCIe configuration registers */
33 #define PCIE_PORT_LINK_CONTROL		0x710
34 #define PORT_LINK_MODE_MASK		(0x3f << 16)
35 #define PORT_LINK_MODE_1_LANES		(0x1 << 16)
36 #define PORT_LINK_MODE_2_LANES		(0x3 << 16)
37 #define PORT_LINK_MODE_4_LANES		(0x7 << 16)
38 #define PORT_LINK_MODE_8_LANES		(0xf << 16)
39 
40 #define PCIE_LINK_WIDTH_SPEED_CONTROL	0x80C
41 #define PORT_LOGIC_SPEED_CHANGE		(0x1 << 17)
42 #define PORT_LOGIC_LINK_WIDTH_MASK	(0x1f << 8)
43 #define PORT_LOGIC_LINK_WIDTH_1_LANES	(0x1 << 8)
44 #define PORT_LOGIC_LINK_WIDTH_2_LANES	(0x2 << 8)
45 #define PORT_LOGIC_LINK_WIDTH_4_LANES	(0x4 << 8)
46 #define PORT_LOGIC_LINK_WIDTH_8_LANES	(0x8 << 8)
47 
48 #define PCIE_MSI_ADDR_LO		0x820
49 #define PCIE_MSI_ADDR_HI		0x824
50 #define PCIE_MSI_INTR0_ENABLE		0x828
51 #define PCIE_MSI_INTR0_MASK		0x82C
52 #define PCIE_MSI_INTR0_STATUS		0x830
53 
54 #define PCIE_ATU_VIEWPORT		0x900
55 #define PCIE_ATU_REGION_INBOUND		(0x1 << 31)
56 #define PCIE_ATU_REGION_OUTBOUND	(0x0 << 31)
57 #define PCIE_ATU_REGION_INDEX2		(0x2 << 0)
58 #define PCIE_ATU_REGION_INDEX1		(0x1 << 0)
59 #define PCIE_ATU_REGION_INDEX0		(0x0 << 0)
60 #define PCIE_ATU_CR1			0x904
61 #define PCIE_ATU_TYPE_MEM		(0x0 << 0)
62 #define PCIE_ATU_TYPE_IO		(0x2 << 0)
63 #define PCIE_ATU_TYPE_CFG0		(0x4 << 0)
64 #define PCIE_ATU_TYPE_CFG1		(0x5 << 0)
65 #define PCIE_ATU_CR2			0x908
66 #define PCIE_ATU_ENABLE			(0x1 << 31)
67 #define PCIE_ATU_BAR_MODE_ENABLE	(0x1 << 30)
68 #define PCIE_ATU_LOWER_BASE		0x90C
69 #define PCIE_ATU_UPPER_BASE		0x910
70 #define PCIE_ATU_LIMIT			0x914
71 #define PCIE_ATU_LOWER_TARGET		0x918
72 #define PCIE_ATU_BUS(x)			(((x) & 0xff) << 24)
73 #define PCIE_ATU_DEV(x)			(((x) & 0x1f) << 19)
74 #define PCIE_ATU_FUNC(x)		(((x) & 0x7) << 16)
75 #define PCIE_ATU_UPPER_TARGET		0x91C
76 
77 #define PCIE_MISC_CONTROL_1_OFF		0x8BC
78 #define PCIE_DBI_RO_WR_EN		(0x1 << 0)
79 
80 /*
81  * iATU Unroll-specific register definitions
82  * From 4.80 core version the address translation will be made by unroll
83  */
84 #define PCIE_ATU_UNR_REGION_CTRL1	0x00
85 #define PCIE_ATU_UNR_REGION_CTRL2	0x04
86 #define PCIE_ATU_UNR_LOWER_BASE		0x08
87 #define PCIE_ATU_UNR_UPPER_BASE		0x0C
88 #define PCIE_ATU_UNR_LIMIT		0x10
89 #define PCIE_ATU_UNR_LOWER_TARGET	0x14
90 #define PCIE_ATU_UNR_UPPER_TARGET	0x18
91 
92 /* Register address builder */
93 #define PCIE_GET_ATU_OUTB_UNR_REG_OFFSET(region)	\
94 			((0x3 << 20) | ((region) << 9))
95 
96 #define PCIE_GET_ATU_INB_UNR_REG_OFFSET(region)				\
97 			((0x3 << 20) | ((region) << 9) | (0x1 << 8))
98 
99 #define MSI_MESSAGE_CONTROL		0x52
100 #define MSI_CAP_MMC_SHIFT		1
101 #define MSI_CAP_MMC_MASK		(7 << MSI_CAP_MMC_SHIFT)
102 #define MSI_CAP_MME_SHIFT		4
103 #define MSI_CAP_MSI_EN_MASK		0x1
104 #define MSI_CAP_MME_MASK		(7 << MSI_CAP_MME_SHIFT)
105 #define MSI_MESSAGE_ADDR_L32		0x54
106 #define MSI_MESSAGE_ADDR_U32		0x58
107 #define MSI_MESSAGE_DATA_32		0x58
108 #define MSI_MESSAGE_DATA_64		0x5C
109 
110 #define MAX_MSI_IRQS			256
111 #define MAX_MSI_IRQS_PER_CTRL		32
112 #define MAX_MSI_CTRLS			(MAX_MSI_IRQS / MAX_MSI_IRQS_PER_CTRL)
113 #define MSI_REG_CTRL_BLOCK_SIZE		12
114 #define MSI_DEF_NUM_VECTORS		32
115 
116 /* Maximum number of inbound/outbound iATUs */
117 #define MAX_IATU_IN			256
118 #define MAX_IATU_OUT			256
119 
120 struct pcie_port;
121 struct dw_pcie;
122 struct dw_pcie_ep;
123 
124 enum dw_pcie_region_type {
125 	DW_PCIE_REGION_UNKNOWN,
126 	DW_PCIE_REGION_INBOUND,
127 	DW_PCIE_REGION_OUTBOUND,
128 };
129 
130 enum dw_pcie_device_mode {
131 	DW_PCIE_UNKNOWN_TYPE,
132 	DW_PCIE_EP_TYPE,
133 	DW_PCIE_LEG_EP_TYPE,
134 	DW_PCIE_RC_TYPE,
135 };
136 
137 struct dw_pcie_host_ops {
138 	int (*rd_own_conf)(struct pcie_port *pp, int where, int size, u32 *val);
139 	int (*wr_own_conf)(struct pcie_port *pp, int where, int size, u32 val);
140 	int (*rd_other_conf)(struct pcie_port *pp, struct pci_bus *bus,
141 			     unsigned int devfn, int where, int size, u32 *val);
142 	int (*wr_other_conf)(struct pcie_port *pp, struct pci_bus *bus,
143 			     unsigned int devfn, int where, int size, u32 val);
144 	int (*host_init)(struct pcie_port *pp);
145 	void (*msi_set_irq)(struct pcie_port *pp, int irq);
146 	void (*msi_clear_irq)(struct pcie_port *pp, int irq);
147 	phys_addr_t (*get_msi_addr)(struct pcie_port *pp);
148 	u32 (*get_msi_data)(struct pcie_port *pp, int pos);
149 	void (*scan_bus)(struct pcie_port *pp);
150 	void (*set_num_vectors)(struct pcie_port *pp);
151 	int (*msi_host_init)(struct pcie_port *pp);
152 	void (*msi_irq_ack)(int irq, struct pcie_port *pp);
153 };
154 
155 struct pcie_port {
156 	u8			root_bus_nr;
157 	u64			cfg0_base;
158 	void __iomem		*va_cfg0_base;
159 	u32			cfg0_size;
160 	u64			cfg1_base;
161 	void __iomem		*va_cfg1_base;
162 	u32			cfg1_size;
163 	resource_size_t		io_base;
164 	phys_addr_t		io_bus_addr;
165 	u32			io_size;
166 	u64			mem_base;
167 	phys_addr_t		mem_bus_addr;
168 	u32			mem_size;
169 	struct resource		*cfg;
170 	struct resource		*io;
171 	struct resource		*mem;
172 	struct resource		*busn;
173 	int			irq;
174 	const struct dw_pcie_host_ops *ops;
175 	int			msi_irq;
176 	struct irq_domain	*irq_domain;
177 	struct irq_domain	*msi_domain;
178 	dma_addr_t		msi_data;
179 	u32			num_vectors;
180 	u32			irq_status[MAX_MSI_CTRLS];
181 	raw_spinlock_t		lock;
182 	DECLARE_BITMAP(msi_irq_in_use, MAX_MSI_IRQS);
183 };
184 
185 enum dw_pcie_as_type {
186 	DW_PCIE_AS_UNKNOWN,
187 	DW_PCIE_AS_MEM,
188 	DW_PCIE_AS_IO,
189 };
190 
191 struct dw_pcie_ep_ops {
192 	void	(*ep_init)(struct dw_pcie_ep *ep);
193 	int	(*raise_irq)(struct dw_pcie_ep *ep, u8 func_no,
194 			     enum pci_epc_irq_type type, u8 interrupt_num);
195 };
196 
197 struct dw_pcie_ep {
198 	struct pci_epc		*epc;
199 	struct dw_pcie_ep_ops	*ops;
200 	phys_addr_t		phys_base;
201 	size_t			addr_size;
202 	size_t			page_size;
203 	u8			bar_to_atu[6];
204 	phys_addr_t		*outbound_addr;
205 	unsigned long		*ib_window_map;
206 	unsigned long		*ob_window_map;
207 	u32			num_ib_windows;
208 	u32			num_ob_windows;
209 	void __iomem		*msi_mem;
210 	phys_addr_t		msi_mem_phys;
211 };
212 
213 struct dw_pcie_ops {
214 	u64	(*cpu_addr_fixup)(struct dw_pcie *pcie, u64 cpu_addr);
215 	u32	(*read_dbi)(struct dw_pcie *pcie, void __iomem *base, u32 reg,
216 			    size_t size);
217 	void	(*write_dbi)(struct dw_pcie *pcie, void __iomem *base, u32 reg,
218 			     size_t size, u32 val);
219 	int	(*link_up)(struct dw_pcie *pcie);
220 	int	(*start_link)(struct dw_pcie *pcie);
221 	void	(*stop_link)(struct dw_pcie *pcie);
222 };
223 
224 struct dw_pcie {
225 	struct device		*dev;
226 	void __iomem		*dbi_base;
227 	void __iomem		*dbi_base2;
228 	u32			num_viewport;
229 	u8			iatu_unroll_enabled;
230 	struct pcie_port	pp;
231 	struct dw_pcie_ep	ep;
232 	const struct dw_pcie_ops *ops;
233 };
234 
235 #define to_dw_pcie_from_pp(port) container_of((port), struct dw_pcie, pp)
236 
237 #define to_dw_pcie_from_ep(endpoint)   \
238 		container_of((endpoint), struct dw_pcie, ep)
239 
240 int dw_pcie_read(void __iomem *addr, int size, u32 *val);
241 int dw_pcie_write(void __iomem *addr, int size, u32 val);
242 
243 u32 __dw_pcie_read_dbi(struct dw_pcie *pci, void __iomem *base, u32 reg,
244 		       size_t size);
245 void __dw_pcie_write_dbi(struct dw_pcie *pci, void __iomem *base, u32 reg,
246 			 size_t size, u32 val);
247 int dw_pcie_link_up(struct dw_pcie *pci);
248 int dw_pcie_wait_for_link(struct dw_pcie *pci);
249 void dw_pcie_prog_outbound_atu(struct dw_pcie *pci, int index,
250 			       int type, u64 cpu_addr, u64 pci_addr,
251 			       u32 size);
252 int dw_pcie_prog_inbound_atu(struct dw_pcie *pci, int index, int bar,
253 			     u64 cpu_addr, enum dw_pcie_as_type as_type);
254 void dw_pcie_disable_atu(struct dw_pcie *pci, int index,
255 			 enum dw_pcie_region_type type);
256 void dw_pcie_setup(struct dw_pcie *pci);
257 
258 static inline void dw_pcie_writel_dbi(struct dw_pcie *pci, u32 reg, u32 val)
259 {
260 	__dw_pcie_write_dbi(pci, pci->dbi_base, reg, 0x4, val);
261 }
262 
263 static inline u32 dw_pcie_readl_dbi(struct dw_pcie *pci, u32 reg)
264 {
265 	return __dw_pcie_read_dbi(pci, pci->dbi_base, reg, 0x4);
266 }
267 
268 static inline void dw_pcie_writew_dbi(struct dw_pcie *pci, u32 reg, u16 val)
269 {
270 	__dw_pcie_write_dbi(pci, pci->dbi_base, reg, 0x2, val);
271 }
272 
273 static inline u16 dw_pcie_readw_dbi(struct dw_pcie *pci, u32 reg)
274 {
275 	return __dw_pcie_read_dbi(pci, pci->dbi_base, reg, 0x2);
276 }
277 
278 static inline void dw_pcie_writeb_dbi(struct dw_pcie *pci, u32 reg, u8 val)
279 {
280 	__dw_pcie_write_dbi(pci, pci->dbi_base, reg, 0x1, val);
281 }
282 
283 static inline u8 dw_pcie_readb_dbi(struct dw_pcie *pci, u32 reg)
284 {
285 	return __dw_pcie_read_dbi(pci, pci->dbi_base, reg, 0x1);
286 }
287 
288 static inline void dw_pcie_writel_dbi2(struct dw_pcie *pci, u32 reg, u32 val)
289 {
290 	__dw_pcie_write_dbi(pci, pci->dbi_base2, reg, 0x4, val);
291 }
292 
293 static inline u32 dw_pcie_readl_dbi2(struct dw_pcie *pci, u32 reg)
294 {
295 	return __dw_pcie_read_dbi(pci, pci->dbi_base2, reg, 0x4);
296 }
297 
298 static inline void dw_pcie_dbi_ro_wr_en(struct dw_pcie *pci)
299 {
300 	u32 reg;
301 	u32 val;
302 
303 	reg = PCIE_MISC_CONTROL_1_OFF;
304 	val = dw_pcie_readl_dbi(pci, reg);
305 	val |= PCIE_DBI_RO_WR_EN;
306 	dw_pcie_writel_dbi(pci, reg, val);
307 }
308 
309 static inline void dw_pcie_dbi_ro_wr_dis(struct dw_pcie *pci)
310 {
311 	u32 reg;
312 	u32 val;
313 
314 	reg = PCIE_MISC_CONTROL_1_OFF;
315 	val = dw_pcie_readl_dbi(pci, reg);
316 	val &= ~PCIE_DBI_RO_WR_EN;
317 	dw_pcie_writel_dbi(pci, reg, val);
318 }
319 
320 #ifdef CONFIG_PCIE_DW_HOST
321 irqreturn_t dw_handle_msi_irq(struct pcie_port *pp);
322 void dw_pcie_msi_init(struct pcie_port *pp);
323 void dw_pcie_free_msi(struct pcie_port *pp);
324 void dw_pcie_setup_rc(struct pcie_port *pp);
325 int dw_pcie_host_init(struct pcie_port *pp);
326 int dw_pcie_allocate_domains(struct pcie_port *pp);
327 #else
328 static inline irqreturn_t dw_handle_msi_irq(struct pcie_port *pp)
329 {
330 	return IRQ_NONE;
331 }
332 
333 static inline void dw_pcie_msi_init(struct pcie_port *pp)
334 {
335 }
336 
337 static inline void dw_pcie_free_msi(struct pcie_port *pp)
338 {
339 }
340 
341 static inline void dw_pcie_setup_rc(struct pcie_port *pp)
342 {
343 }
344 
345 static inline int dw_pcie_host_init(struct pcie_port *pp)
346 {
347 	return 0;
348 }
349 
350 static inline int dw_pcie_allocate_domains(struct pcie_port *pp)
351 {
352 	return 0;
353 }
354 #endif
355 
356 #ifdef CONFIG_PCIE_DW_EP
357 void dw_pcie_ep_linkup(struct dw_pcie_ep *ep);
358 int dw_pcie_ep_init(struct dw_pcie_ep *ep);
359 void dw_pcie_ep_exit(struct dw_pcie_ep *ep);
360 int dw_pcie_ep_raise_msi_irq(struct dw_pcie_ep *ep, u8 func_no,
361 			     u8 interrupt_num);
362 void dw_pcie_ep_reset_bar(struct dw_pcie *pci, enum pci_barno bar);
363 #else
364 static inline void dw_pcie_ep_linkup(struct dw_pcie_ep *ep)
365 {
366 }
367 
368 static inline int dw_pcie_ep_init(struct dw_pcie_ep *ep)
369 {
370 	return 0;
371 }
372 
373 static inline void dw_pcie_ep_exit(struct dw_pcie_ep *ep)
374 {
375 }
376 
377 static inline int dw_pcie_ep_raise_msi_irq(struct dw_pcie_ep *ep, u8 func_no,
378 					   u8 interrupt_num)
379 {
380 	return 0;
381 }
382 
383 static inline void dw_pcie_ep_reset_bar(struct dw_pcie *pci, enum pci_barno bar)
384 {
385 }
386 #endif
387 #endif /* _PCIE_DESIGNWARE_H */
388