1 /* SPDX-License-Identifier: GPL-2.0 */
2 /*
3  * Synopsys DesignWare PCIe host controller driver
4  *
5  * Copyright (C) 2013 Samsung Electronics Co., Ltd.
6  *		https://www.samsung.com
7  *
8  * Author: Jingoo Han <jg1.han@samsung.com>
9  */
10 
11 #ifndef _PCIE_DESIGNWARE_H
12 #define _PCIE_DESIGNWARE_H
13 
14 #include <linux/bitfield.h>
15 #include <linux/dma-mapping.h>
16 #include <linux/irq.h>
17 #include <linux/msi.h>
18 #include <linux/pci.h>
19 
20 #include <linux/pci-epc.h>
21 #include <linux/pci-epf.h>
22 
23 /* Parameters for the waiting for link up routine */
24 #define LINK_WAIT_MAX_RETRIES		10
25 #define LINK_WAIT_USLEEP_MIN		90000
26 #define LINK_WAIT_USLEEP_MAX		100000
27 
28 /* Parameters for the waiting for iATU enabled routine */
29 #define LINK_WAIT_MAX_IATU_RETRIES	5
30 #define LINK_WAIT_IATU			9
31 
32 /* Synopsys-specific PCIe configuration registers */
33 #define PCIE_PORT_AFR			0x70C
34 #define PORT_AFR_N_FTS_MASK		GENMASK(15, 8)
35 #define PORT_AFR_CC_N_FTS_MASK		GENMASK(23, 16)
36 
37 #define PCIE_PORT_LINK_CONTROL		0x710
38 #define PORT_LINK_DLL_LINK_EN		BIT(5)
39 #define PORT_LINK_MODE_MASK		GENMASK(21, 16)
40 #define PORT_LINK_MODE(n)		FIELD_PREP(PORT_LINK_MODE_MASK, n)
41 #define PORT_LINK_MODE_1_LANES		PORT_LINK_MODE(0x1)
42 #define PORT_LINK_MODE_2_LANES		PORT_LINK_MODE(0x3)
43 #define PORT_LINK_MODE_4_LANES		PORT_LINK_MODE(0x7)
44 #define PORT_LINK_MODE_8_LANES		PORT_LINK_MODE(0xf)
45 
46 #define PCIE_PORT_DEBUG0		0x728
47 #define PORT_LOGIC_LTSSM_STATE_MASK	0x1f
48 #define PORT_LOGIC_LTSSM_STATE_L0	0x11
49 #define PCIE_PORT_DEBUG1		0x72C
50 #define PCIE_PORT_DEBUG1_LINK_UP		BIT(4)
51 #define PCIE_PORT_DEBUG1_LINK_IN_TRAINING	BIT(29)
52 
53 #define PCIE_LINK_WIDTH_SPEED_CONTROL	0x80C
54 #define PORT_LOGIC_N_FTS_MASK		GENMASK(7, 0)
55 #define PORT_LOGIC_SPEED_CHANGE		BIT(17)
56 #define PORT_LOGIC_LINK_WIDTH_MASK	GENMASK(12, 8)
57 #define PORT_LOGIC_LINK_WIDTH(n)	FIELD_PREP(PORT_LOGIC_LINK_WIDTH_MASK, n)
58 #define PORT_LOGIC_LINK_WIDTH_1_LANES	PORT_LOGIC_LINK_WIDTH(0x1)
59 #define PORT_LOGIC_LINK_WIDTH_2_LANES	PORT_LOGIC_LINK_WIDTH(0x2)
60 #define PORT_LOGIC_LINK_WIDTH_4_LANES	PORT_LOGIC_LINK_WIDTH(0x4)
61 #define PORT_LOGIC_LINK_WIDTH_8_LANES	PORT_LOGIC_LINK_WIDTH(0x8)
62 
63 #define PCIE_MSI_ADDR_LO		0x820
64 #define PCIE_MSI_ADDR_HI		0x824
65 #define PCIE_MSI_INTR0_ENABLE		0x828
66 #define PCIE_MSI_INTR0_MASK		0x82C
67 #define PCIE_MSI_INTR0_STATUS		0x830
68 
69 #define PCIE_PORT_MULTI_LANE_CTRL	0x8C0
70 #define PORT_MLTI_UPCFG_SUPPORT		BIT(7)
71 
72 #define PCIE_ATU_VIEWPORT		0x900
73 #define PCIE_ATU_REGION_INBOUND		BIT(31)
74 #define PCIE_ATU_REGION_OUTBOUND	0
75 #define PCIE_ATU_REGION_INDEX2		0x2
76 #define PCIE_ATU_REGION_INDEX1		0x1
77 #define PCIE_ATU_REGION_INDEX0		0x0
78 #define PCIE_ATU_CR1			0x904
79 #define PCIE_ATU_TYPE_MEM		0x0
80 #define PCIE_ATU_TYPE_IO		0x2
81 #define PCIE_ATU_TYPE_CFG0		0x4
82 #define PCIE_ATU_TYPE_CFG1		0x5
83 #define PCIE_ATU_CR2			0x908
84 #define PCIE_ATU_ENABLE			BIT(31)
85 #define PCIE_ATU_BAR_MODE_ENABLE	BIT(30)
86 #define PCIE_ATU_LOWER_BASE		0x90C
87 #define PCIE_ATU_UPPER_BASE		0x910
88 #define PCIE_ATU_LIMIT			0x914
89 #define PCIE_ATU_LOWER_TARGET		0x918
90 #define PCIE_ATU_BUS(x)			FIELD_PREP(GENMASK(31, 24), x)
91 #define PCIE_ATU_DEV(x)			FIELD_PREP(GENMASK(23, 19), x)
92 #define PCIE_ATU_FUNC(x)		FIELD_PREP(GENMASK(18, 16), x)
93 #define PCIE_ATU_UPPER_TARGET		0x91C
94 
95 #define PCIE_MISC_CONTROL_1_OFF		0x8BC
96 #define PCIE_DBI_RO_WR_EN		BIT(0)
97 
98 #define PCIE_PL_CHK_REG_CONTROL_STATUS			0xB20
99 #define PCIE_PL_CHK_REG_CHK_REG_START			BIT(0)
100 #define PCIE_PL_CHK_REG_CHK_REG_CONTINUOUS		BIT(1)
101 #define PCIE_PL_CHK_REG_CHK_REG_COMPARISON_ERROR	BIT(16)
102 #define PCIE_PL_CHK_REG_CHK_REG_LOGIC_ERROR		BIT(17)
103 #define PCIE_PL_CHK_REG_CHK_REG_COMPLETE		BIT(18)
104 
105 #define PCIE_PL_CHK_REG_ERR_ADDR			0xB28
106 
107 /*
108  * iATU Unroll-specific register definitions
109  * From 4.80 core version the address translation will be made by unroll
110  */
111 #define PCIE_ATU_UNR_REGION_CTRL1	0x00
112 #define PCIE_ATU_UNR_REGION_CTRL2	0x04
113 #define PCIE_ATU_UNR_LOWER_BASE		0x08
114 #define PCIE_ATU_UNR_UPPER_BASE		0x0C
115 #define PCIE_ATU_UNR_LOWER_LIMIT	0x10
116 #define PCIE_ATU_UNR_LOWER_TARGET	0x14
117 #define PCIE_ATU_UNR_UPPER_TARGET	0x18
118 #define PCIE_ATU_UNR_UPPER_LIMIT	0x20
119 
120 /*
121  * The default address offset between dbi_base and atu_base. Root controller
122  * drivers are not required to initialize atu_base if the offset matches this
123  * default; the driver core automatically derives atu_base from dbi_base using
124  * this offset, if atu_base not set.
125  */
126 #define DEFAULT_DBI_ATU_OFFSET (0x3 << 20)
127 
128 /* Register address builder */
129 #define PCIE_GET_ATU_OUTB_UNR_REG_OFFSET(region) \
130 		((region) << 9)
131 
132 #define PCIE_GET_ATU_INB_UNR_REG_OFFSET(region) \
133 		(((region) << 9) | BIT(8))
134 
135 #define MAX_MSI_IRQS			256
136 #define MAX_MSI_IRQS_PER_CTRL		32
137 #define MAX_MSI_CTRLS			(MAX_MSI_IRQS / MAX_MSI_IRQS_PER_CTRL)
138 #define MSI_REG_CTRL_BLOCK_SIZE		12
139 #define MSI_DEF_NUM_VECTORS		32
140 
141 /* Maximum number of inbound/outbound iATUs */
142 #define MAX_IATU_IN			256
143 #define MAX_IATU_OUT			256
144 
145 struct pcie_port;
146 struct dw_pcie;
147 struct dw_pcie_ep;
148 
149 enum dw_pcie_region_type {
150 	DW_PCIE_REGION_UNKNOWN,
151 	DW_PCIE_REGION_INBOUND,
152 	DW_PCIE_REGION_OUTBOUND,
153 };
154 
155 enum dw_pcie_device_mode {
156 	DW_PCIE_UNKNOWN_TYPE,
157 	DW_PCIE_EP_TYPE,
158 	DW_PCIE_LEG_EP_TYPE,
159 	DW_PCIE_RC_TYPE,
160 };
161 
162 struct dw_pcie_host_ops {
163 	int (*rd_own_conf)(struct pcie_port *pp, int where, int size, u32 *val);
164 	int (*wr_own_conf)(struct pcie_port *pp, int where, int size, u32 val);
165 	int (*rd_other_conf)(struct pcie_port *pp, struct pci_bus *bus,
166 			     unsigned int devfn, int where, int size, u32 *val);
167 	int (*wr_other_conf)(struct pcie_port *pp, struct pci_bus *bus,
168 			     unsigned int devfn, int where, int size, u32 val);
169 	int (*host_init)(struct pcie_port *pp);
170 	void (*scan_bus)(struct pcie_port *pp);
171 	void (*set_num_vectors)(struct pcie_port *pp);
172 	int (*msi_host_init)(struct pcie_port *pp);
173 };
174 
175 struct pcie_port {
176 	u64			cfg0_base;
177 	void __iomem		*va_cfg0_base;
178 	u32			cfg0_size;
179 	u64			cfg1_base;
180 	void __iomem		*va_cfg1_base;
181 	u32			cfg1_size;
182 	resource_size_t		io_base;
183 	phys_addr_t		io_bus_addr;
184 	u32			io_size;
185 	u64			mem_base;
186 	phys_addr_t		mem_bus_addr;
187 	u32			mem_size;
188 	struct resource		*cfg;
189 	struct resource		*io;
190 	struct resource		*mem;
191 	struct resource		*busn;
192 	int			irq;
193 	const struct dw_pcie_host_ops *ops;
194 	int			msi_irq;
195 	struct irq_domain	*irq_domain;
196 	struct irq_domain	*msi_domain;
197 	dma_addr_t		msi_data;
198 	struct page		*msi_page;
199 	struct irq_chip		*msi_irq_chip;
200 	u32			num_vectors;
201 	u32			irq_mask[MAX_MSI_CTRLS];
202 	struct pci_bus		*root_bus;
203 	raw_spinlock_t		lock;
204 	DECLARE_BITMAP(msi_irq_in_use, MAX_MSI_IRQS);
205 };
206 
207 enum dw_pcie_as_type {
208 	DW_PCIE_AS_UNKNOWN,
209 	DW_PCIE_AS_MEM,
210 	DW_PCIE_AS_IO,
211 };
212 
213 struct dw_pcie_ep_ops {
214 	void	(*ep_init)(struct dw_pcie_ep *ep);
215 	int	(*raise_irq)(struct dw_pcie_ep *ep, u8 func_no,
216 			     enum pci_epc_irq_type type, u16 interrupt_num);
217 	const struct pci_epc_features* (*get_features)(struct dw_pcie_ep *ep);
218 };
219 
220 struct dw_pcie_ep {
221 	struct pci_epc		*epc;
222 	const struct dw_pcie_ep_ops *ops;
223 	phys_addr_t		phys_base;
224 	size_t			addr_size;
225 	size_t			page_size;
226 	u8			bar_to_atu[PCI_STD_NUM_BARS];
227 	phys_addr_t		*outbound_addr;
228 	unsigned long		*ib_window_map;
229 	unsigned long		*ob_window_map;
230 	u32			num_ib_windows;
231 	u32			num_ob_windows;
232 	void __iomem		*msi_mem;
233 	phys_addr_t		msi_mem_phys;
234 	u8			msi_cap;	/* MSI capability offset */
235 	u8			msix_cap;	/* MSI-X capability offset */
236 	struct pci_epf_bar	*epf_bar[PCI_STD_NUM_BARS];
237 };
238 
239 struct dw_pcie_ops {
240 	u64	(*cpu_addr_fixup)(struct dw_pcie *pcie, u64 cpu_addr);
241 	u32	(*read_dbi)(struct dw_pcie *pcie, void __iomem *base, u32 reg,
242 			    size_t size);
243 	void	(*write_dbi)(struct dw_pcie *pcie, void __iomem *base, u32 reg,
244 			     size_t size, u32 val);
245 	u32     (*read_dbi2)(struct dw_pcie *pcie, void __iomem *base, u32 reg,
246 			     size_t size);
247 	void    (*write_dbi2)(struct dw_pcie *pcie, void __iomem *base, u32 reg,
248 			      size_t size, u32 val);
249 	int	(*link_up)(struct dw_pcie *pcie);
250 	int	(*start_link)(struct dw_pcie *pcie);
251 	void	(*stop_link)(struct dw_pcie *pcie);
252 };
253 
254 struct dw_pcie {
255 	struct device		*dev;
256 	void __iomem		*dbi_base;
257 	void __iomem		*dbi_base2;
258 	/* Used when iatu_unroll_enabled is true */
259 	void __iomem		*atu_base;
260 	u32			num_viewport;
261 	u8			iatu_unroll_enabled;
262 	struct pcie_port	pp;
263 	struct dw_pcie_ep	ep;
264 	const struct dw_pcie_ops *ops;
265 	unsigned int		version;
266 };
267 
268 #define to_dw_pcie_from_pp(port) container_of((port), struct dw_pcie, pp)
269 
270 #define to_dw_pcie_from_ep(endpoint)   \
271 		container_of((endpoint), struct dw_pcie, ep)
272 
273 u8 dw_pcie_find_capability(struct dw_pcie *pci, u8 cap);
274 u16 dw_pcie_find_ext_capability(struct dw_pcie *pci, u8 cap);
275 
276 int dw_pcie_read(void __iomem *addr, int size, u32 *val);
277 int dw_pcie_write(void __iomem *addr, int size, u32 val);
278 
279 u32 dw_pcie_read_dbi(struct dw_pcie *pci, u32 reg, size_t size);
280 void dw_pcie_write_dbi(struct dw_pcie *pci, u32 reg, size_t size, u32 val);
281 u32 dw_pcie_read_dbi2(struct dw_pcie *pci, u32 reg, size_t size);
282 void dw_pcie_write_dbi2(struct dw_pcie *pci, u32 reg, size_t size, u32 val);
283 u32 dw_pcie_read_atu(struct dw_pcie *pci, u32 reg, size_t size);
284 void dw_pcie_write_atu(struct dw_pcie *pci, u32 reg, size_t size, u32 val);
285 int dw_pcie_link_up(struct dw_pcie *pci);
286 void dw_pcie_upconfig_setup(struct dw_pcie *pci);
287 void dw_pcie_link_set_max_speed(struct dw_pcie *pci, u32 link_gen);
288 void dw_pcie_link_set_n_fts(struct dw_pcie *pci, u32 n_fts);
289 int dw_pcie_wait_for_link(struct dw_pcie *pci);
290 void dw_pcie_prog_outbound_atu(struct dw_pcie *pci, int index,
291 			       int type, u64 cpu_addr, u64 pci_addr,
292 			       u32 size);
293 int dw_pcie_prog_inbound_atu(struct dw_pcie *pci, int index, int bar,
294 			     u64 cpu_addr, enum dw_pcie_as_type as_type);
295 void dw_pcie_disable_atu(struct dw_pcie *pci, int index,
296 			 enum dw_pcie_region_type type);
297 void dw_pcie_setup(struct dw_pcie *pci);
298 
299 static inline void dw_pcie_writel_dbi(struct dw_pcie *pci, u32 reg, u32 val)
300 {
301 	dw_pcie_write_dbi(pci, reg, 0x4, val);
302 }
303 
304 static inline u32 dw_pcie_readl_dbi(struct dw_pcie *pci, u32 reg)
305 {
306 	return dw_pcie_read_dbi(pci, reg, 0x4);
307 }
308 
309 static inline void dw_pcie_writew_dbi(struct dw_pcie *pci, u32 reg, u16 val)
310 {
311 	dw_pcie_write_dbi(pci, reg, 0x2, val);
312 }
313 
314 static inline u16 dw_pcie_readw_dbi(struct dw_pcie *pci, u32 reg)
315 {
316 	return dw_pcie_read_dbi(pci, reg, 0x2);
317 }
318 
319 static inline void dw_pcie_writeb_dbi(struct dw_pcie *pci, u32 reg, u8 val)
320 {
321 	dw_pcie_write_dbi(pci, reg, 0x1, val);
322 }
323 
324 static inline u8 dw_pcie_readb_dbi(struct dw_pcie *pci, u32 reg)
325 {
326 	return dw_pcie_read_dbi(pci, reg, 0x1);
327 }
328 
329 static inline void dw_pcie_writel_dbi2(struct dw_pcie *pci, u32 reg, u32 val)
330 {
331 	dw_pcie_write_dbi2(pci, reg, 0x4, val);
332 }
333 
334 static inline u32 dw_pcie_readl_dbi2(struct dw_pcie *pci, u32 reg)
335 {
336 	return dw_pcie_read_dbi2(pci, reg, 0x4);
337 }
338 
339 static inline void dw_pcie_writel_atu(struct dw_pcie *pci, u32 reg, u32 val)
340 {
341 	dw_pcie_write_atu(pci, reg, 0x4, val);
342 }
343 
344 static inline u32 dw_pcie_readl_atu(struct dw_pcie *pci, u32 reg)
345 {
346 	return dw_pcie_read_atu(pci, reg, 0x4);
347 }
348 
349 static inline void dw_pcie_dbi_ro_wr_en(struct dw_pcie *pci)
350 {
351 	u32 reg;
352 	u32 val;
353 
354 	reg = PCIE_MISC_CONTROL_1_OFF;
355 	val = dw_pcie_readl_dbi(pci, reg);
356 	val |= PCIE_DBI_RO_WR_EN;
357 	dw_pcie_writel_dbi(pci, reg, val);
358 }
359 
360 static inline void dw_pcie_dbi_ro_wr_dis(struct dw_pcie *pci)
361 {
362 	u32 reg;
363 	u32 val;
364 
365 	reg = PCIE_MISC_CONTROL_1_OFF;
366 	val = dw_pcie_readl_dbi(pci, reg);
367 	val &= ~PCIE_DBI_RO_WR_EN;
368 	dw_pcie_writel_dbi(pci, reg, val);
369 }
370 
371 #ifdef CONFIG_PCIE_DW_HOST
372 irqreturn_t dw_handle_msi_irq(struct pcie_port *pp);
373 void dw_pcie_msi_init(struct pcie_port *pp);
374 void dw_pcie_free_msi(struct pcie_port *pp);
375 void dw_pcie_setup_rc(struct pcie_port *pp);
376 int dw_pcie_host_init(struct pcie_port *pp);
377 void dw_pcie_host_deinit(struct pcie_port *pp);
378 int dw_pcie_allocate_domains(struct pcie_port *pp);
379 #else
380 static inline irqreturn_t dw_handle_msi_irq(struct pcie_port *pp)
381 {
382 	return IRQ_NONE;
383 }
384 
385 static inline void dw_pcie_msi_init(struct pcie_port *pp)
386 {
387 }
388 
389 static inline void dw_pcie_free_msi(struct pcie_port *pp)
390 {
391 }
392 
393 static inline void dw_pcie_setup_rc(struct pcie_port *pp)
394 {
395 }
396 
397 static inline int dw_pcie_host_init(struct pcie_port *pp)
398 {
399 	return 0;
400 }
401 
402 static inline void dw_pcie_host_deinit(struct pcie_port *pp)
403 {
404 }
405 
406 static inline int dw_pcie_allocate_domains(struct pcie_port *pp)
407 {
408 	return 0;
409 }
410 #endif
411 
412 #ifdef CONFIG_PCIE_DW_EP
413 void dw_pcie_ep_linkup(struct dw_pcie_ep *ep);
414 int dw_pcie_ep_init(struct dw_pcie_ep *ep);
415 int dw_pcie_ep_init_complete(struct dw_pcie_ep *ep);
416 void dw_pcie_ep_init_notify(struct dw_pcie_ep *ep);
417 void dw_pcie_ep_exit(struct dw_pcie_ep *ep);
418 int dw_pcie_ep_raise_legacy_irq(struct dw_pcie_ep *ep, u8 func_no);
419 int dw_pcie_ep_raise_msi_irq(struct dw_pcie_ep *ep, u8 func_no,
420 			     u8 interrupt_num);
421 int dw_pcie_ep_raise_msix_irq(struct dw_pcie_ep *ep, u8 func_no,
422 			     u16 interrupt_num);
423 void dw_pcie_ep_reset_bar(struct dw_pcie *pci, enum pci_barno bar);
424 #else
425 static inline void dw_pcie_ep_linkup(struct dw_pcie_ep *ep)
426 {
427 }
428 
429 static inline int dw_pcie_ep_init(struct dw_pcie_ep *ep)
430 {
431 	return 0;
432 }
433 
434 static inline int dw_pcie_ep_init_complete(struct dw_pcie_ep *ep)
435 {
436 	return 0;
437 }
438 
439 static inline void dw_pcie_ep_init_notify(struct dw_pcie_ep *ep)
440 {
441 }
442 
443 static inline void dw_pcie_ep_exit(struct dw_pcie_ep *ep)
444 {
445 }
446 
447 static inline int dw_pcie_ep_raise_legacy_irq(struct dw_pcie_ep *ep, u8 func_no)
448 {
449 	return 0;
450 }
451 
452 static inline int dw_pcie_ep_raise_msi_irq(struct dw_pcie_ep *ep, u8 func_no,
453 					   u8 interrupt_num)
454 {
455 	return 0;
456 }
457 
458 static inline int dw_pcie_ep_raise_msix_irq(struct dw_pcie_ep *ep, u8 func_no,
459 					   u16 interrupt_num)
460 {
461 	return 0;
462 }
463 
464 static inline void dw_pcie_ep_reset_bar(struct dw_pcie *pci, enum pci_barno bar)
465 {
466 }
467 #endif
468 #endif /* _PCIE_DESIGNWARE_H */
469