1 /* SPDX-License-Identifier: GPL-2.0 */
2 /*
3  * Synopsys DesignWare PCIe host controller driver
4  *
5  * Copyright (C) 2013 Samsung Electronics Co., Ltd.
6  *		http://www.samsung.com
7  *
8  * Author: Jingoo Han <jg1.han@samsung.com>
9  */
10 
11 #ifndef _PCIE_DESIGNWARE_H
12 #define _PCIE_DESIGNWARE_H
13 
14 #include <linux/bitfield.h>
15 #include <linux/dma-mapping.h>
16 #include <linux/irq.h>
17 #include <linux/msi.h>
18 #include <linux/pci.h>
19 
20 #include <linux/pci-epc.h>
21 #include <linux/pci-epf.h>
22 
23 /* Parameters for the waiting for link up routine */
24 #define LINK_WAIT_MAX_RETRIES		10
25 #define LINK_WAIT_USLEEP_MIN		90000
26 #define LINK_WAIT_USLEEP_MAX		100000
27 
28 /* Parameters for the waiting for iATU enabled routine */
29 #define LINK_WAIT_MAX_IATU_RETRIES	5
30 #define LINK_WAIT_IATU			9
31 
32 /* Synopsys-specific PCIe configuration registers */
33 #define PCIE_PORT_LINK_CONTROL		0x710
34 #define PORT_LINK_MODE_MASK		GENMASK(21, 16)
35 #define PORT_LINK_MODE(n)		FIELD_PREP(PORT_LINK_MODE_MASK, n)
36 #define PORT_LINK_MODE_1_LANES		PORT_LINK_MODE(0x1)
37 #define PORT_LINK_MODE_2_LANES		PORT_LINK_MODE(0x3)
38 #define PORT_LINK_MODE_4_LANES		PORT_LINK_MODE(0x7)
39 #define PORT_LINK_MODE_8_LANES		PORT_LINK_MODE(0xf)
40 
41 #define PCIE_PORT_DEBUG0		0x728
42 #define PORT_LOGIC_LTSSM_STATE_MASK	0x1f
43 #define PORT_LOGIC_LTSSM_STATE_L0	0x11
44 #define PCIE_PORT_DEBUG1		0x72C
45 #define PCIE_PORT_DEBUG1_LINK_UP		BIT(4)
46 #define PCIE_PORT_DEBUG1_LINK_IN_TRAINING	BIT(29)
47 
48 #define PCIE_LINK_WIDTH_SPEED_CONTROL	0x80C
49 #define PORT_LOGIC_SPEED_CHANGE		BIT(17)
50 #define PORT_LOGIC_LINK_WIDTH_MASK	GENMASK(12, 8)
51 #define PORT_LOGIC_LINK_WIDTH(n)	FIELD_PREP(PORT_LOGIC_LINK_WIDTH_MASK, n)
52 #define PORT_LOGIC_LINK_WIDTH_1_LANES	PORT_LOGIC_LINK_WIDTH(0x1)
53 #define PORT_LOGIC_LINK_WIDTH_2_LANES	PORT_LOGIC_LINK_WIDTH(0x2)
54 #define PORT_LOGIC_LINK_WIDTH_4_LANES	PORT_LOGIC_LINK_WIDTH(0x4)
55 #define PORT_LOGIC_LINK_WIDTH_8_LANES	PORT_LOGIC_LINK_WIDTH(0x8)
56 
57 #define PCIE_MSI_ADDR_LO		0x820
58 #define PCIE_MSI_ADDR_HI		0x824
59 #define PCIE_MSI_INTR0_ENABLE		0x828
60 #define PCIE_MSI_INTR0_MASK		0x82C
61 #define PCIE_MSI_INTR0_STATUS		0x830
62 
63 #define PCIE_ATU_VIEWPORT		0x900
64 #define PCIE_ATU_REGION_INBOUND		BIT(31)
65 #define PCIE_ATU_REGION_OUTBOUND	0
66 #define PCIE_ATU_REGION_INDEX2		0x2
67 #define PCIE_ATU_REGION_INDEX1		0x1
68 #define PCIE_ATU_REGION_INDEX0		0x0
69 #define PCIE_ATU_CR1			0x904
70 #define PCIE_ATU_TYPE_MEM		0x0
71 #define PCIE_ATU_TYPE_IO		0x2
72 #define PCIE_ATU_TYPE_CFG0		0x4
73 #define PCIE_ATU_TYPE_CFG1		0x5
74 #define PCIE_ATU_CR2			0x908
75 #define PCIE_ATU_ENABLE			BIT(31)
76 #define PCIE_ATU_BAR_MODE_ENABLE	BIT(30)
77 #define PCIE_ATU_LOWER_BASE		0x90C
78 #define PCIE_ATU_UPPER_BASE		0x910
79 #define PCIE_ATU_LIMIT			0x914
80 #define PCIE_ATU_LOWER_TARGET		0x918
81 #define PCIE_ATU_BUS(x)			FIELD_PREP(GENMASK(31, 24), x)
82 #define PCIE_ATU_DEV(x)			FIELD_PREP(GENMASK(23, 19), x)
83 #define PCIE_ATU_FUNC(x)		FIELD_PREP(GENMASK(18, 16), x)
84 #define PCIE_ATU_UPPER_TARGET		0x91C
85 
86 #define PCIE_MISC_CONTROL_1_OFF		0x8BC
87 #define PCIE_DBI_RO_WR_EN		BIT(0)
88 
89 /*
90  * iATU Unroll-specific register definitions
91  * From 4.80 core version the address translation will be made by unroll
92  */
93 #define PCIE_ATU_UNR_REGION_CTRL1	0x00
94 #define PCIE_ATU_UNR_REGION_CTRL2	0x04
95 #define PCIE_ATU_UNR_LOWER_BASE		0x08
96 #define PCIE_ATU_UNR_UPPER_BASE		0x0C
97 #define PCIE_ATU_UNR_LIMIT		0x10
98 #define PCIE_ATU_UNR_LOWER_TARGET	0x14
99 #define PCIE_ATU_UNR_UPPER_TARGET	0x18
100 
101 /*
102  * The default address offset between dbi_base and atu_base. Root controller
103  * drivers are not required to initialize atu_base if the offset matches this
104  * default; the driver core automatically derives atu_base from dbi_base using
105  * this offset, if atu_base not set.
106  */
107 #define DEFAULT_DBI_ATU_OFFSET (0x3 << 20)
108 
109 /* Register address builder */
110 #define PCIE_GET_ATU_OUTB_UNR_REG_OFFSET(region) \
111 		((region) << 9)
112 
113 #define PCIE_GET_ATU_INB_UNR_REG_OFFSET(region) \
114 		(((region) << 9) | BIT(8))
115 
116 #define MAX_MSI_IRQS			256
117 #define MAX_MSI_IRQS_PER_CTRL		32
118 #define MAX_MSI_CTRLS			(MAX_MSI_IRQS / MAX_MSI_IRQS_PER_CTRL)
119 #define MSI_REG_CTRL_BLOCK_SIZE		12
120 #define MSI_DEF_NUM_VECTORS		32
121 
122 /* Maximum number of inbound/outbound iATUs */
123 #define MAX_IATU_IN			256
124 #define MAX_IATU_OUT			256
125 
126 struct pcie_port;
127 struct dw_pcie;
128 struct dw_pcie_ep;
129 
130 enum dw_pcie_region_type {
131 	DW_PCIE_REGION_UNKNOWN,
132 	DW_PCIE_REGION_INBOUND,
133 	DW_PCIE_REGION_OUTBOUND,
134 };
135 
136 enum dw_pcie_device_mode {
137 	DW_PCIE_UNKNOWN_TYPE,
138 	DW_PCIE_EP_TYPE,
139 	DW_PCIE_LEG_EP_TYPE,
140 	DW_PCIE_RC_TYPE,
141 };
142 
143 struct dw_pcie_host_ops {
144 	int (*rd_own_conf)(struct pcie_port *pp, int where, int size, u32 *val);
145 	int (*wr_own_conf)(struct pcie_port *pp, int where, int size, u32 val);
146 	int (*rd_other_conf)(struct pcie_port *pp, struct pci_bus *bus,
147 			     unsigned int devfn, int where, int size, u32 *val);
148 	int (*wr_other_conf)(struct pcie_port *pp, struct pci_bus *bus,
149 			     unsigned int devfn, int where, int size, u32 val);
150 	int (*host_init)(struct pcie_port *pp);
151 	void (*scan_bus)(struct pcie_port *pp);
152 	void (*set_num_vectors)(struct pcie_port *pp);
153 	int (*msi_host_init)(struct pcie_port *pp);
154 };
155 
156 struct pcie_port {
157 	u8			root_bus_nr;
158 	u64			cfg0_base;
159 	void __iomem		*va_cfg0_base;
160 	u32			cfg0_size;
161 	u64			cfg1_base;
162 	void __iomem		*va_cfg1_base;
163 	u32			cfg1_size;
164 	resource_size_t		io_base;
165 	phys_addr_t		io_bus_addr;
166 	u32			io_size;
167 	u64			mem_base;
168 	phys_addr_t		mem_bus_addr;
169 	u32			mem_size;
170 	struct resource		*cfg;
171 	struct resource		*io;
172 	struct resource		*mem;
173 	struct resource		*busn;
174 	int			irq;
175 	const struct dw_pcie_host_ops *ops;
176 	int			msi_irq;
177 	struct irq_domain	*irq_domain;
178 	struct irq_domain	*msi_domain;
179 	dma_addr_t		msi_data;
180 	struct page		*msi_page;
181 	struct irq_chip		*msi_irq_chip;
182 	u32			num_vectors;
183 	u32			irq_mask[MAX_MSI_CTRLS];
184 	struct pci_bus		*root_bus;
185 	raw_spinlock_t		lock;
186 	DECLARE_BITMAP(msi_irq_in_use, MAX_MSI_IRQS);
187 };
188 
189 enum dw_pcie_as_type {
190 	DW_PCIE_AS_UNKNOWN,
191 	DW_PCIE_AS_MEM,
192 	DW_PCIE_AS_IO,
193 };
194 
195 struct dw_pcie_ep_ops {
196 	void	(*ep_init)(struct dw_pcie_ep *ep);
197 	int	(*raise_irq)(struct dw_pcie_ep *ep, u8 func_no,
198 			     enum pci_epc_irq_type type, u16 interrupt_num);
199 	const struct pci_epc_features* (*get_features)(struct dw_pcie_ep *ep);
200 };
201 
202 struct dw_pcie_ep {
203 	struct pci_epc		*epc;
204 	const struct dw_pcie_ep_ops *ops;
205 	phys_addr_t		phys_base;
206 	size_t			addr_size;
207 	size_t			page_size;
208 	u8			bar_to_atu[6];
209 	phys_addr_t		*outbound_addr;
210 	unsigned long		*ib_window_map;
211 	unsigned long		*ob_window_map;
212 	u32			num_ib_windows;
213 	u32			num_ob_windows;
214 	void __iomem		*msi_mem;
215 	phys_addr_t		msi_mem_phys;
216 	u8			msi_cap;	/* MSI capability offset */
217 	u8			msix_cap;	/* MSI-X capability offset */
218 };
219 
220 struct dw_pcie_ops {
221 	u64	(*cpu_addr_fixup)(struct dw_pcie *pcie, u64 cpu_addr);
222 	u32	(*read_dbi)(struct dw_pcie *pcie, void __iomem *base, u32 reg,
223 			    size_t size);
224 	void	(*write_dbi)(struct dw_pcie *pcie, void __iomem *base, u32 reg,
225 			     size_t size, u32 val);
226 	u32     (*read_dbi2)(struct dw_pcie *pcie, void __iomem *base, u32 reg,
227 			     size_t size);
228 	void    (*write_dbi2)(struct dw_pcie *pcie, void __iomem *base, u32 reg,
229 			      size_t size, u32 val);
230 	int	(*link_up)(struct dw_pcie *pcie);
231 	int	(*start_link)(struct dw_pcie *pcie);
232 	void	(*stop_link)(struct dw_pcie *pcie);
233 };
234 
235 struct dw_pcie {
236 	struct device		*dev;
237 	void __iomem		*dbi_base;
238 	void __iomem		*dbi_base2;
239 	/* Used when iatu_unroll_enabled is true */
240 	void __iomem		*atu_base;
241 	u32			num_viewport;
242 	u8			iatu_unroll_enabled;
243 	struct pcie_port	pp;
244 	struct dw_pcie_ep	ep;
245 	const struct dw_pcie_ops *ops;
246 	unsigned int		version;
247 };
248 
249 #define to_dw_pcie_from_pp(port) container_of((port), struct dw_pcie, pp)
250 
251 #define to_dw_pcie_from_ep(endpoint)   \
252 		container_of((endpoint), struct dw_pcie, ep)
253 
254 int dw_pcie_read(void __iomem *addr, int size, u32 *val);
255 int dw_pcie_write(void __iomem *addr, int size, u32 val);
256 
257 u32 dw_pcie_read_dbi(struct dw_pcie *pci, u32 reg, size_t size);
258 void dw_pcie_write_dbi(struct dw_pcie *pci, u32 reg, size_t size, u32 val);
259 u32 dw_pcie_read_dbi2(struct dw_pcie *pci, u32 reg, size_t size);
260 void dw_pcie_write_dbi2(struct dw_pcie *pci, u32 reg, size_t size, u32 val);
261 u32 dw_pcie_read_atu(struct dw_pcie *pci, u32 reg, size_t size);
262 void dw_pcie_write_atu(struct dw_pcie *pci, u32 reg, size_t size, u32 val);
263 int dw_pcie_link_up(struct dw_pcie *pci);
264 int dw_pcie_wait_for_link(struct dw_pcie *pci);
265 void dw_pcie_prog_outbound_atu(struct dw_pcie *pci, int index,
266 			       int type, u64 cpu_addr, u64 pci_addr,
267 			       u32 size);
268 int dw_pcie_prog_inbound_atu(struct dw_pcie *pci, int index, int bar,
269 			     u64 cpu_addr, enum dw_pcie_as_type as_type);
270 void dw_pcie_disable_atu(struct dw_pcie *pci, int index,
271 			 enum dw_pcie_region_type type);
272 void dw_pcie_setup(struct dw_pcie *pci);
273 
274 static inline void dw_pcie_writel_dbi(struct dw_pcie *pci, u32 reg, u32 val)
275 {
276 	dw_pcie_write_dbi(pci, reg, 0x4, val);
277 }
278 
279 static inline u32 dw_pcie_readl_dbi(struct dw_pcie *pci, u32 reg)
280 {
281 	return dw_pcie_read_dbi(pci, reg, 0x4);
282 }
283 
284 static inline void dw_pcie_writew_dbi(struct dw_pcie *pci, u32 reg, u16 val)
285 {
286 	dw_pcie_write_dbi(pci, reg, 0x2, val);
287 }
288 
289 static inline u16 dw_pcie_readw_dbi(struct dw_pcie *pci, u32 reg)
290 {
291 	return dw_pcie_read_dbi(pci, reg, 0x2);
292 }
293 
294 static inline void dw_pcie_writeb_dbi(struct dw_pcie *pci, u32 reg, u8 val)
295 {
296 	dw_pcie_write_dbi(pci, reg, 0x1, val);
297 }
298 
299 static inline u8 dw_pcie_readb_dbi(struct dw_pcie *pci, u32 reg)
300 {
301 	return dw_pcie_read_dbi(pci, reg, 0x1);
302 }
303 
304 static inline void dw_pcie_writel_dbi2(struct dw_pcie *pci, u32 reg, u32 val)
305 {
306 	dw_pcie_write_dbi2(pci, reg, 0x4, val);
307 }
308 
309 static inline u32 dw_pcie_readl_dbi2(struct dw_pcie *pci, u32 reg)
310 {
311 	return dw_pcie_read_dbi2(pci, reg, 0x4);
312 }
313 
314 static inline void dw_pcie_writel_atu(struct dw_pcie *pci, u32 reg, u32 val)
315 {
316 	dw_pcie_write_atu(pci, reg, 0x4, val);
317 }
318 
319 static inline u32 dw_pcie_readl_atu(struct dw_pcie *pci, u32 reg)
320 {
321 	return dw_pcie_read_atu(pci, reg, 0x4);
322 }
323 
324 static inline void dw_pcie_dbi_ro_wr_en(struct dw_pcie *pci)
325 {
326 	u32 reg;
327 	u32 val;
328 
329 	reg = PCIE_MISC_CONTROL_1_OFF;
330 	val = dw_pcie_readl_dbi(pci, reg);
331 	val |= PCIE_DBI_RO_WR_EN;
332 	dw_pcie_writel_dbi(pci, reg, val);
333 }
334 
335 static inline void dw_pcie_dbi_ro_wr_dis(struct dw_pcie *pci)
336 {
337 	u32 reg;
338 	u32 val;
339 
340 	reg = PCIE_MISC_CONTROL_1_OFF;
341 	val = dw_pcie_readl_dbi(pci, reg);
342 	val &= ~PCIE_DBI_RO_WR_EN;
343 	dw_pcie_writel_dbi(pci, reg, val);
344 }
345 
346 #ifdef CONFIG_PCIE_DW_HOST
347 irqreturn_t dw_handle_msi_irq(struct pcie_port *pp);
348 void dw_pcie_msi_init(struct pcie_port *pp);
349 void dw_pcie_free_msi(struct pcie_port *pp);
350 void dw_pcie_setup_rc(struct pcie_port *pp);
351 int dw_pcie_host_init(struct pcie_port *pp);
352 void dw_pcie_host_deinit(struct pcie_port *pp);
353 int dw_pcie_allocate_domains(struct pcie_port *pp);
354 #else
355 static inline irqreturn_t dw_handle_msi_irq(struct pcie_port *pp)
356 {
357 	return IRQ_NONE;
358 }
359 
360 static inline void dw_pcie_msi_init(struct pcie_port *pp)
361 {
362 }
363 
364 static inline void dw_pcie_free_msi(struct pcie_port *pp)
365 {
366 }
367 
368 static inline void dw_pcie_setup_rc(struct pcie_port *pp)
369 {
370 }
371 
372 static inline int dw_pcie_host_init(struct pcie_port *pp)
373 {
374 	return 0;
375 }
376 
377 static inline void dw_pcie_host_deinit(struct pcie_port *pp)
378 {
379 }
380 
381 static inline int dw_pcie_allocate_domains(struct pcie_port *pp)
382 {
383 	return 0;
384 }
385 #endif
386 
387 #ifdef CONFIG_PCIE_DW_EP
388 void dw_pcie_ep_linkup(struct dw_pcie_ep *ep);
389 int dw_pcie_ep_init(struct dw_pcie_ep *ep);
390 void dw_pcie_ep_exit(struct dw_pcie_ep *ep);
391 int dw_pcie_ep_raise_legacy_irq(struct dw_pcie_ep *ep, u8 func_no);
392 int dw_pcie_ep_raise_msi_irq(struct dw_pcie_ep *ep, u8 func_no,
393 			     u8 interrupt_num);
394 int dw_pcie_ep_raise_msix_irq(struct dw_pcie_ep *ep, u8 func_no,
395 			     u16 interrupt_num);
396 void dw_pcie_ep_reset_bar(struct dw_pcie *pci, enum pci_barno bar);
397 #else
398 static inline void dw_pcie_ep_linkup(struct dw_pcie_ep *ep)
399 {
400 }
401 
402 static inline int dw_pcie_ep_init(struct dw_pcie_ep *ep)
403 {
404 	return 0;
405 }
406 
407 static inline void dw_pcie_ep_exit(struct dw_pcie_ep *ep)
408 {
409 }
410 
411 static inline int dw_pcie_ep_raise_legacy_irq(struct dw_pcie_ep *ep, u8 func_no)
412 {
413 	return 0;
414 }
415 
416 static inline int dw_pcie_ep_raise_msi_irq(struct dw_pcie_ep *ep, u8 func_no,
417 					   u8 interrupt_num)
418 {
419 	return 0;
420 }
421 
422 static inline int dw_pcie_ep_raise_msix_irq(struct dw_pcie_ep *ep, u8 func_no,
423 					   u16 interrupt_num)
424 {
425 	return 0;
426 }
427 
428 static inline void dw_pcie_ep_reset_bar(struct dw_pcie *pci, enum pci_barno bar)
429 {
430 }
431 #endif
432 #endif /* _PCIE_DESIGNWARE_H */
433