1 /* SPDX-License-Identifier: GPL-2.0 */
2 /*
3  * Synopsys DesignWare PCIe host controller driver
4  *
5  * Copyright (C) 2013 Samsung Electronics Co., Ltd.
6  *		http://www.samsung.com
7  *
8  * Author: Jingoo Han <jg1.han@samsung.com>
9  */
10 
11 #ifndef _PCIE_DESIGNWARE_H
12 #define _PCIE_DESIGNWARE_H
13 
14 #include <linux/bitfield.h>
15 #include <linux/dma-mapping.h>
16 #include <linux/irq.h>
17 #include <linux/msi.h>
18 #include <linux/pci.h>
19 
20 #include <linux/pci-epc.h>
21 #include <linux/pci-epf.h>
22 
23 /* Parameters for the waiting for link up routine */
24 #define LINK_WAIT_MAX_RETRIES		10
25 #define LINK_WAIT_USLEEP_MIN		90000
26 #define LINK_WAIT_USLEEP_MAX		100000
27 
28 /* Parameters for the waiting for iATU enabled routine */
29 #define LINK_WAIT_MAX_IATU_RETRIES	5
30 #define LINK_WAIT_IATU			9
31 
32 /* Synopsys-specific PCIe configuration registers */
33 #define PCIE_PORT_LINK_CONTROL		0x710
34 #define PORT_LINK_MODE_MASK		GENMASK(21, 16)
35 #define PORT_LINK_MODE(n)		FIELD_PREP(PORT_LINK_MODE_MASK, n)
36 #define PORT_LINK_MODE_1_LANES		PORT_LINK_MODE(0x1)
37 #define PORT_LINK_MODE_2_LANES		PORT_LINK_MODE(0x3)
38 #define PORT_LINK_MODE_4_LANES		PORT_LINK_MODE(0x7)
39 #define PORT_LINK_MODE_8_LANES		PORT_LINK_MODE(0xf)
40 
41 #define PCIE_PORT_DEBUG0		0x728
42 #define PORT_LOGIC_LTSSM_STATE_MASK	0x1f
43 #define PORT_LOGIC_LTSSM_STATE_L0	0x11
44 #define PCIE_PORT_DEBUG1		0x72C
45 #define PCIE_PORT_DEBUG1_LINK_UP		BIT(4)
46 #define PCIE_PORT_DEBUG1_LINK_IN_TRAINING	BIT(29)
47 
48 #define PCIE_LINK_WIDTH_SPEED_CONTROL	0x80C
49 #define PORT_LOGIC_SPEED_CHANGE		BIT(17)
50 #define PORT_LOGIC_LINK_WIDTH_MASK	GENMASK(12, 8)
51 #define PORT_LOGIC_LINK_WIDTH(n)	FIELD_PREP(PORT_LOGIC_LINK_WIDTH_MASK, n)
52 #define PORT_LOGIC_LINK_WIDTH_1_LANES	PORT_LOGIC_LINK_WIDTH(0x1)
53 #define PORT_LOGIC_LINK_WIDTH_2_LANES	PORT_LOGIC_LINK_WIDTH(0x2)
54 #define PORT_LOGIC_LINK_WIDTH_4_LANES	PORT_LOGIC_LINK_WIDTH(0x4)
55 #define PORT_LOGIC_LINK_WIDTH_8_LANES	PORT_LOGIC_LINK_WIDTH(0x8)
56 
57 #define PCIE_MSI_ADDR_LO		0x820
58 #define PCIE_MSI_ADDR_HI		0x824
59 #define PCIE_MSI_INTR0_ENABLE		0x828
60 #define PCIE_MSI_INTR0_MASK		0x82C
61 #define PCIE_MSI_INTR0_STATUS		0x830
62 
63 #define PCIE_ATU_VIEWPORT		0x900
64 #define PCIE_ATU_REGION_INBOUND		BIT(31)
65 #define PCIE_ATU_REGION_OUTBOUND	0
66 #define PCIE_ATU_REGION_INDEX2		0x2
67 #define PCIE_ATU_REGION_INDEX1		0x1
68 #define PCIE_ATU_REGION_INDEX0		0x0
69 #define PCIE_ATU_CR1			0x904
70 #define PCIE_ATU_TYPE_MEM		0x0
71 #define PCIE_ATU_TYPE_IO		0x2
72 #define PCIE_ATU_TYPE_CFG0		0x4
73 #define PCIE_ATU_TYPE_CFG1		0x5
74 #define PCIE_ATU_CR2			0x908
75 #define PCIE_ATU_ENABLE			BIT(31)
76 #define PCIE_ATU_BAR_MODE_ENABLE	BIT(30)
77 #define PCIE_ATU_LOWER_BASE		0x90C
78 #define PCIE_ATU_UPPER_BASE		0x910
79 #define PCIE_ATU_LIMIT			0x914
80 #define PCIE_ATU_LOWER_TARGET		0x918
81 #define PCIE_ATU_BUS(x)			FIELD_PREP(GENMASK(31, 24), x)
82 #define PCIE_ATU_DEV(x)			FIELD_PREP(GENMASK(23, 19), x)
83 #define PCIE_ATU_FUNC(x)		FIELD_PREP(GENMASK(18, 16), x)
84 #define PCIE_ATU_UPPER_TARGET		0x91C
85 
86 #define PCIE_MISC_CONTROL_1_OFF		0x8BC
87 #define PCIE_DBI_RO_WR_EN		BIT(0)
88 
89 /*
90  * iATU Unroll-specific register definitions
91  * From 4.80 core version the address translation will be made by unroll
92  */
93 #define PCIE_ATU_UNR_REGION_CTRL1	0x00
94 #define PCIE_ATU_UNR_REGION_CTRL2	0x04
95 #define PCIE_ATU_UNR_LOWER_BASE		0x08
96 #define PCIE_ATU_UNR_UPPER_BASE		0x0C
97 #define PCIE_ATU_UNR_LIMIT		0x10
98 #define PCIE_ATU_UNR_LOWER_TARGET	0x14
99 #define PCIE_ATU_UNR_UPPER_TARGET	0x18
100 
101 /*
102  * The default address offset between dbi_base and atu_base. Root controller
103  * drivers are not required to initialize atu_base if the offset matches this
104  * default; the driver core automatically derives atu_base from dbi_base using
105  * this offset, if atu_base not set.
106  */
107 #define DEFAULT_DBI_ATU_OFFSET (0x3 << 20)
108 
109 /* Register address builder */
110 #define PCIE_GET_ATU_OUTB_UNR_REG_OFFSET(region) \
111 		((region) << 9)
112 
113 #define PCIE_GET_ATU_INB_UNR_REG_OFFSET(region) \
114 		(((region) << 9) | BIT(8))
115 
116 #define MAX_MSI_IRQS			256
117 #define MAX_MSI_IRQS_PER_CTRL		32
118 #define MAX_MSI_CTRLS			(MAX_MSI_IRQS / MAX_MSI_IRQS_PER_CTRL)
119 #define MSI_REG_CTRL_BLOCK_SIZE		12
120 #define MSI_DEF_NUM_VECTORS		32
121 
122 /* Maximum number of inbound/outbound iATUs */
123 #define MAX_IATU_IN			256
124 #define MAX_IATU_OUT			256
125 
126 struct pcie_port;
127 struct dw_pcie;
128 struct dw_pcie_ep;
129 
130 enum dw_pcie_region_type {
131 	DW_PCIE_REGION_UNKNOWN,
132 	DW_PCIE_REGION_INBOUND,
133 	DW_PCIE_REGION_OUTBOUND,
134 };
135 
136 enum dw_pcie_device_mode {
137 	DW_PCIE_UNKNOWN_TYPE,
138 	DW_PCIE_EP_TYPE,
139 	DW_PCIE_LEG_EP_TYPE,
140 	DW_PCIE_RC_TYPE,
141 };
142 
143 struct dw_pcie_host_ops {
144 	int (*rd_own_conf)(struct pcie_port *pp, int where, int size, u32 *val);
145 	int (*wr_own_conf)(struct pcie_port *pp, int where, int size, u32 val);
146 	int (*rd_other_conf)(struct pcie_port *pp, struct pci_bus *bus,
147 			     unsigned int devfn, int where, int size, u32 *val);
148 	int (*wr_other_conf)(struct pcie_port *pp, struct pci_bus *bus,
149 			     unsigned int devfn, int where, int size, u32 val);
150 	int (*host_init)(struct pcie_port *pp);
151 	void (*scan_bus)(struct pcie_port *pp);
152 	void (*set_num_vectors)(struct pcie_port *pp);
153 	int (*msi_host_init)(struct pcie_port *pp);
154 };
155 
156 struct pcie_port {
157 	u8			root_bus_nr;
158 	u64			cfg0_base;
159 	void __iomem		*va_cfg0_base;
160 	u32			cfg0_size;
161 	u64			cfg1_base;
162 	void __iomem		*va_cfg1_base;
163 	u32			cfg1_size;
164 	resource_size_t		io_base;
165 	phys_addr_t		io_bus_addr;
166 	u32			io_size;
167 	u64			mem_base;
168 	phys_addr_t		mem_bus_addr;
169 	u32			mem_size;
170 	struct resource		*cfg;
171 	struct resource		*io;
172 	struct resource		*mem;
173 	struct resource		*busn;
174 	int			irq;
175 	const struct dw_pcie_host_ops *ops;
176 	int			msi_irq;
177 	struct irq_domain	*irq_domain;
178 	struct irq_domain	*msi_domain;
179 	dma_addr_t		msi_data;
180 	struct page		*msi_page;
181 	struct irq_chip		*msi_irq_chip;
182 	u32			num_vectors;
183 	u32			irq_mask[MAX_MSI_CTRLS];
184 	struct pci_bus		*root_bus;
185 	raw_spinlock_t		lock;
186 	DECLARE_BITMAP(msi_irq_in_use, MAX_MSI_IRQS);
187 };
188 
189 enum dw_pcie_as_type {
190 	DW_PCIE_AS_UNKNOWN,
191 	DW_PCIE_AS_MEM,
192 	DW_PCIE_AS_IO,
193 };
194 
195 struct dw_pcie_ep_ops {
196 	void	(*ep_init)(struct dw_pcie_ep *ep);
197 	int	(*raise_irq)(struct dw_pcie_ep *ep, u8 func_no,
198 			     enum pci_epc_irq_type type, u16 interrupt_num);
199 	const struct pci_epc_features* (*get_features)(struct dw_pcie_ep *ep);
200 };
201 
202 struct dw_pcie_ep {
203 	struct pci_epc		*epc;
204 	const struct dw_pcie_ep_ops *ops;
205 	phys_addr_t		phys_base;
206 	size_t			addr_size;
207 	size_t			page_size;
208 	u8			bar_to_atu[6];
209 	phys_addr_t		*outbound_addr;
210 	unsigned long		*ib_window_map;
211 	unsigned long		*ob_window_map;
212 	u32			num_ib_windows;
213 	u32			num_ob_windows;
214 	void __iomem		*msi_mem;
215 	phys_addr_t		msi_mem_phys;
216 	u8			msi_cap;	/* MSI capability offset */
217 	u8			msix_cap;	/* MSI-X capability offset */
218 };
219 
220 struct dw_pcie_ops {
221 	u64	(*cpu_addr_fixup)(struct dw_pcie *pcie, u64 cpu_addr);
222 	u32	(*read_dbi)(struct dw_pcie *pcie, void __iomem *base, u32 reg,
223 			    size_t size);
224 	void	(*write_dbi)(struct dw_pcie *pcie, void __iomem *base, u32 reg,
225 			     size_t size, u32 val);
226 	u32     (*read_dbi2)(struct dw_pcie *pcie, void __iomem *base, u32 reg,
227 			     size_t size);
228 	void    (*write_dbi2)(struct dw_pcie *pcie, void __iomem *base, u32 reg,
229 			      size_t size, u32 val);
230 	int	(*link_up)(struct dw_pcie *pcie);
231 	int	(*start_link)(struct dw_pcie *pcie);
232 	void	(*stop_link)(struct dw_pcie *pcie);
233 };
234 
235 struct dw_pcie {
236 	struct device		*dev;
237 	void __iomem		*dbi_base;
238 	void __iomem		*dbi_base2;
239 	/* Used when iatu_unroll_enabled is true */
240 	void __iomem		*atu_base;
241 	u32			num_viewport;
242 	u8			iatu_unroll_enabled;
243 	struct pcie_port	pp;
244 	struct dw_pcie_ep	ep;
245 	const struct dw_pcie_ops *ops;
246 	unsigned int		version;
247 };
248 
249 #define to_dw_pcie_from_pp(port) container_of((port), struct dw_pcie, pp)
250 
251 #define to_dw_pcie_from_ep(endpoint)   \
252 		container_of((endpoint), struct dw_pcie, ep)
253 
254 int dw_pcie_read(void __iomem *addr, int size, u32 *val);
255 int dw_pcie_write(void __iomem *addr, int size, u32 val);
256 
257 u32 __dw_pcie_read_dbi(struct dw_pcie *pci, void __iomem *base, u32 reg,
258 		       size_t size);
259 void __dw_pcie_write_dbi(struct dw_pcie *pci, void __iomem *base, u32 reg,
260 			 size_t size, u32 val);
261 u32 __dw_pcie_read_dbi2(struct dw_pcie *pci, void __iomem *base, u32 reg,
262 			size_t size);
263 void __dw_pcie_write_dbi2(struct dw_pcie *pci, void __iomem *base, u32 reg,
264 			  size_t size, u32 val);
265 int dw_pcie_link_up(struct dw_pcie *pci);
266 int dw_pcie_wait_for_link(struct dw_pcie *pci);
267 void dw_pcie_prog_outbound_atu(struct dw_pcie *pci, int index,
268 			       int type, u64 cpu_addr, u64 pci_addr,
269 			       u32 size);
270 int dw_pcie_prog_inbound_atu(struct dw_pcie *pci, int index, int bar,
271 			     u64 cpu_addr, enum dw_pcie_as_type as_type);
272 void dw_pcie_disable_atu(struct dw_pcie *pci, int index,
273 			 enum dw_pcie_region_type type);
274 void dw_pcie_setup(struct dw_pcie *pci);
275 
276 static inline void dw_pcie_writel_dbi(struct dw_pcie *pci, u32 reg, u32 val)
277 {
278 	__dw_pcie_write_dbi(pci, pci->dbi_base, reg, 0x4, val);
279 }
280 
281 static inline u32 dw_pcie_readl_dbi(struct dw_pcie *pci, u32 reg)
282 {
283 	return __dw_pcie_read_dbi(pci, pci->dbi_base, reg, 0x4);
284 }
285 
286 static inline void dw_pcie_writew_dbi(struct dw_pcie *pci, u32 reg, u16 val)
287 {
288 	__dw_pcie_write_dbi(pci, pci->dbi_base, reg, 0x2, val);
289 }
290 
291 static inline u16 dw_pcie_readw_dbi(struct dw_pcie *pci, u32 reg)
292 {
293 	return __dw_pcie_read_dbi(pci, pci->dbi_base, reg, 0x2);
294 }
295 
296 static inline void dw_pcie_writeb_dbi(struct dw_pcie *pci, u32 reg, u8 val)
297 {
298 	__dw_pcie_write_dbi(pci, pci->dbi_base, reg, 0x1, val);
299 }
300 
301 static inline u8 dw_pcie_readb_dbi(struct dw_pcie *pci, u32 reg)
302 {
303 	return __dw_pcie_read_dbi(pci, pci->dbi_base, reg, 0x1);
304 }
305 
306 static inline void dw_pcie_writel_dbi2(struct dw_pcie *pci, u32 reg, u32 val)
307 {
308 	__dw_pcie_write_dbi2(pci, pci->dbi_base2, reg, 0x4, val);
309 }
310 
311 static inline u32 dw_pcie_readl_dbi2(struct dw_pcie *pci, u32 reg)
312 {
313 	return __dw_pcie_read_dbi2(pci, pci->dbi_base2, reg, 0x4);
314 }
315 
316 static inline void dw_pcie_writel_atu(struct dw_pcie *pci, u32 reg, u32 val)
317 {
318 	__dw_pcie_write_dbi(pci, pci->atu_base, reg, 0x4, val);
319 }
320 
321 static inline u32 dw_pcie_readl_atu(struct dw_pcie *pci, u32 reg)
322 {
323 	return __dw_pcie_read_dbi(pci, pci->atu_base, reg, 0x4);
324 }
325 
326 static inline void dw_pcie_dbi_ro_wr_en(struct dw_pcie *pci)
327 {
328 	u32 reg;
329 	u32 val;
330 
331 	reg = PCIE_MISC_CONTROL_1_OFF;
332 	val = dw_pcie_readl_dbi(pci, reg);
333 	val |= PCIE_DBI_RO_WR_EN;
334 	dw_pcie_writel_dbi(pci, reg, val);
335 }
336 
337 static inline void dw_pcie_dbi_ro_wr_dis(struct dw_pcie *pci)
338 {
339 	u32 reg;
340 	u32 val;
341 
342 	reg = PCIE_MISC_CONTROL_1_OFF;
343 	val = dw_pcie_readl_dbi(pci, reg);
344 	val &= ~PCIE_DBI_RO_WR_EN;
345 	dw_pcie_writel_dbi(pci, reg, val);
346 }
347 
348 #ifdef CONFIG_PCIE_DW_HOST
349 irqreturn_t dw_handle_msi_irq(struct pcie_port *pp);
350 void dw_pcie_msi_init(struct pcie_port *pp);
351 void dw_pcie_free_msi(struct pcie_port *pp);
352 void dw_pcie_setup_rc(struct pcie_port *pp);
353 int dw_pcie_host_init(struct pcie_port *pp);
354 int dw_pcie_allocate_domains(struct pcie_port *pp);
355 #else
356 static inline irqreturn_t dw_handle_msi_irq(struct pcie_port *pp)
357 {
358 	return IRQ_NONE;
359 }
360 
361 static inline void dw_pcie_msi_init(struct pcie_port *pp)
362 {
363 }
364 
365 static inline void dw_pcie_free_msi(struct pcie_port *pp)
366 {
367 }
368 
369 static inline void dw_pcie_setup_rc(struct pcie_port *pp)
370 {
371 }
372 
373 static inline int dw_pcie_host_init(struct pcie_port *pp)
374 {
375 	return 0;
376 }
377 
378 static inline int dw_pcie_allocate_domains(struct pcie_port *pp)
379 {
380 	return 0;
381 }
382 #endif
383 
384 #ifdef CONFIG_PCIE_DW_EP
385 void dw_pcie_ep_linkup(struct dw_pcie_ep *ep);
386 int dw_pcie_ep_init(struct dw_pcie_ep *ep);
387 void dw_pcie_ep_exit(struct dw_pcie_ep *ep);
388 int dw_pcie_ep_raise_legacy_irq(struct dw_pcie_ep *ep, u8 func_no);
389 int dw_pcie_ep_raise_msi_irq(struct dw_pcie_ep *ep, u8 func_no,
390 			     u8 interrupt_num);
391 int dw_pcie_ep_raise_msix_irq(struct dw_pcie_ep *ep, u8 func_no,
392 			     u16 interrupt_num);
393 void dw_pcie_ep_reset_bar(struct dw_pcie *pci, enum pci_barno bar);
394 #else
395 static inline void dw_pcie_ep_linkup(struct dw_pcie_ep *ep)
396 {
397 }
398 
399 static inline int dw_pcie_ep_init(struct dw_pcie_ep *ep)
400 {
401 	return 0;
402 }
403 
404 static inline void dw_pcie_ep_exit(struct dw_pcie_ep *ep)
405 {
406 }
407 
408 static inline int dw_pcie_ep_raise_legacy_irq(struct dw_pcie_ep *ep, u8 func_no)
409 {
410 	return 0;
411 }
412 
413 static inline int dw_pcie_ep_raise_msi_irq(struct dw_pcie_ep *ep, u8 func_no,
414 					   u8 interrupt_num)
415 {
416 	return 0;
417 }
418 
419 static inline int dw_pcie_ep_raise_msix_irq(struct dw_pcie_ep *ep, u8 func_no,
420 					   u16 interrupt_num)
421 {
422 	return 0;
423 }
424 
425 static inline void dw_pcie_ep_reset_bar(struct dw_pcie *pci, enum pci_barno bar)
426 {
427 }
428 #endif
429 #endif /* _PCIE_DESIGNWARE_H */
430