1282aae55SKen Wang /*
2282aae55SKen Wang  * Copyright 2016 Advanced Micro Devices, Inc.
3282aae55SKen Wang  *
4282aae55SKen Wang  * Permission is hereby granted, free of charge, to any person obtaining a
5282aae55SKen Wang  * copy of this software and associated documentation files (the "Software"),
6282aae55SKen Wang  * to deal in the Software without restriction, including without limitation
7282aae55SKen Wang  * the rights to use, copy, modify, merge, publish, distribute, sublicense,
8282aae55SKen Wang  * and/or sell copies of the Software, and to permit persons to whom the
9282aae55SKen Wang  * Software is furnished to do so, subject to the following conditions:
10282aae55SKen Wang  *
11282aae55SKen Wang  * The above copyright notice and this permission notice shall be included in
12282aae55SKen Wang  * all copies or substantial portions of the Software.
13282aae55SKen Wang  *
14282aae55SKen Wang  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
15282aae55SKen Wang  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
16282aae55SKen Wang  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT.  IN NO EVENT SHALL
17282aae55SKen Wang  * THE COPYRIGHT HOLDER(S) OR AUTHOR(S) BE LIABLE FOR ANY CLAIM, DAMAGES OR
18282aae55SKen Wang  * OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE,
19282aae55SKen Wang  * ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR
20282aae55SKen Wang  * OTHER DEALINGS IN THE SOFTWARE.
21282aae55SKen Wang  *
22282aae55SKen Wang  */
23248a1d6fSMasahiro Yamada #include <drm/drmP.h>
24282aae55SKen Wang #include "amdgpu.h"
25282aae55SKen Wang #include "amdgpu_ih.h"
26282aae55SKen Wang #include "soc15.h"
27282aae55SKen Wang 
288af7454eSFeifei Xu #include "oss/osssys_4_0_offset.h"
298af7454eSFeifei Xu #include "oss/osssys_4_0_sh_mask.h"
30282aae55SKen Wang 
31282aae55SKen Wang #include "soc15_common.h"
32282aae55SKen Wang #include "vega10_ih.h"
33282aae55SKen Wang 
34282aae55SKen Wang 
35282aae55SKen Wang 
36282aae55SKen Wang static void vega10_ih_set_interrupt_funcs(struct amdgpu_device *adev);
37282aae55SKen Wang 
38282aae55SKen Wang /**
39282aae55SKen Wang  * vega10_ih_enable_interrupts - Enable the interrupt ring buffer
40282aae55SKen Wang  *
41282aae55SKen Wang  * @adev: amdgpu_device pointer
42282aae55SKen Wang  *
43282aae55SKen Wang  * Enable the interrupt ring buffer (VEGA10).
44282aae55SKen Wang  */
45282aae55SKen Wang static void vega10_ih_enable_interrupts(struct amdgpu_device *adev)
46282aae55SKen Wang {
47b2b7e457SHawking Zhang 	u32 ih_rb_cntl = RREG32_SOC15(OSSSYS, 0, mmIH_RB_CNTL);
48282aae55SKen Wang 
49282aae55SKen Wang 	ih_rb_cntl = REG_SET_FIELD(ih_rb_cntl, IH_RB_CNTL, RB_ENABLE, 1);
50282aae55SKen Wang 	ih_rb_cntl = REG_SET_FIELD(ih_rb_cntl, IH_RB_CNTL, ENABLE_INTR, 1);
51b2b7e457SHawking Zhang 	WREG32_SOC15(OSSSYS, 0, mmIH_RB_CNTL, ih_rb_cntl);
52282aae55SKen Wang 	adev->irq.ih.enabled = true;
53ad710812SChristian König 
54ad710812SChristian König 	if (adev->irq.ih1.ring_size) {
55ad710812SChristian König 		ih_rb_cntl = RREG32_SOC15(OSSSYS, 0, mmIH_RB_CNTL_RING1);
56ad710812SChristian König 		ih_rb_cntl = REG_SET_FIELD(ih_rb_cntl, IH_RB_CNTL_RING1,
57ad710812SChristian König 					   RB_ENABLE, 1);
58ad710812SChristian König 		WREG32_SOC15(OSSSYS, 0, mmIH_RB_CNTL_RING1, ih_rb_cntl);
59ad710812SChristian König 		adev->irq.ih1.enabled = true;
60ad710812SChristian König 	}
61ad710812SChristian König 
62ad710812SChristian König 	if (adev->irq.ih2.ring_size) {
63ad710812SChristian König 		ih_rb_cntl = RREG32_SOC15(OSSSYS, 0, mmIH_RB_CNTL_RING2);
64ad710812SChristian König 		ih_rb_cntl = REG_SET_FIELD(ih_rb_cntl, IH_RB_CNTL_RING2,
65ad710812SChristian König 					   RB_ENABLE, 1);
66ad710812SChristian König 		WREG32_SOC15(OSSSYS, 0, mmIH_RB_CNTL_RING2, ih_rb_cntl);
67ad710812SChristian König 		adev->irq.ih2.enabled = true;
68ad710812SChristian König 	}
69282aae55SKen Wang }
70282aae55SKen Wang 
71282aae55SKen Wang /**
72282aae55SKen Wang  * vega10_ih_disable_interrupts - Disable the interrupt ring buffer
73282aae55SKen Wang  *
74282aae55SKen Wang  * @adev: amdgpu_device pointer
75282aae55SKen Wang  *
76282aae55SKen Wang  * Disable the interrupt ring buffer (VEGA10).
77282aae55SKen Wang  */
78282aae55SKen Wang static void vega10_ih_disable_interrupts(struct amdgpu_device *adev)
79282aae55SKen Wang {
80b2b7e457SHawking Zhang 	u32 ih_rb_cntl = RREG32_SOC15(OSSSYS, 0, mmIH_RB_CNTL);
81282aae55SKen Wang 
82282aae55SKen Wang 	ih_rb_cntl = REG_SET_FIELD(ih_rb_cntl, IH_RB_CNTL, RB_ENABLE, 0);
83282aae55SKen Wang 	ih_rb_cntl = REG_SET_FIELD(ih_rb_cntl, IH_RB_CNTL, ENABLE_INTR, 0);
84b2b7e457SHawking Zhang 	WREG32_SOC15(OSSSYS, 0, mmIH_RB_CNTL, ih_rb_cntl);
85282aae55SKen Wang 	/* set rptr, wptr to 0 */
86b2b7e457SHawking Zhang 	WREG32_SOC15(OSSSYS, 0, mmIH_RB_RPTR, 0);
87b2b7e457SHawking Zhang 	WREG32_SOC15(OSSSYS, 0, mmIH_RB_WPTR, 0);
88282aae55SKen Wang 	adev->irq.ih.enabled = false;
89282aae55SKen Wang 	adev->irq.ih.rptr = 0;
90ad710812SChristian König 
91ad710812SChristian König 	if (adev->irq.ih1.ring_size) {
92ad710812SChristian König 		ih_rb_cntl = RREG32_SOC15(OSSSYS, 0, mmIH_RB_CNTL_RING1);
93ad710812SChristian König 		ih_rb_cntl = REG_SET_FIELD(ih_rb_cntl, IH_RB_CNTL_RING1,
94ad710812SChristian König 					   RB_ENABLE, 0);
95ad710812SChristian König 		WREG32_SOC15(OSSSYS, 0, mmIH_RB_CNTL_RING1, ih_rb_cntl);
96ad710812SChristian König 		/* set rptr, wptr to 0 */
97ad710812SChristian König 		WREG32_SOC15(OSSSYS, 0, mmIH_RB_RPTR_RING1, 0);
98ad710812SChristian König 		WREG32_SOC15(OSSSYS, 0, mmIH_RB_WPTR_RING1, 0);
99ad710812SChristian König 		adev->irq.ih1.enabled = false;
100ad710812SChristian König 		adev->irq.ih1.rptr = 0;
101ad710812SChristian König 	}
102ad710812SChristian König 
103ad710812SChristian König 	if (adev->irq.ih2.ring_size) {
104ad710812SChristian König 		ih_rb_cntl = RREG32_SOC15(OSSSYS, 0, mmIH_RB_CNTL_RING2);
105ad710812SChristian König 		ih_rb_cntl = REG_SET_FIELD(ih_rb_cntl, IH_RB_CNTL_RING2,
106ad710812SChristian König 					   RB_ENABLE, 0);
107ad710812SChristian König 		WREG32_SOC15(OSSSYS, 0, mmIH_RB_CNTL_RING2, ih_rb_cntl);
108ad710812SChristian König 		/* set rptr, wptr to 0 */
109ad710812SChristian König 		WREG32_SOC15(OSSSYS, 0, mmIH_RB_RPTR_RING2, 0);
110ad710812SChristian König 		WREG32_SOC15(OSSSYS, 0, mmIH_RB_WPTR_RING2, 0);
111ad710812SChristian König 		adev->irq.ih2.enabled = false;
112ad710812SChristian König 		adev->irq.ih2.rptr = 0;
113ad710812SChristian König 	}
114ad710812SChristian König }
115ad710812SChristian König 
116ad710812SChristian König static uint32_t vega10_ih_rb_cntl(struct amdgpu_ih_ring *ih, uint32_t ih_rb_cntl)
117ad710812SChristian König {
118ad710812SChristian König 	int rb_bufsz = order_base_2(ih->ring_size / 4);
119ad710812SChristian König 
120ad710812SChristian König 	ih_rb_cntl = REG_SET_FIELD(ih_rb_cntl, IH_RB_CNTL,
121ad710812SChristian König 				   MC_SPACE, ih->use_bus_addr ? 1 : 4);
122ad710812SChristian König 	ih_rb_cntl = REG_SET_FIELD(ih_rb_cntl, IH_RB_CNTL,
123ad710812SChristian König 				   WPTR_OVERFLOW_CLEAR, 1);
124ad710812SChristian König 	ih_rb_cntl = REG_SET_FIELD(ih_rb_cntl, IH_RB_CNTL,
125ad710812SChristian König 				   WPTR_OVERFLOW_ENABLE, 1);
126ad710812SChristian König 	ih_rb_cntl = REG_SET_FIELD(ih_rb_cntl, IH_RB_CNTL, RB_SIZE, rb_bufsz);
127ad710812SChristian König 	/* Ring Buffer write pointer writeback. If enabled, IH_RB_WPTR register
128ad710812SChristian König 	 * value is written to memory
129ad710812SChristian König 	 */
130ad710812SChristian König 	ih_rb_cntl = REG_SET_FIELD(ih_rb_cntl, IH_RB_CNTL,
131ad710812SChristian König 				   WPTR_WRITEBACK_ENABLE, 1);
132ad710812SChristian König 	ih_rb_cntl = REG_SET_FIELD(ih_rb_cntl, IH_RB_CNTL, MC_SNOOP, 1);
133ad710812SChristian König 	ih_rb_cntl = REG_SET_FIELD(ih_rb_cntl, IH_RB_CNTL, MC_RO, 0);
134ad710812SChristian König 	ih_rb_cntl = REG_SET_FIELD(ih_rb_cntl, IH_RB_CNTL, MC_VMID, 0);
135ad710812SChristian König 
136ad710812SChristian König 	return ih_rb_cntl;
137282aae55SKen Wang }
138282aae55SKen Wang 
139282aae55SKen Wang /**
140282aae55SKen Wang  * vega10_ih_irq_init - init and enable the interrupt ring
141282aae55SKen Wang  *
142282aae55SKen Wang  * @adev: amdgpu_device pointer
143282aae55SKen Wang  *
144282aae55SKen Wang  * Allocate a ring buffer for the interrupt controller,
145282aae55SKen Wang  * enable the RLC, disable interrupts, enable the IH
146282aae55SKen Wang  * ring buffer and enable it (VI).
147282aae55SKen Wang  * Called at device load and reume.
148282aae55SKen Wang  * Returns 0 for success, errors for failure.
149282aae55SKen Wang  */
150282aae55SKen Wang static int vega10_ih_irq_init(struct amdgpu_device *adev)
151282aae55SKen Wang {
152ad710812SChristian König 	struct amdgpu_ih_ring *ih;
153282aae55SKen Wang 	int ret = 0;
154282aae55SKen Wang 	u32 ih_rb_cntl, ih_doorbell_rtpr;
155282aae55SKen Wang 	u32 tmp;
156282aae55SKen Wang 
157282aae55SKen Wang 	/* disable irqs */
158282aae55SKen Wang 	vega10_ih_disable_interrupts(adev);
159282aae55SKen Wang 
160bf383fb6SAlex Deucher 	adev->nbio_funcs->ih_control(adev);
161282aae55SKen Wang 
162ad710812SChristian König 	ih = &adev->irq.ih;
163282aae55SKen Wang 	/* Ring Buffer base. [39:8] of 40-bit address of the beginning of the ring buffer*/
164ad710812SChristian König 	WREG32_SOC15(OSSSYS, 0, mmIH_RB_BASE, ih->gpu_addr >> 8);
165ad710812SChristian König 	WREG32_SOC15(OSSSYS, 0, mmIH_RB_BASE_HI, (ih->gpu_addr >> 40) & 0xff);
166282aae55SKen Wang 
167ad710812SChristian König 	ih_rb_cntl = RREG32_SOC15(OSSSYS, 0, mmIH_RB_CNTL);
168ad710812SChristian König 	ih_rb_cntl = vega10_ih_rb_cntl(ih, ih_rb_cntl);
169ad710812SChristian König 	ih_rb_cntl = REG_SET_FIELD(ih_rb_cntl, IH_RB_CNTL, RPTR_REARM,
170ad710812SChristian König 				   !!adev->irq.msi_enabled);
171b2b7e457SHawking Zhang 	WREG32_SOC15(OSSSYS, 0, mmIH_RB_CNTL, ih_rb_cntl);
172282aae55SKen Wang 
173282aae55SKen Wang 	/* set the writeback address whether it's enabled or not */
174d81f78b4SChristian König 	WREG32_SOC15(OSSSYS, 0, mmIH_RB_WPTR_ADDR_LO,
175d81f78b4SChristian König 		     lower_32_bits(ih->wptr_addr));
176d81f78b4SChristian König 	WREG32_SOC15(OSSSYS, 0, mmIH_RB_WPTR_ADDR_HI,
177d81f78b4SChristian König 		     upper_32_bits(ih->wptr_addr) & 0xFFFF);
178282aae55SKen Wang 
179282aae55SKen Wang 	/* set rptr, wptr to 0 */
180b2b7e457SHawking Zhang 	WREG32_SOC15(OSSSYS, 0, mmIH_RB_RPTR, 0);
181b2b7e457SHawking Zhang 	WREG32_SOC15(OSSSYS, 0, mmIH_RB_WPTR, 0);
182282aae55SKen Wang 
183b2b7e457SHawking Zhang 	ih_doorbell_rtpr = RREG32_SOC15(OSSSYS, 0, mmIH_DOORBELL_RPTR);
184282aae55SKen Wang 	if (adev->irq.ih.use_doorbell) {
185ad710812SChristian König 		ih_doorbell_rtpr = REG_SET_FIELD(ih_doorbell_rtpr,
186ad710812SChristian König 						 IH_DOORBELL_RPTR, OFFSET,
187ad710812SChristian König 						 adev->irq.ih.doorbell_index);
188ad710812SChristian König 		ih_doorbell_rtpr = REG_SET_FIELD(ih_doorbell_rtpr,
189ad710812SChristian König 						 IH_DOORBELL_RPTR,
190282aae55SKen Wang 						 ENABLE, 1);
191282aae55SKen Wang 	} else {
192ad710812SChristian König 		ih_doorbell_rtpr = REG_SET_FIELD(ih_doorbell_rtpr,
193ad710812SChristian König 						 IH_DOORBELL_RPTR,
194282aae55SKen Wang 						 ENABLE, 0);
195282aae55SKen Wang 	}
196b2b7e457SHawking Zhang 	WREG32_SOC15(OSSSYS, 0, mmIH_DOORBELL_RPTR, ih_doorbell_rtpr);
197282aae55SKen Wang 
198ad710812SChristian König 	ih = &adev->irq.ih1;
199ad710812SChristian König 	if (ih->ring_size) {
200ad710812SChristian König 		WREG32_SOC15(OSSSYS, 0, mmIH_RB_BASE_RING1, ih->gpu_addr >> 8);
201ad710812SChristian König 		WREG32_SOC15(OSSSYS, 0, mmIH_RB_BASE_HI_RING1,
202ad710812SChristian König 			     (ih->gpu_addr >> 40) & 0xff);
203ad710812SChristian König 
204ad710812SChristian König 		ih_rb_cntl = RREG32_SOC15(OSSSYS, 0, mmIH_RB_CNTL_RING1);
205ad710812SChristian König 		ih_rb_cntl = vega10_ih_rb_cntl(ih, ih_rb_cntl);
2060133690eSChristian König 		ih_rb_cntl = REG_SET_FIELD(ih_rb_cntl, IH_RB_CNTL,
2070133690eSChristian König 					   WPTR_OVERFLOW_ENABLE, 0);
2080133690eSChristian König 		ih_rb_cntl = REG_SET_FIELD(ih_rb_cntl, IH_RB_CNTL,
2090133690eSChristian König 					   RB_FULL_DRAIN_ENABLE, 1);
210ad710812SChristian König 		WREG32_SOC15(OSSSYS, 0, mmIH_RB_CNTL_RING1, ih_rb_cntl);
211ad710812SChristian König 
212ad710812SChristian König 		/* set rptr, wptr to 0 */
213ad710812SChristian König 		WREG32_SOC15(OSSSYS, 0, mmIH_RB_RPTR_RING1, 0);
214ad710812SChristian König 		WREG32_SOC15(OSSSYS, 0, mmIH_RB_WPTR_RING1, 0);
215ad710812SChristian König 	}
216ad710812SChristian König 
217ad710812SChristian König 	ih = &adev->irq.ih2;
218ad710812SChristian König 	if (ih->ring_size) {
219ad710812SChristian König 		WREG32_SOC15(OSSSYS, 0, mmIH_RB_BASE_RING2, ih->gpu_addr >> 8);
220ad710812SChristian König 		WREG32_SOC15(OSSSYS, 0, mmIH_RB_BASE_HI_RING2,
221ad710812SChristian König 			     (ih->gpu_addr >> 40) & 0xff);
222ad710812SChristian König 
223ad710812SChristian König 		ih_rb_cntl = RREG32_SOC15(OSSSYS, 0, mmIH_RB_CNTL_RING1);
224ad710812SChristian König 		ih_rb_cntl = vega10_ih_rb_cntl(ih, ih_rb_cntl);
225ad710812SChristian König 		WREG32_SOC15(OSSSYS, 0, mmIH_RB_CNTL_RING2, ih_rb_cntl);
226ad710812SChristian König 
227ad710812SChristian König 		/* set rptr, wptr to 0 */
228ad710812SChristian König 		WREG32_SOC15(OSSSYS, 0, mmIH_RB_RPTR_RING2, 0);
229ad710812SChristian König 		WREG32_SOC15(OSSSYS, 0, mmIH_RB_WPTR_RING2, 0);
230ad710812SChristian König 	}
231ad710812SChristian König 
232b2b7e457SHawking Zhang 	tmp = RREG32_SOC15(OSSSYS, 0, mmIH_STORM_CLIENT_LIST_CNTL);
233282aae55SKen Wang 	tmp = REG_SET_FIELD(tmp, IH_STORM_CLIENT_LIST_CNTL,
234282aae55SKen Wang 			    CLIENT18_IS_STORM_CLIENT, 1);
235b2b7e457SHawking Zhang 	WREG32_SOC15(OSSSYS, 0, mmIH_STORM_CLIENT_LIST_CNTL, tmp);
236282aae55SKen Wang 
237b2b7e457SHawking Zhang 	tmp = RREG32_SOC15(OSSSYS, 0, mmIH_INT_FLOOD_CNTL);
238282aae55SKen Wang 	tmp = REG_SET_FIELD(tmp, IH_INT_FLOOD_CNTL, FLOOD_CNTL_ENABLE, 1);
239b2b7e457SHawking Zhang 	WREG32_SOC15(OSSSYS, 0, mmIH_INT_FLOOD_CNTL, tmp);
240282aae55SKen Wang 
241282aae55SKen Wang 	pci_set_master(adev->pdev);
242282aae55SKen Wang 
243282aae55SKen Wang 	/* enable interrupts */
244282aae55SKen Wang 	vega10_ih_enable_interrupts(adev);
245282aae55SKen Wang 
246282aae55SKen Wang 	return ret;
247282aae55SKen Wang }
248282aae55SKen Wang 
249282aae55SKen Wang /**
250282aae55SKen Wang  * vega10_ih_irq_disable - disable interrupts
251282aae55SKen Wang  *
252282aae55SKen Wang  * @adev: amdgpu_device pointer
253282aae55SKen Wang  *
254282aae55SKen Wang  * Disable interrupts on the hw (VEGA10).
255282aae55SKen Wang  */
256282aae55SKen Wang static void vega10_ih_irq_disable(struct amdgpu_device *adev)
257282aae55SKen Wang {
258282aae55SKen Wang 	vega10_ih_disable_interrupts(adev);
259282aae55SKen Wang 
260282aae55SKen Wang 	/* Wait and acknowledge irq */
261282aae55SKen Wang 	mdelay(1);
262282aae55SKen Wang }
263282aae55SKen Wang 
264282aae55SKen Wang /**
265282aae55SKen Wang  * vega10_ih_get_wptr - get the IH ring buffer wptr
266282aae55SKen Wang  *
267282aae55SKen Wang  * @adev: amdgpu_device pointer
268282aae55SKen Wang  *
269282aae55SKen Wang  * Get the IH ring buffer wptr from either the register
270282aae55SKen Wang  * or the writeback memory buffer (VEGA10).  Also check for
271282aae55SKen Wang  * ring buffer overflow and deal with it.
272282aae55SKen Wang  * Returns the value of the wptr.
273282aae55SKen Wang  */
2748bb9eb48SChristian König static u32 vega10_ih_get_wptr(struct amdgpu_device *adev,
2758bb9eb48SChristian König 			      struct amdgpu_ih_ring *ih)
276282aae55SKen Wang {
277cf67950eSChristian König 	u32 wptr, reg, tmp;
278282aae55SKen Wang 
279d81f78b4SChristian König 	wptr = le32_to_cpu(*ih->wptr_cpu);
280282aae55SKen Wang 
281b8217575SChristian König 	if (!REG_GET_FIELD(wptr, IH_RB_WPTR, RB_OVERFLOW))
282b8217575SChristian König 		goto out;
283b8217575SChristian König 
284b8217575SChristian König 	/* Double check that the overflow wasn't already cleared. */
285cf67950eSChristian König 
286cf67950eSChristian König 	if (ih == &adev->irq.ih)
287cf67950eSChristian König 		reg = SOC15_REG_OFFSET(OSSSYS, 0, mmIH_RB_WPTR);
288cf67950eSChristian König 	else if (ih == &adev->irq.ih1)
289cf67950eSChristian König 		reg = SOC15_REG_OFFSET(OSSSYS, 0, mmIH_RB_WPTR_RING1);
290cf67950eSChristian König 	else if (ih == &adev->irq.ih2)
291cf67950eSChristian König 		reg = SOC15_REG_OFFSET(OSSSYS, 0, mmIH_RB_WPTR_RING2);
292cf67950eSChristian König 	else
293cf67950eSChristian König 		BUG();
294cf67950eSChristian König 
295cf67950eSChristian König 	wptr = RREG32_NO_KIQ(reg);
296b8217575SChristian König 	if (!REG_GET_FIELD(wptr, IH_RB_WPTR, RB_OVERFLOW))
297b8217575SChristian König 		goto out;
298b8217575SChristian König 
299282aae55SKen Wang 	wptr = REG_SET_FIELD(wptr, IH_RB_WPTR, RB_OVERFLOW, 0);
300282aae55SKen Wang 
301282aae55SKen Wang 	/* When a ring buffer overflow happen start parsing interrupt
302282aae55SKen Wang 	 * from the last not overwritten vector (wptr + 32). Hopefully
303282aae55SKen Wang 	 * this should allow us to catchup.
304282aae55SKen Wang 	 */
3058bb9eb48SChristian König 	tmp = (wptr + 32) & ih->ptr_mask;
306b8217575SChristian König 	dev_warn(adev->dev, "IH ring buffer overflow "
307b8217575SChristian König 		 "(0x%08X, 0x%08X, 0x%08X)\n",
3088bb9eb48SChristian König 		 wptr, ih->rptr, tmp);
3098bb9eb48SChristian König 	ih->rptr = tmp;
310282aae55SKen Wang 
311cf67950eSChristian König 	if (ih == &adev->irq.ih)
312cf67950eSChristian König 		reg = SOC15_REG_OFFSET(OSSSYS, 0, mmIH_RB_CNTL);
313cf67950eSChristian König 	else if (ih == &adev->irq.ih1)
314cf67950eSChristian König 		reg = SOC15_REG_OFFSET(OSSSYS, 0, mmIH_RB_CNTL_RING1);
315cf67950eSChristian König 	else if (ih == &adev->irq.ih2)
316cf67950eSChristian König 		reg = SOC15_REG_OFFSET(OSSSYS, 0, mmIH_RB_CNTL_RING2);
317cf67950eSChristian König 	else
318cf67950eSChristian König 		BUG();
319cf67950eSChristian König 
320cf67950eSChristian König 	tmp = RREG32_NO_KIQ(reg);
321282aae55SKen Wang 	tmp = REG_SET_FIELD(tmp, IH_RB_CNTL, WPTR_OVERFLOW_CLEAR, 1);
322cf67950eSChristian König 	WREG32_NO_KIQ(reg, tmp);
323b8217575SChristian König 
324b8217575SChristian König out:
3258bb9eb48SChristian König 	return (wptr & ih->ptr_mask);
326282aae55SKen Wang }
327282aae55SKen Wang 
328282aae55SKen Wang /**
329282aae55SKen Wang  * vega10_ih_decode_iv - decode an interrupt vector
330282aae55SKen Wang  *
331282aae55SKen Wang  * @adev: amdgpu_device pointer
332282aae55SKen Wang  *
333282aae55SKen Wang  * Decodes the interrupt vector at the current rptr
334282aae55SKen Wang  * position and also advance the position.
335282aae55SKen Wang  */
336282aae55SKen Wang static void vega10_ih_decode_iv(struct amdgpu_device *adev,
3378bb9eb48SChristian König 				struct amdgpu_ih_ring *ih,
338282aae55SKen Wang 				struct amdgpu_iv_entry *entry)
339282aae55SKen Wang {
340282aae55SKen Wang 	/* wptr/rptr are in bytes! */
3418bb9eb48SChristian König 	u32 ring_index = ih->rptr >> 2;
342282aae55SKen Wang 	uint32_t dw[8];
343282aae55SKen Wang 
3448bb9eb48SChristian König 	dw[0] = le32_to_cpu(ih->ring[ring_index + 0]);
3458bb9eb48SChristian König 	dw[1] = le32_to_cpu(ih->ring[ring_index + 1]);
3468bb9eb48SChristian König 	dw[2] = le32_to_cpu(ih->ring[ring_index + 2]);
3478bb9eb48SChristian König 	dw[3] = le32_to_cpu(ih->ring[ring_index + 3]);
3488bb9eb48SChristian König 	dw[4] = le32_to_cpu(ih->ring[ring_index + 4]);
3498bb9eb48SChristian König 	dw[5] = le32_to_cpu(ih->ring[ring_index + 5]);
3508bb9eb48SChristian König 	dw[6] = le32_to_cpu(ih->ring[ring_index + 6]);
3518bb9eb48SChristian König 	dw[7] = le32_to_cpu(ih->ring[ring_index + 7]);
352282aae55SKen Wang 
353282aae55SKen Wang 	entry->client_id = dw[0] & 0xff;
354282aae55SKen Wang 	entry->src_id = (dw[0] >> 8) & 0xff;
355282aae55SKen Wang 	entry->ring_id = (dw[0] >> 16) & 0xff;
356c4f46f22SChristian König 	entry->vmid = (dw[0] >> 24) & 0xf;
357c4f46f22SChristian König 	entry->vmid_src = (dw[0] >> 31);
358282aae55SKen Wang 	entry->timestamp = dw[1] | ((u64)(dw[2] & 0xffff) << 32);
359282aae55SKen Wang 	entry->timestamp_src = dw[2] >> 31;
3603816e42fSChristian König 	entry->pasid = dw[3] & 0xffff;
361282aae55SKen Wang 	entry->pasid_src = dw[3] >> 31;
362282aae55SKen Wang 	entry->src_data[0] = dw[4];
363282aae55SKen Wang 	entry->src_data[1] = dw[5];
364282aae55SKen Wang 	entry->src_data[2] = dw[6];
365282aae55SKen Wang 	entry->src_data[3] = dw[7];
366282aae55SKen Wang 
367282aae55SKen Wang 	/* wptr/rptr are in bytes! */
3688bb9eb48SChristian König 	ih->rptr += 32;
369282aae55SKen Wang }
370282aae55SKen Wang 
371282aae55SKen Wang /**
372282aae55SKen Wang  * vega10_ih_set_rptr - set the IH ring buffer rptr
373282aae55SKen Wang  *
374282aae55SKen Wang  * @adev: amdgpu_device pointer
375282aae55SKen Wang  *
376282aae55SKen Wang  * Set the IH ring buffer rptr.
377282aae55SKen Wang  */
3788bb9eb48SChristian König static void vega10_ih_set_rptr(struct amdgpu_device *adev,
3798bb9eb48SChristian König 			       struct amdgpu_ih_ring *ih)
380282aae55SKen Wang {
3818bb9eb48SChristian König 	if (ih->use_doorbell) {
382282aae55SKen Wang 		/* XXX check if swapping is necessary on BE */
383d81f78b4SChristian König 		*ih->rptr_cpu = ih->rptr;
3848bb9eb48SChristian König 		WDOORBELL32(ih->doorbell_index, ih->rptr);
385cf67950eSChristian König 	} else if (ih == &adev->irq.ih) {
3868bb9eb48SChristian König 		WREG32_SOC15(OSSSYS, 0, mmIH_RB_RPTR, ih->rptr);
387cf67950eSChristian König 	} else if (ih == &adev->irq.ih1) {
388cf67950eSChristian König 		WREG32_SOC15(OSSSYS, 0, mmIH_RB_RPTR_RING1, ih->rptr);
389cf67950eSChristian König 	} else if (ih == &adev->irq.ih2) {
390cf67950eSChristian König 		WREG32_SOC15(OSSSYS, 0, mmIH_RB_RPTR_RING2, ih->rptr);
391282aae55SKen Wang 	}
392282aae55SKen Wang }
393282aae55SKen Wang 
394cf67950eSChristian König /**
395cf67950eSChristian König  * vega10_ih_self_irq - dispatch work for ring 1 and 2
396cf67950eSChristian König  *
397cf67950eSChristian König  * @adev: amdgpu_device pointer
398cf67950eSChristian König  * @source: irq source
399cf67950eSChristian König  * @entry: IV with WPTR update
400cf67950eSChristian König  *
401cf67950eSChristian König  * Update the WPTR from the IV and schedule work to handle the entries.
402cf67950eSChristian König  */
403cf67950eSChristian König static int vega10_ih_self_irq(struct amdgpu_device *adev,
404cf67950eSChristian König 			      struct amdgpu_irq_src *source,
405cf67950eSChristian König 			      struct amdgpu_iv_entry *entry)
406cf67950eSChristian König {
407cf67950eSChristian König 	uint32_t wptr = cpu_to_le32(entry->src_data[0]);
408cf67950eSChristian König 
409cf67950eSChristian König 	switch (entry->ring_id) {
410cf67950eSChristian König 	case 1:
411cf67950eSChristian König 		*adev->irq.ih1.wptr_cpu = wptr;
412cf67950eSChristian König 		schedule_work(&adev->irq.ih1_work);
413cf67950eSChristian König 		break;
414cf67950eSChristian König 	case 2:
415cf67950eSChristian König 		*adev->irq.ih2.wptr_cpu = wptr;
416cf67950eSChristian König 		schedule_work(&adev->irq.ih2_work);
417cf67950eSChristian König 		break;
418cf67950eSChristian König 	default: break;
419cf67950eSChristian König 	}
420cf67950eSChristian König 	return 0;
421cf67950eSChristian König }
422cf67950eSChristian König 
423cf67950eSChristian König static const struct amdgpu_irq_src_funcs vega10_ih_self_irq_funcs = {
424cf67950eSChristian König 	.process = vega10_ih_self_irq,
425cf67950eSChristian König };
426cf67950eSChristian König 
427cf67950eSChristian König static void vega10_ih_set_self_irq_funcs(struct amdgpu_device *adev)
428cf67950eSChristian König {
429cf67950eSChristian König 	adev->irq.self_irq.num_types = 0;
430cf67950eSChristian König 	adev->irq.self_irq.funcs = &vega10_ih_self_irq_funcs;
431cf67950eSChristian König }
432cf67950eSChristian König 
433282aae55SKen Wang static int vega10_ih_early_init(void *handle)
434282aae55SKen Wang {
435282aae55SKen Wang 	struct amdgpu_device *adev = (struct amdgpu_device *)handle;
436282aae55SKen Wang 
437282aae55SKen Wang 	vega10_ih_set_interrupt_funcs(adev);
438cf67950eSChristian König 	vega10_ih_set_self_irq_funcs(adev);
439282aae55SKen Wang 	return 0;
440282aae55SKen Wang }
441282aae55SKen Wang 
442282aae55SKen Wang static int vega10_ih_sw_init(void *handle)
443282aae55SKen Wang {
444282aae55SKen Wang 	struct amdgpu_device *adev = (struct amdgpu_device *)handle;
445cf67950eSChristian König 	int r;
446cf67950eSChristian König 
447cf67950eSChristian König 	r = amdgpu_irq_add_id(adev, SOC15_IH_CLIENTID_IH, 0,
448cf67950eSChristian König 			      &adev->irq.self_irq);
449cf67950eSChristian König 	if (r)
450cf67950eSChristian König 		return r;
451282aae55SKen Wang 
452425c3143SChristian König 	r = amdgpu_ih_ring_init(adev, &adev->irq.ih, 256 * 1024, true);
453282aae55SKen Wang 	if (r)
454282aae55SKen Wang 		return r;
455282aae55SKen Wang 
456ad710812SChristian König 	if (adev->asic_type == CHIP_VEGA10) {
457ad710812SChristian König 		r = amdgpu_ih_ring_init(adev, &adev->irq.ih1, PAGE_SIZE, true);
458ad710812SChristian König 		if (r)
459ad710812SChristian König 			return r;
460ad710812SChristian König 
461ad710812SChristian König 		r = amdgpu_ih_ring_init(adev, &adev->irq.ih2, PAGE_SIZE, true);
462ad710812SChristian König 		if (r)
463ad710812SChristian König 			return r;
464ad710812SChristian König 	}
465ad710812SChristian König 
466ad710812SChristian König 	/* TODO add doorbell for IH1 & IH2 as well */
467282aae55SKen Wang 	adev->irq.ih.use_doorbell = true;
4689564f192SOak Zeng 	adev->irq.ih.doorbell_index = adev->doorbell_index.ih << 1;
469282aae55SKen Wang 
470282aae55SKen Wang 	r = amdgpu_irq_init(adev);
471282aae55SKen Wang 
472282aae55SKen Wang 	return r;
473282aae55SKen Wang }
474282aae55SKen Wang 
475282aae55SKen Wang static int vega10_ih_sw_fini(void *handle)
476282aae55SKen Wang {
477282aae55SKen Wang 	struct amdgpu_device *adev = (struct amdgpu_device *)handle;
478282aae55SKen Wang 
479282aae55SKen Wang 	amdgpu_irq_fini(adev);
480ad710812SChristian König 	amdgpu_ih_ring_fini(adev, &adev->irq.ih2);
481ad710812SChristian König 	amdgpu_ih_ring_fini(adev, &adev->irq.ih1);
482425c3143SChristian König 	amdgpu_ih_ring_fini(adev, &adev->irq.ih);
483282aae55SKen Wang 
484282aae55SKen Wang 	return 0;
485282aae55SKen Wang }
486282aae55SKen Wang 
487282aae55SKen Wang static int vega10_ih_hw_init(void *handle)
488282aae55SKen Wang {
489282aae55SKen Wang 	int r;
490282aae55SKen Wang 	struct amdgpu_device *adev = (struct amdgpu_device *)handle;
491282aae55SKen Wang 
492282aae55SKen Wang 	r = vega10_ih_irq_init(adev);
493282aae55SKen Wang 	if (r)
494282aae55SKen Wang 		return r;
495282aae55SKen Wang 
496282aae55SKen Wang 	return 0;
497282aae55SKen Wang }
498282aae55SKen Wang 
499282aae55SKen Wang static int vega10_ih_hw_fini(void *handle)
500282aae55SKen Wang {
501282aae55SKen Wang 	struct amdgpu_device *adev = (struct amdgpu_device *)handle;
502282aae55SKen Wang 
503282aae55SKen Wang 	vega10_ih_irq_disable(adev);
504282aae55SKen Wang 
505282aae55SKen Wang 	return 0;
506282aae55SKen Wang }
507282aae55SKen Wang 
508282aae55SKen Wang static int vega10_ih_suspend(void *handle)
509282aae55SKen Wang {
510282aae55SKen Wang 	struct amdgpu_device *adev = (struct amdgpu_device *)handle;
511282aae55SKen Wang 
512282aae55SKen Wang 	return vega10_ih_hw_fini(adev);
513282aae55SKen Wang }
514282aae55SKen Wang 
515282aae55SKen Wang static int vega10_ih_resume(void *handle)
516282aae55SKen Wang {
517282aae55SKen Wang 	struct amdgpu_device *adev = (struct amdgpu_device *)handle;
518282aae55SKen Wang 
519282aae55SKen Wang 	return vega10_ih_hw_init(adev);
520282aae55SKen Wang }
521282aae55SKen Wang 
522282aae55SKen Wang static bool vega10_ih_is_idle(void *handle)
523282aae55SKen Wang {
524282aae55SKen Wang 	/* todo */
525282aae55SKen Wang 	return true;
526282aae55SKen Wang }
527282aae55SKen Wang 
528282aae55SKen Wang static int vega10_ih_wait_for_idle(void *handle)
529282aae55SKen Wang {
530282aae55SKen Wang 	/* todo */
531282aae55SKen Wang 	return -ETIMEDOUT;
532282aae55SKen Wang }
533282aae55SKen Wang 
534282aae55SKen Wang static int vega10_ih_soft_reset(void *handle)
535282aae55SKen Wang {
536282aae55SKen Wang 	/* todo */
537282aae55SKen Wang 
538282aae55SKen Wang 	return 0;
539282aae55SKen Wang }
540282aae55SKen Wang 
541282aae55SKen Wang static int vega10_ih_set_clockgating_state(void *handle,
542282aae55SKen Wang 					  enum amd_clockgating_state state)
543282aae55SKen Wang {
544282aae55SKen Wang 	return 0;
545282aae55SKen Wang }
546282aae55SKen Wang 
547282aae55SKen Wang static int vega10_ih_set_powergating_state(void *handle,
548282aae55SKen Wang 					  enum amd_powergating_state state)
549282aae55SKen Wang {
550282aae55SKen Wang 	return 0;
551282aae55SKen Wang }
552282aae55SKen Wang 
553282aae55SKen Wang const struct amd_ip_funcs vega10_ih_ip_funcs = {
554282aae55SKen Wang 	.name = "vega10_ih",
555282aae55SKen Wang 	.early_init = vega10_ih_early_init,
556282aae55SKen Wang 	.late_init = NULL,
557282aae55SKen Wang 	.sw_init = vega10_ih_sw_init,
558282aae55SKen Wang 	.sw_fini = vega10_ih_sw_fini,
559282aae55SKen Wang 	.hw_init = vega10_ih_hw_init,
560282aae55SKen Wang 	.hw_fini = vega10_ih_hw_fini,
561282aae55SKen Wang 	.suspend = vega10_ih_suspend,
562282aae55SKen Wang 	.resume = vega10_ih_resume,
563282aae55SKen Wang 	.is_idle = vega10_ih_is_idle,
564282aae55SKen Wang 	.wait_for_idle = vega10_ih_wait_for_idle,
565282aae55SKen Wang 	.soft_reset = vega10_ih_soft_reset,
566282aae55SKen Wang 	.set_clockgating_state = vega10_ih_set_clockgating_state,
567282aae55SKen Wang 	.set_powergating_state = vega10_ih_set_powergating_state,
568282aae55SKen Wang };
569282aae55SKen Wang 
570282aae55SKen Wang static const struct amdgpu_ih_funcs vega10_ih_funcs = {
571282aae55SKen Wang 	.get_wptr = vega10_ih_get_wptr,
572282aae55SKen Wang 	.decode_iv = vega10_ih_decode_iv,
573282aae55SKen Wang 	.set_rptr = vega10_ih_set_rptr
574282aae55SKen Wang };
575282aae55SKen Wang 
576282aae55SKen Wang static void vega10_ih_set_interrupt_funcs(struct amdgpu_device *adev)
577282aae55SKen Wang {
578282aae55SKen Wang 	adev->irq.ih_funcs = &vega10_ih_funcs;
579282aae55SKen Wang }
580282aae55SKen Wang 
581282aae55SKen Wang const struct amdgpu_ip_block_version vega10_ih_ip_block =
582282aae55SKen Wang {
583282aae55SKen Wang 	.type = AMD_IP_BLOCK_TYPE_IH,
584282aae55SKen Wang 	.major = 4,
585282aae55SKen Wang 	.minor = 0,
586282aae55SKen Wang 	.rev = 0,
587282aae55SKen Wang 	.funcs = &vega10_ih_ip_funcs,
588282aae55SKen Wang };
589