xref: /openbmc/linux/drivers/gpu/drm/radeon/radeon_vce.c (revision fa0cf2f246bb1cac502ba7c36082ad7a7b6deb40)
1d93f7937SChristian König /*
2d93f7937SChristian König  * Copyright 2013 Advanced Micro Devices, Inc.
3d93f7937SChristian König  * All Rights Reserved.
4d93f7937SChristian König  *
5d93f7937SChristian König  * Permission is hereby granted, free of charge, to any person obtaining a
6d93f7937SChristian König  * copy of this software and associated documentation files (the
7d93f7937SChristian König  * "Software"), to deal in the Software without restriction, including
8d93f7937SChristian König  * without limitation the rights to use, copy, modify, merge, publish,
9d93f7937SChristian König  * distribute, sub license, and/or sell copies of the Software, and to
10d93f7937SChristian König  * permit persons to whom the Software is furnished to do so, subject to
11d93f7937SChristian König  * the following conditions:
12d93f7937SChristian König  *
13d93f7937SChristian König  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
14d93f7937SChristian König  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
15d93f7937SChristian König  * FITNESS FOR A PARTICULAR PURPOSE AND NON-INFRINGEMENT. IN NO EVENT SHALL
16d93f7937SChristian König  * THE COPYRIGHT HOLDERS, AUTHORS AND/OR ITS SUPPLIERS BE LIABLE FOR ANY CLAIM,
17d93f7937SChristian König  * DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR
18d93f7937SChristian König  * OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE
19d93f7937SChristian König  * USE OR OTHER DEALINGS IN THE SOFTWARE.
20d93f7937SChristian König  *
21d93f7937SChristian König  * The above copyright notice and this permission notice (including the
22d93f7937SChristian König  * next paragraph) shall be included in all copies or substantial portions
23d93f7937SChristian König  * of the Software.
24d93f7937SChristian König  *
25d93f7937SChristian König  * Authors: Christian König <christian.koenig@amd.com>
26d93f7937SChristian König  */
27d93f7937SChristian König 
28d93f7937SChristian König #include <linux/firmware.h>
29d93f7937SChristian König #include <linux/module.h>
30d93f7937SChristian König #include <drm/drmP.h>
31d93f7937SChristian König #include <drm/drm.h>
32d93f7937SChristian König 
33d93f7937SChristian König #include "radeon.h"
34d93f7937SChristian König #include "radeon_asic.h"
35d93f7937SChristian König #include "sid.h"
36d93f7937SChristian König 
3703afe6f6SAlex Deucher /* 1 second timeout */
3803afe6f6SAlex Deucher #define VCE_IDLE_TIMEOUT_MS	1000
3903afe6f6SAlex Deucher 
40d93f7937SChristian König /* Firmware Names */
41d93f7937SChristian König #define FIRMWARE_BONAIRE	"radeon/BONAIRE_vce.bin"
42d93f7937SChristian König 
43d93f7937SChristian König MODULE_FIRMWARE(FIRMWARE_BONAIRE);
44d93f7937SChristian König 
4503afe6f6SAlex Deucher static void radeon_vce_idle_work_handler(struct work_struct *work);
4603afe6f6SAlex Deucher 
47d93f7937SChristian König /**
48d93f7937SChristian König  * radeon_vce_init - allocate memory, load vce firmware
49d93f7937SChristian König  *
50d93f7937SChristian König  * @rdev: radeon_device pointer
51d93f7937SChristian König  *
52d93f7937SChristian König  * First step to get VCE online, allocate memory and load the firmware
53d93f7937SChristian König  */
54d93f7937SChristian König int radeon_vce_init(struct radeon_device *rdev)
55d93f7937SChristian König {
5698ccc291SChristian König 	static const char *fw_version = "[ATI LIB=VCEFW,";
5798ccc291SChristian König 	static const char *fb_version = "[ATI LIB=VCEFWSTATS,";
5898ccc291SChristian König 	unsigned long size;
5998ccc291SChristian König 	const char *fw_name, *c;
6098ccc291SChristian König 	uint8_t start, mid, end;
61d93f7937SChristian König 	int i, r;
62d93f7937SChristian König 
6303afe6f6SAlex Deucher 	INIT_DELAYED_WORK(&rdev->vce.idle_work, radeon_vce_idle_work_handler);
6403afe6f6SAlex Deucher 
65d93f7937SChristian König 	switch (rdev->family) {
66d93f7937SChristian König 	case CHIP_BONAIRE:
67d93f7937SChristian König 	case CHIP_KAVERI:
68d93f7937SChristian König 	case CHIP_KABINI:
69d71c48f6SAlex Deucher 	case CHIP_HAWAII:
70428bedddSLeo Liu 	case CHIP_MULLINS:
71d93f7937SChristian König 		fw_name = FIRMWARE_BONAIRE;
72d93f7937SChristian König 		break;
73d93f7937SChristian König 
74d93f7937SChristian König 	default:
75d93f7937SChristian König 		return -EINVAL;
76d93f7937SChristian König 	}
77d93f7937SChristian König 
78d93f7937SChristian König 	r = request_firmware(&rdev->vce_fw, fw_name, rdev->dev);
79d93f7937SChristian König 	if (r) {
80d93f7937SChristian König 		dev_err(rdev->dev, "radeon_vce: Can't load firmware \"%s\"\n",
81d93f7937SChristian König 			fw_name);
82d93f7937SChristian König 		return r;
83d93f7937SChristian König 	}
84d93f7937SChristian König 
8598ccc291SChristian König 	/* search for firmware version */
8698ccc291SChristian König 
8798ccc291SChristian König 	size = rdev->vce_fw->size - strlen(fw_version) - 9;
8898ccc291SChristian König 	c = rdev->vce_fw->data;
8998ccc291SChristian König 	for (;size > 0; --size, ++c)
9098ccc291SChristian König 		if (strncmp(c, fw_version, strlen(fw_version)) == 0)
9198ccc291SChristian König 			break;
9298ccc291SChristian König 
9398ccc291SChristian König 	if (size == 0)
9498ccc291SChristian König 		return -EINVAL;
9598ccc291SChristian König 
9698ccc291SChristian König 	c += strlen(fw_version);
9798ccc291SChristian König 	if (sscanf(c, "%2hhd.%2hhd.%2hhd]", &start, &mid, &end) != 3)
9898ccc291SChristian König 		return -EINVAL;
9998ccc291SChristian König 
10098ccc291SChristian König 	/* search for feedback version */
10198ccc291SChristian König 
10298ccc291SChristian König 	size = rdev->vce_fw->size - strlen(fb_version) - 3;
10398ccc291SChristian König 	c = rdev->vce_fw->data;
10498ccc291SChristian König 	for (;size > 0; --size, ++c)
10598ccc291SChristian König 		if (strncmp(c, fb_version, strlen(fb_version)) == 0)
10698ccc291SChristian König 			break;
10798ccc291SChristian König 
10898ccc291SChristian König 	if (size == 0)
10998ccc291SChristian König 		return -EINVAL;
11098ccc291SChristian König 
11198ccc291SChristian König 	c += strlen(fb_version);
11298ccc291SChristian König 	if (sscanf(c, "%2u]", &rdev->vce.fb_version) != 1)
11398ccc291SChristian König 		return -EINVAL;
11498ccc291SChristian König 
11598ccc291SChristian König 	DRM_INFO("Found VCE firmware/feedback version %hhd.%hhd.%hhd / %d!\n",
11698ccc291SChristian König 		 start, mid, end, rdev->vce.fb_version);
11798ccc291SChristian König 
11898ccc291SChristian König 	rdev->vce.fw_version = (start << 24) | (mid << 16) | (end << 8);
11998ccc291SChristian König 
12098ccc291SChristian König 	/* we can only work with this fw version for now */
12198ccc291SChristian König 	if (rdev->vce.fw_version != ((40 << 24) | (2 << 16) | (2 << 8)))
12298ccc291SChristian König 		return -EINVAL;
12398ccc291SChristian König 
124b03b4e4bSChristian König 	/* allocate firmware, stack and heap BO */
12598ccc291SChristian König 
126*fa0cf2f2SChristian König 	size = vce_v2_0_bo_size(rdev);
12798ccc291SChristian König 	r = radeon_bo_create(rdev, size, PAGE_SIZE, true,
128831b6966SMaarten Lankhorst 			     RADEON_GEM_DOMAIN_VRAM, 0, NULL, NULL,
129831b6966SMaarten Lankhorst 			     &rdev->vce.vcpu_bo);
130d93f7937SChristian König 	if (r) {
131d93f7937SChristian König 		dev_err(rdev->dev, "(%d) failed to allocate VCE bo\n", r);
132d93f7937SChristian König 		return r;
133d93f7937SChristian König 	}
134d93f7937SChristian König 
135b03b4e4bSChristian König 	r = radeon_bo_reserve(rdev->vce.vcpu_bo, false);
136b03b4e4bSChristian König 	if (r) {
137b03b4e4bSChristian König 		radeon_bo_unref(&rdev->vce.vcpu_bo);
138b03b4e4bSChristian König 		dev_err(rdev->dev, "(%d) failed to reserve VCE bo\n", r);
139d93f7937SChristian König 		return r;
140b03b4e4bSChristian König 	}
141d93f7937SChristian König 
142b03b4e4bSChristian König 	r = radeon_bo_pin(rdev->vce.vcpu_bo, RADEON_GEM_DOMAIN_VRAM,
143b03b4e4bSChristian König 			  &rdev->vce.gpu_addr);
144b03b4e4bSChristian König 	radeon_bo_unreserve(rdev->vce.vcpu_bo);
145b03b4e4bSChristian König 	if (r) {
146b03b4e4bSChristian König 		radeon_bo_unref(&rdev->vce.vcpu_bo);
147b03b4e4bSChristian König 		dev_err(rdev->dev, "(%d) VCE bo pin failed\n", r);
148d93f7937SChristian König 		return r;
149b03b4e4bSChristian König 	}
150d93f7937SChristian König 
151d93f7937SChristian König 	for (i = 0; i < RADEON_MAX_VCE_HANDLES; ++i) {
152d93f7937SChristian König 		atomic_set(&rdev->vce.handles[i], 0);
153d93f7937SChristian König 		rdev->vce.filp[i] = NULL;
154d93f7937SChristian König         }
155d93f7937SChristian König 
156d93f7937SChristian König 	return 0;
157d93f7937SChristian König }
158d93f7937SChristian König 
159d93f7937SChristian König /**
160d93f7937SChristian König  * radeon_vce_fini - free memory
161d93f7937SChristian König  *
162d93f7937SChristian König  * @rdev: radeon_device pointer
163d93f7937SChristian König  *
164d93f7937SChristian König  * Last step on VCE teardown, free firmware memory
165d93f7937SChristian König  */
166d93f7937SChristian König void radeon_vce_fini(struct radeon_device *rdev)
167d93f7937SChristian König {
168b03b4e4bSChristian König 	if (rdev->vce.vcpu_bo == NULL)
169b03b4e4bSChristian König 		return;
170b03b4e4bSChristian König 
171d93f7937SChristian König 	radeon_bo_unref(&rdev->vce.vcpu_bo);
172b03b4e4bSChristian König 
173b03b4e4bSChristian König 	release_firmware(rdev->vce_fw);
174d93f7937SChristian König }
175d93f7937SChristian König 
176d93f7937SChristian König /**
177d93f7937SChristian König  * radeon_vce_suspend - unpin VCE fw memory
178d93f7937SChristian König  *
179d93f7937SChristian König  * @rdev: radeon_device pointer
180d93f7937SChristian König  *
181d93f7937SChristian König  */
182d93f7937SChristian König int radeon_vce_suspend(struct radeon_device *rdev)
183d93f7937SChristian König {
184b03b4e4bSChristian König 	int i;
185d93f7937SChristian König 
186d93f7937SChristian König 	if (rdev->vce.vcpu_bo == NULL)
187d93f7937SChristian König 		return 0;
188d93f7937SChristian König 
189b03b4e4bSChristian König 	for (i = 0; i < RADEON_MAX_VCE_HANDLES; ++i)
190b03b4e4bSChristian König 		if (atomic_read(&rdev->vce.handles[i]))
191b03b4e4bSChristian König 			break;
192b03b4e4bSChristian König 
193b03b4e4bSChristian König 	if (i == RADEON_MAX_VCE_HANDLES)
194b03b4e4bSChristian König 		return 0;
195b03b4e4bSChristian König 
196b03b4e4bSChristian König 	/* TODO: suspending running encoding sessions isn't supported */
197b03b4e4bSChristian König 	return -EINVAL;
198d93f7937SChristian König }
199d93f7937SChristian König 
200d93f7937SChristian König /**
201d93f7937SChristian König  * radeon_vce_resume - pin VCE fw memory
202d93f7937SChristian König  *
203d93f7937SChristian König  * @rdev: radeon_device pointer
204d93f7937SChristian König  *
205d93f7937SChristian König  */
206d93f7937SChristian König int radeon_vce_resume(struct radeon_device *rdev)
207d93f7937SChristian König {
208b03b4e4bSChristian König 	void *cpu_addr;
209d93f7937SChristian König 	int r;
210d93f7937SChristian König 
211d93f7937SChristian König 	if (rdev->vce.vcpu_bo == NULL)
212d93f7937SChristian König 		return -EINVAL;
213d93f7937SChristian König 
214d93f7937SChristian König 	r = radeon_bo_reserve(rdev->vce.vcpu_bo, false);
215d93f7937SChristian König 	if (r) {
216d93f7937SChristian König 		dev_err(rdev->dev, "(%d) failed to reserve VCE bo\n", r);
217d93f7937SChristian König 		return r;
218d93f7937SChristian König 	}
219d93f7937SChristian König 
220b03b4e4bSChristian König 	r = radeon_bo_kmap(rdev->vce.vcpu_bo, &cpu_addr);
221d93f7937SChristian König 	if (r) {
222d93f7937SChristian König 		radeon_bo_unreserve(rdev->vce.vcpu_bo);
223d93f7937SChristian König 		dev_err(rdev->dev, "(%d) VCE map failed\n", r);
224d93f7937SChristian König 		return r;
225d93f7937SChristian König 	}
226d93f7937SChristian König 
227b03b4e4bSChristian König 	memcpy(cpu_addr, rdev->vce_fw->data, rdev->vce_fw->size);
228b03b4e4bSChristian König 
229b03b4e4bSChristian König 	radeon_bo_kunmap(rdev->vce.vcpu_bo);
230b03b4e4bSChristian König 
231d93f7937SChristian König 	radeon_bo_unreserve(rdev->vce.vcpu_bo);
232d93f7937SChristian König 
233d93f7937SChristian König 	return 0;
234d93f7937SChristian König }
235d93f7937SChristian König 
236d93f7937SChristian König /**
23703afe6f6SAlex Deucher  * radeon_vce_idle_work_handler - power off VCE
23803afe6f6SAlex Deucher  *
23903afe6f6SAlex Deucher  * @work: pointer to work structure
24003afe6f6SAlex Deucher  *
24103afe6f6SAlex Deucher  * power of VCE when it's not used any more
24203afe6f6SAlex Deucher  */
24303afe6f6SAlex Deucher static void radeon_vce_idle_work_handler(struct work_struct *work)
24403afe6f6SAlex Deucher {
24503afe6f6SAlex Deucher 	struct radeon_device *rdev =
24603afe6f6SAlex Deucher 		container_of(work, struct radeon_device, vce.idle_work.work);
24703afe6f6SAlex Deucher 
24803afe6f6SAlex Deucher 	if ((radeon_fence_count_emitted(rdev, TN_RING_TYPE_VCE1_INDEX) == 0) &&
24903afe6f6SAlex Deucher 	    (radeon_fence_count_emitted(rdev, TN_RING_TYPE_VCE2_INDEX) == 0)) {
25003afe6f6SAlex Deucher 		if ((rdev->pm.pm_method == PM_METHOD_DPM) && rdev->pm.dpm_enabled) {
25103afe6f6SAlex Deucher 			radeon_dpm_enable_vce(rdev, false);
25203afe6f6SAlex Deucher 		} else {
25303afe6f6SAlex Deucher 			radeon_set_vce_clocks(rdev, 0, 0);
25403afe6f6SAlex Deucher 		}
25503afe6f6SAlex Deucher 	} else {
25603afe6f6SAlex Deucher 		schedule_delayed_work(&rdev->vce.idle_work,
25703afe6f6SAlex Deucher 				      msecs_to_jiffies(VCE_IDLE_TIMEOUT_MS));
25803afe6f6SAlex Deucher 	}
25903afe6f6SAlex Deucher }
26003afe6f6SAlex Deucher 
26103afe6f6SAlex Deucher /**
26203afe6f6SAlex Deucher  * radeon_vce_note_usage - power up VCE
26303afe6f6SAlex Deucher  *
26403afe6f6SAlex Deucher  * @rdev: radeon_device pointer
26503afe6f6SAlex Deucher  *
26603afe6f6SAlex Deucher  * Make sure VCE is powerd up when we want to use it
26703afe6f6SAlex Deucher  */
26803afe6f6SAlex Deucher void radeon_vce_note_usage(struct radeon_device *rdev)
26903afe6f6SAlex Deucher {
27003afe6f6SAlex Deucher 	bool streams_changed = false;
27103afe6f6SAlex Deucher 	bool set_clocks = !cancel_delayed_work_sync(&rdev->vce.idle_work);
27203afe6f6SAlex Deucher 	set_clocks &= schedule_delayed_work(&rdev->vce.idle_work,
27303afe6f6SAlex Deucher 					    msecs_to_jiffies(VCE_IDLE_TIMEOUT_MS));
27403afe6f6SAlex Deucher 
27503afe6f6SAlex Deucher 	if ((rdev->pm.pm_method == PM_METHOD_DPM) && rdev->pm.dpm_enabled) {
27603afe6f6SAlex Deucher 		/* XXX figure out if the streams changed */
27703afe6f6SAlex Deucher 		streams_changed = false;
27803afe6f6SAlex Deucher 	}
27903afe6f6SAlex Deucher 
28003afe6f6SAlex Deucher 	if (set_clocks || streams_changed) {
28103afe6f6SAlex Deucher 		if ((rdev->pm.pm_method == PM_METHOD_DPM) && rdev->pm.dpm_enabled) {
28203afe6f6SAlex Deucher 			radeon_dpm_enable_vce(rdev, true);
28303afe6f6SAlex Deucher 		} else {
28403afe6f6SAlex Deucher 			radeon_set_vce_clocks(rdev, 53300, 40000);
28503afe6f6SAlex Deucher 		}
28603afe6f6SAlex Deucher 	}
28703afe6f6SAlex Deucher }
28803afe6f6SAlex Deucher 
28903afe6f6SAlex Deucher /**
290d93f7937SChristian König  * radeon_vce_free_handles - free still open VCE handles
291d93f7937SChristian König  *
292d93f7937SChristian König  * @rdev: radeon_device pointer
293d93f7937SChristian König  * @filp: drm file pointer
294d93f7937SChristian König  *
295d93f7937SChristian König  * Close all VCE handles still open by this file pointer
296d93f7937SChristian König  */
297d93f7937SChristian König void radeon_vce_free_handles(struct radeon_device *rdev, struct drm_file *filp)
298d93f7937SChristian König {
299d93f7937SChristian König 	int i, r;
300d93f7937SChristian König 	for (i = 0; i < RADEON_MAX_VCE_HANDLES; ++i) {
301d93f7937SChristian König 		uint32_t handle = atomic_read(&rdev->vce.handles[i]);
302d93f7937SChristian König 		if (!handle || rdev->vce.filp[i] != filp)
303d93f7937SChristian König 			continue;
304d93f7937SChristian König 
30503afe6f6SAlex Deucher 		radeon_vce_note_usage(rdev);
30603afe6f6SAlex Deucher 
307d93f7937SChristian König 		r = radeon_vce_get_destroy_msg(rdev, TN_RING_TYPE_VCE1_INDEX,
308d93f7937SChristian König 					       handle, NULL);
309d93f7937SChristian König 		if (r)
310d93f7937SChristian König 			DRM_ERROR("Error destroying VCE handle (%d)!\n", r);
311d93f7937SChristian König 
312d93f7937SChristian König 		rdev->vce.filp[i] = NULL;
313d93f7937SChristian König 		atomic_set(&rdev->vce.handles[i], 0);
314d93f7937SChristian König 	}
315d93f7937SChristian König }
316d93f7937SChristian König 
317d93f7937SChristian König /**
318d93f7937SChristian König  * radeon_vce_get_create_msg - generate a VCE create msg
319d93f7937SChristian König  *
320d93f7937SChristian König  * @rdev: radeon_device pointer
321d93f7937SChristian König  * @ring: ring we should submit the msg to
322d93f7937SChristian König  * @handle: VCE session handle to use
323d93f7937SChristian König  * @fence: optional fence to return
324d93f7937SChristian König  *
325d93f7937SChristian König  * Open up a stream for HW test
326d93f7937SChristian König  */
327d93f7937SChristian König int radeon_vce_get_create_msg(struct radeon_device *rdev, int ring,
328d93f7937SChristian König 			      uint32_t handle, struct radeon_fence **fence)
329d93f7937SChristian König {
330d93f7937SChristian König 	const unsigned ib_size_dw = 1024;
331d93f7937SChristian König 	struct radeon_ib ib;
332d93f7937SChristian König 	uint64_t dummy;
333d93f7937SChristian König 	int i, r;
334d93f7937SChristian König 
335d93f7937SChristian König 	r = radeon_ib_get(rdev, ring, &ib, NULL, ib_size_dw * 4);
336d93f7937SChristian König 	if (r) {
337d93f7937SChristian König 		DRM_ERROR("radeon: failed to get ib (%d).\n", r);
338d93f7937SChristian König 		return r;
339d93f7937SChristian König 	}
340d93f7937SChristian König 
341d93f7937SChristian König 	dummy = ib.gpu_addr + 1024;
342d93f7937SChristian König 
343d93f7937SChristian König 	/* stitch together an VCE create msg */
344d93f7937SChristian König 	ib.length_dw = 0;
345d93f7937SChristian König 	ib.ptr[ib.length_dw++] = 0x0000000c; /* len */
346d93f7937SChristian König 	ib.ptr[ib.length_dw++] = 0x00000001; /* session cmd */
347d93f7937SChristian König 	ib.ptr[ib.length_dw++] = handle;
348d93f7937SChristian König 
349d93f7937SChristian König 	ib.ptr[ib.length_dw++] = 0x00000030; /* len */
350d93f7937SChristian König 	ib.ptr[ib.length_dw++] = 0x01000001; /* create cmd */
351d93f7937SChristian König 	ib.ptr[ib.length_dw++] = 0x00000000;
352d93f7937SChristian König 	ib.ptr[ib.length_dw++] = 0x00000042;
353d93f7937SChristian König 	ib.ptr[ib.length_dw++] = 0x0000000a;
354d93f7937SChristian König 	ib.ptr[ib.length_dw++] = 0x00000001;
355d93f7937SChristian König 	ib.ptr[ib.length_dw++] = 0x00000080;
356d93f7937SChristian König 	ib.ptr[ib.length_dw++] = 0x00000060;
357d93f7937SChristian König 	ib.ptr[ib.length_dw++] = 0x00000100;
358d93f7937SChristian König 	ib.ptr[ib.length_dw++] = 0x00000100;
359d93f7937SChristian König 	ib.ptr[ib.length_dw++] = 0x0000000c;
360d93f7937SChristian König 	ib.ptr[ib.length_dw++] = 0x00000000;
361d93f7937SChristian König 
362d93f7937SChristian König 	ib.ptr[ib.length_dw++] = 0x00000014; /* len */
363d93f7937SChristian König 	ib.ptr[ib.length_dw++] = 0x05000005; /* feedback buffer */
364d93f7937SChristian König 	ib.ptr[ib.length_dw++] = upper_32_bits(dummy);
365d93f7937SChristian König 	ib.ptr[ib.length_dw++] = dummy;
366d93f7937SChristian König 	ib.ptr[ib.length_dw++] = 0x00000001;
367d93f7937SChristian König 
368d93f7937SChristian König 	for (i = ib.length_dw; i < ib_size_dw; ++i)
369d93f7937SChristian König 		ib.ptr[i] = 0x0;
370d93f7937SChristian König 
3711538a9e0SMichel Dänzer 	r = radeon_ib_schedule(rdev, &ib, NULL, false);
372d93f7937SChristian König 	if (r) {
373d93f7937SChristian König 	        DRM_ERROR("radeon: failed to schedule ib (%d).\n", r);
374d93f7937SChristian König 	}
375d93f7937SChristian König 
376d93f7937SChristian König 	if (fence)
377d93f7937SChristian König 		*fence = radeon_fence_ref(ib.fence);
378d93f7937SChristian König 
379d93f7937SChristian König 	radeon_ib_free(rdev, &ib);
380d93f7937SChristian König 
381d93f7937SChristian König 	return r;
382d93f7937SChristian König }
383d93f7937SChristian König 
384d93f7937SChristian König /**
385d93f7937SChristian König  * radeon_vce_get_destroy_msg - generate a VCE destroy msg
386d93f7937SChristian König  *
387d93f7937SChristian König  * @rdev: radeon_device pointer
388d93f7937SChristian König  * @ring: ring we should submit the msg to
389d93f7937SChristian König  * @handle: VCE session handle to use
390d93f7937SChristian König  * @fence: optional fence to return
391d93f7937SChristian König  *
392d93f7937SChristian König  * Close up a stream for HW test or if userspace failed to do so
393d93f7937SChristian König  */
394d93f7937SChristian König int radeon_vce_get_destroy_msg(struct radeon_device *rdev, int ring,
395d93f7937SChristian König 			       uint32_t handle, struct radeon_fence **fence)
396d93f7937SChristian König {
397d93f7937SChristian König 	const unsigned ib_size_dw = 1024;
398d93f7937SChristian König 	struct radeon_ib ib;
399d93f7937SChristian König 	uint64_t dummy;
400d93f7937SChristian König 	int i, r;
401d93f7937SChristian König 
402d93f7937SChristian König 	r = radeon_ib_get(rdev, ring, &ib, NULL, ib_size_dw * 4);
403d93f7937SChristian König 	if (r) {
404d93f7937SChristian König 		DRM_ERROR("radeon: failed to get ib (%d).\n", r);
405d93f7937SChristian König 		return r;
406d93f7937SChristian König 	}
407d93f7937SChristian König 
408d93f7937SChristian König 	dummy = ib.gpu_addr + 1024;
409d93f7937SChristian König 
410d93f7937SChristian König 	/* stitch together an VCE destroy msg */
411d93f7937SChristian König 	ib.length_dw = 0;
412d93f7937SChristian König 	ib.ptr[ib.length_dw++] = 0x0000000c; /* len */
413d93f7937SChristian König 	ib.ptr[ib.length_dw++] = 0x00000001; /* session cmd */
414d93f7937SChristian König 	ib.ptr[ib.length_dw++] = handle;
415d93f7937SChristian König 
416d93f7937SChristian König 	ib.ptr[ib.length_dw++] = 0x00000014; /* len */
417d93f7937SChristian König 	ib.ptr[ib.length_dw++] = 0x05000005; /* feedback buffer */
418d93f7937SChristian König 	ib.ptr[ib.length_dw++] = upper_32_bits(dummy);
419d93f7937SChristian König 	ib.ptr[ib.length_dw++] = dummy;
420d93f7937SChristian König 	ib.ptr[ib.length_dw++] = 0x00000001;
421d93f7937SChristian König 
422d93f7937SChristian König 	ib.ptr[ib.length_dw++] = 0x00000008; /* len */
423d93f7937SChristian König 	ib.ptr[ib.length_dw++] = 0x02000001; /* destroy cmd */
424d93f7937SChristian König 
425d93f7937SChristian König 	for (i = ib.length_dw; i < ib_size_dw; ++i)
426d93f7937SChristian König 		ib.ptr[i] = 0x0;
427d93f7937SChristian König 
4281538a9e0SMichel Dänzer 	r = radeon_ib_schedule(rdev, &ib, NULL, false);
429d93f7937SChristian König 	if (r) {
430d93f7937SChristian König 	        DRM_ERROR("radeon: failed to schedule ib (%d).\n", r);
431d93f7937SChristian König 	}
432d93f7937SChristian König 
433d93f7937SChristian König 	if (fence)
434d93f7937SChristian König 		*fence = radeon_fence_ref(ib.fence);
435d93f7937SChristian König 
436d93f7937SChristian König 	radeon_ib_free(rdev, &ib);
437d93f7937SChristian König 
438d93f7937SChristian König 	return r;
439d93f7937SChristian König }
440d93f7937SChristian König 
441d93f7937SChristian König /**
442d93f7937SChristian König  * radeon_vce_cs_reloc - command submission relocation
443d93f7937SChristian König  *
444d93f7937SChristian König  * @p: parser context
445d93f7937SChristian König  * @lo: address of lower dword
446d93f7937SChristian König  * @hi: address of higher dword
4472fc5703aSLeo Liu  * @size: size of checker for relocation buffer
448d93f7937SChristian König  *
449d93f7937SChristian König  * Patch relocation inside command stream with real buffer address
450d93f7937SChristian König  */
4512fc5703aSLeo Liu int radeon_vce_cs_reloc(struct radeon_cs_parser *p, int lo, int hi,
4522fc5703aSLeo Liu 			unsigned size)
453d93f7937SChristian König {
454d93f7937SChristian König 	struct radeon_cs_chunk *relocs_chunk;
4551d0c0942SChristian König 	struct radeon_bo_list *reloc;
4562fc5703aSLeo Liu 	uint64_t start, end, offset;
457d93f7937SChristian König 	unsigned idx;
458d93f7937SChristian König 
4596d2d13ddSChristian König 	relocs_chunk = p->chunk_relocs;
460d93f7937SChristian König 	offset = radeon_get_ib_value(p, lo);
461d93f7937SChristian König 	idx = radeon_get_ib_value(p, hi);
462d93f7937SChristian König 
463d93f7937SChristian König 	if (idx >= relocs_chunk->length_dw) {
464d93f7937SChristian König 		DRM_ERROR("Relocs at %d after relocations chunk end %d !\n",
465d93f7937SChristian König 			  idx, relocs_chunk->length_dw);
466d93f7937SChristian König 		return -EINVAL;
467d93f7937SChristian König 	}
468d93f7937SChristian König 
469466be338SChristian König 	reloc = &p->relocs[(idx / 4)];
4702fc5703aSLeo Liu 	start = reloc->gpu_offset;
4712fc5703aSLeo Liu 	end = start + radeon_bo_size(reloc->robj);
4722fc5703aSLeo Liu 	start += offset;
473d93f7937SChristian König 
4742fc5703aSLeo Liu 	p->ib.ptr[lo] = start & 0xFFFFFFFF;
4752fc5703aSLeo Liu 	p->ib.ptr[hi] = start >> 32;
4762fc5703aSLeo Liu 
4772fc5703aSLeo Liu 	if (end <= start) {
4782fc5703aSLeo Liu 		DRM_ERROR("invalid reloc offset %llX!\n", offset);
4792fc5703aSLeo Liu 		return -EINVAL;
4802fc5703aSLeo Liu 	}
4812fc5703aSLeo Liu 	if ((end - start) < size) {
4822fc5703aSLeo Liu 		DRM_ERROR("buffer to small (%d / %d)!\n",
4832fc5703aSLeo Liu 			(unsigned)(end - start), size);
4842fc5703aSLeo Liu 		return -EINVAL;
4852fc5703aSLeo Liu 	}
486d93f7937SChristian König 
487d93f7937SChristian König 	return 0;
488d93f7937SChristian König }
489d93f7937SChristian König 
490d93f7937SChristian König /**
4912fc5703aSLeo Liu  * radeon_vce_validate_handle - validate stream handle
4922fc5703aSLeo Liu  *
4932fc5703aSLeo Liu  * @p: parser context
4942fc5703aSLeo Liu  * @handle: handle to validate
49529c63fe2SChristian König  * @allocated: allocated a new handle?
4962fc5703aSLeo Liu  *
4972fc5703aSLeo Liu  * Validates the handle and return the found session index or -EINVAL
4982fc5703aSLeo Liu  * we we don't have another free session index.
4992fc5703aSLeo Liu  */
50029c63fe2SChristian König static int radeon_vce_validate_handle(struct radeon_cs_parser *p,
50129c63fe2SChristian König 				      uint32_t handle, bool *allocated)
5022fc5703aSLeo Liu {
5032fc5703aSLeo Liu 	unsigned i;
5042fc5703aSLeo Liu 
50529c63fe2SChristian König 	*allocated = false;
50629c63fe2SChristian König 
5072fc5703aSLeo Liu 	/* validate the handle */
5082fc5703aSLeo Liu 	for (i = 0; i < RADEON_MAX_VCE_HANDLES; ++i) {
50929c63fe2SChristian König 		if (atomic_read(&p->rdev->vce.handles[i]) == handle) {
51029c63fe2SChristian König 			if (p->rdev->vce.filp[i] != p->filp) {
51129c63fe2SChristian König 				DRM_ERROR("VCE handle collision detected!\n");
51229c63fe2SChristian König 				return -EINVAL;
51329c63fe2SChristian König 			}
5142fc5703aSLeo Liu 			return i;
5152fc5703aSLeo Liu 		}
51629c63fe2SChristian König 	}
5172fc5703aSLeo Liu 
5182fc5703aSLeo Liu 	/* handle not found try to alloc a new one */
5192fc5703aSLeo Liu 	for (i = 0; i < RADEON_MAX_VCE_HANDLES; ++i) {
5202fc5703aSLeo Liu 		if (!atomic_cmpxchg(&p->rdev->vce.handles[i], 0, handle)) {
5212fc5703aSLeo Liu 			p->rdev->vce.filp[i] = p->filp;
5222fc5703aSLeo Liu 			p->rdev->vce.img_size[i] = 0;
52329c63fe2SChristian König 			*allocated = true;
5242fc5703aSLeo Liu 			return i;
5252fc5703aSLeo Liu 		}
5262fc5703aSLeo Liu 	}
5272fc5703aSLeo Liu 
5282fc5703aSLeo Liu 	DRM_ERROR("No more free VCE handles!\n");
5292fc5703aSLeo Liu 	return -EINVAL;
5302fc5703aSLeo Liu }
5312fc5703aSLeo Liu 
5322fc5703aSLeo Liu /**
533d93f7937SChristian König  * radeon_vce_cs_parse - parse and validate the command stream
534d93f7937SChristian König  *
535d93f7937SChristian König  * @p: parser context
536d93f7937SChristian König  *
537d93f7937SChristian König  */
538d93f7937SChristian König int radeon_vce_cs_parse(struct radeon_cs_parser *p)
539d93f7937SChristian König {
5402fc5703aSLeo Liu 	int session_idx = -1;
54129c63fe2SChristian König 	bool destroyed = false, created = false, allocated = false;
5422fc5703aSLeo Liu 	uint32_t tmp, handle = 0;
5432fc5703aSLeo Liu 	uint32_t *size = &tmp;
54429c63fe2SChristian König 	int i, r = 0;
545d93f7937SChristian König 
5466d2d13ddSChristian König 	while (p->idx < p->chunk_ib->length_dw) {
547d93f7937SChristian König 		uint32_t len = radeon_get_ib_value(p, p->idx);
548d93f7937SChristian König 		uint32_t cmd = radeon_get_ib_value(p, p->idx + 1);
549d93f7937SChristian König 
550d93f7937SChristian König 		if ((len < 8) || (len & 3)) {
551d93f7937SChristian König 			DRM_ERROR("invalid VCE command length (%d)!\n", len);
55229c63fe2SChristian König 			r = -EINVAL;
55329c63fe2SChristian König 			goto out;
554d93f7937SChristian König 		}
555d93f7937SChristian König 
5562fc5703aSLeo Liu 		if (destroyed) {
5572fc5703aSLeo Liu 			DRM_ERROR("No other command allowed after destroy!\n");
55829c63fe2SChristian König 			r = -EINVAL;
55929c63fe2SChristian König 			goto out;
5602fc5703aSLeo Liu 		}
5612fc5703aSLeo Liu 
562d93f7937SChristian König 		switch (cmd) {
563d93f7937SChristian König 		case 0x00000001: // session
564d93f7937SChristian König 			handle = radeon_get_ib_value(p, p->idx + 2);
56529c63fe2SChristian König 			session_idx = radeon_vce_validate_handle(p, handle,
56629c63fe2SChristian König 								 &allocated);
5672fc5703aSLeo Liu 			if (session_idx < 0)
5682fc5703aSLeo Liu 				return session_idx;
5692fc5703aSLeo Liu 			size = &p->rdev->vce.img_size[session_idx];
570d93f7937SChristian König 			break;
571d93f7937SChristian König 
572d93f7937SChristian König 		case 0x00000002: // task info
5732fc5703aSLeo Liu 			break;
5742fc5703aSLeo Liu 
575d93f7937SChristian König 		case 0x01000001: // create
57629c63fe2SChristian König 			created = true;
57729c63fe2SChristian König 			if (!allocated) {
57829c63fe2SChristian König 				DRM_ERROR("Handle already in use!\n");
57929c63fe2SChristian König 				r = -EINVAL;
58029c63fe2SChristian König 				goto out;
58129c63fe2SChristian König 			}
58229c63fe2SChristian König 
5832fc5703aSLeo Liu 			*size = radeon_get_ib_value(p, p->idx + 8) *
5842fc5703aSLeo Liu 				radeon_get_ib_value(p, p->idx + 10) *
5852fc5703aSLeo Liu 				8 * 3 / 2;
5862fc5703aSLeo Liu 			break;
5872fc5703aSLeo Liu 
588d93f7937SChristian König 		case 0x04000001: // config extension
589d93f7937SChristian König 		case 0x04000002: // pic control
590d93f7937SChristian König 		case 0x04000005: // rate control
591d93f7937SChristian König 		case 0x04000007: // motion estimation
592d93f7937SChristian König 		case 0x04000008: // rdo
5931957d6beSLeo Liu 		case 0x04000009: // vui
594d93f7937SChristian König 			break;
595d93f7937SChristian König 
596d93f7937SChristian König 		case 0x03000001: // encode
5972fc5703aSLeo Liu 			r = radeon_vce_cs_reloc(p, p->idx + 10, p->idx + 9,
5982fc5703aSLeo Liu 						*size);
599d93f7937SChristian König 			if (r)
60029c63fe2SChristian König 				goto out;
601d93f7937SChristian König 
6022fc5703aSLeo Liu 			r = radeon_vce_cs_reloc(p, p->idx + 12, p->idx + 11,
6032fc5703aSLeo Liu 						*size / 3);
604d93f7937SChristian König 			if (r)
60529c63fe2SChristian König 				goto out;
606d93f7937SChristian König 			break;
607d93f7937SChristian König 
608d93f7937SChristian König 		case 0x02000001: // destroy
6092fc5703aSLeo Liu 			destroyed = true;
610d93f7937SChristian König 			break;
611d93f7937SChristian König 
612d93f7937SChristian König 		case 0x05000001: // context buffer
6132fc5703aSLeo Liu 			r = radeon_vce_cs_reloc(p, p->idx + 3, p->idx + 2,
6142fc5703aSLeo Liu 						*size * 2);
6152fc5703aSLeo Liu 			if (r)
61629c63fe2SChristian König 				goto out;
6172fc5703aSLeo Liu 			break;
6182fc5703aSLeo Liu 
619d93f7937SChristian König 		case 0x05000004: // video bitstream buffer
6202fc5703aSLeo Liu 			tmp = radeon_get_ib_value(p, p->idx + 4);
6212fc5703aSLeo Liu 			r = radeon_vce_cs_reloc(p, p->idx + 3, p->idx + 2,
6222fc5703aSLeo Liu 						tmp);
6232fc5703aSLeo Liu 			if (r)
62429c63fe2SChristian König 				goto out;
6252fc5703aSLeo Liu 			break;
6262fc5703aSLeo Liu 
627d93f7937SChristian König 		case 0x05000005: // feedback buffer
6282fc5703aSLeo Liu 			r = radeon_vce_cs_reloc(p, p->idx + 3, p->idx + 2,
6292fc5703aSLeo Liu 						4096);
630d93f7937SChristian König 			if (r)
63129c63fe2SChristian König 				goto out;
632d93f7937SChristian König 			break;
633d93f7937SChristian König 
634d93f7937SChristian König 		default:
635d93f7937SChristian König 			DRM_ERROR("invalid VCE command (0x%x)!\n", cmd);
63629c63fe2SChristian König 			r = -EINVAL;
63729c63fe2SChristian König 			goto out;
638d93f7937SChristian König 		}
639d93f7937SChristian König 
6402fc5703aSLeo Liu 		if (session_idx == -1) {
6412fc5703aSLeo Liu 			DRM_ERROR("no session command at start of IB\n");
64229c63fe2SChristian König 			r = -EINVAL;
64329c63fe2SChristian König 			goto out;
6442fc5703aSLeo Liu 		}
6452fc5703aSLeo Liu 
646d93f7937SChristian König 		p->idx += len / 4;
647d93f7937SChristian König 	}
648d93f7937SChristian König 
64929c63fe2SChristian König 	if (allocated && !created) {
65029c63fe2SChristian König 		DRM_ERROR("New session without create command!\n");
65129c63fe2SChristian König 		r = -ENOENT;
65229c63fe2SChristian König 	}
65329c63fe2SChristian König 
65429c63fe2SChristian König out:
65529c63fe2SChristian König 	if ((!r && destroyed) || (r && allocated)) {
65629c63fe2SChristian König 		/*
65729c63fe2SChristian König 		 * IB contains a destroy msg or we have allocated an
65829c63fe2SChristian König 		 * handle and got an error, anyway free the handle
65929c63fe2SChristian König 		 */
660d93f7937SChristian König 		for (i = 0; i < RADEON_MAX_VCE_HANDLES; ++i)
661d93f7937SChristian König 			atomic_cmpxchg(&p->rdev->vce.handles[i], handle, 0);
6622fc5703aSLeo Liu 	}
663d93f7937SChristian König 
66429c63fe2SChristian König 	return r;
665d93f7937SChristian König }
666d93f7937SChristian König 
667d93f7937SChristian König /**
668d93f7937SChristian König  * radeon_vce_semaphore_emit - emit a semaphore command
669d93f7937SChristian König  *
670d93f7937SChristian König  * @rdev: radeon_device pointer
671d93f7937SChristian König  * @ring: engine to use
672d93f7937SChristian König  * @semaphore: address of semaphore
673d93f7937SChristian König  * @emit_wait: true=emit wait, false=emit signal
674d93f7937SChristian König  *
675d93f7937SChristian König  */
676d93f7937SChristian König bool radeon_vce_semaphore_emit(struct radeon_device *rdev,
677d93f7937SChristian König 			       struct radeon_ring *ring,
678d93f7937SChristian König 			       struct radeon_semaphore *semaphore,
679d93f7937SChristian König 			       bool emit_wait)
680d93f7937SChristian König {
681d93f7937SChristian König 	uint64_t addr = semaphore->gpu_addr;
682d93f7937SChristian König 
683d93f7937SChristian König 	radeon_ring_write(ring, VCE_CMD_SEMAPHORE);
684d93f7937SChristian König 	radeon_ring_write(ring, (addr >> 3) & 0x000FFFFF);
685d93f7937SChristian König 	radeon_ring_write(ring, (addr >> 23) & 0x000FFFFF);
686d93f7937SChristian König 	radeon_ring_write(ring, 0x01003000 | (emit_wait ? 1 : 0));
687d93f7937SChristian König 	if (!emit_wait)
688d93f7937SChristian König 		radeon_ring_write(ring, VCE_CMD_END);
689d93f7937SChristian König 
690d93f7937SChristian König 	return true;
691d93f7937SChristian König }
692d93f7937SChristian König 
693d93f7937SChristian König /**
694d93f7937SChristian König  * radeon_vce_ib_execute - execute indirect buffer
695d93f7937SChristian König  *
696d93f7937SChristian König  * @rdev: radeon_device pointer
697d93f7937SChristian König  * @ib: the IB to execute
698d93f7937SChristian König  *
699d93f7937SChristian König  */
700d93f7937SChristian König void radeon_vce_ib_execute(struct radeon_device *rdev, struct radeon_ib *ib)
701d93f7937SChristian König {
702d93f7937SChristian König 	struct radeon_ring *ring = &rdev->ring[ib->ring];
703d93f7937SChristian König 	radeon_ring_write(ring, VCE_CMD_IB);
704d93f7937SChristian König 	radeon_ring_write(ring, ib->gpu_addr);
705d93f7937SChristian König 	radeon_ring_write(ring, upper_32_bits(ib->gpu_addr));
706d93f7937SChristian König 	radeon_ring_write(ring, ib->length_dw);
707d93f7937SChristian König }
708d93f7937SChristian König 
709d93f7937SChristian König /**
710d93f7937SChristian König  * radeon_vce_fence_emit - add a fence command to the ring
711d93f7937SChristian König  *
712d93f7937SChristian König  * @rdev: radeon_device pointer
713d93f7937SChristian König  * @fence: the fence
714d93f7937SChristian König  *
715d93f7937SChristian König  */
716d93f7937SChristian König void radeon_vce_fence_emit(struct radeon_device *rdev,
717d93f7937SChristian König 			   struct radeon_fence *fence)
718d93f7937SChristian König {
719d93f7937SChristian König 	struct radeon_ring *ring = &rdev->ring[fence->ring];
720681941c1SChristoph Jaeger 	uint64_t addr = rdev->fence_drv[fence->ring].gpu_addr;
721d93f7937SChristian König 
722d93f7937SChristian König 	radeon_ring_write(ring, VCE_CMD_FENCE);
723d93f7937SChristian König 	radeon_ring_write(ring, addr);
724d93f7937SChristian König 	radeon_ring_write(ring, upper_32_bits(addr));
725d93f7937SChristian König 	radeon_ring_write(ring, fence->seq);
726d93f7937SChristian König 	radeon_ring_write(ring, VCE_CMD_TRAP);
727d93f7937SChristian König 	radeon_ring_write(ring, VCE_CMD_END);
728d93f7937SChristian König }
729d93f7937SChristian König 
730d93f7937SChristian König /**
731d93f7937SChristian König  * radeon_vce_ring_test - test if VCE ring is working
732d93f7937SChristian König  *
733d93f7937SChristian König  * @rdev: radeon_device pointer
734d93f7937SChristian König  * @ring: the engine to test on
735d93f7937SChristian König  *
736d93f7937SChristian König  */
737d93f7937SChristian König int radeon_vce_ring_test(struct radeon_device *rdev, struct radeon_ring *ring)
738d93f7937SChristian König {
739d93f7937SChristian König 	uint32_t rptr = vce_v1_0_get_rptr(rdev, ring);
740d93f7937SChristian König 	unsigned i;
741d93f7937SChristian König 	int r;
742d93f7937SChristian König 
743d93f7937SChristian König 	r = radeon_ring_lock(rdev, ring, 16);
744d93f7937SChristian König 	if (r) {
745d93f7937SChristian König 		DRM_ERROR("radeon: vce failed to lock ring %d (%d).\n",
746d93f7937SChristian König 			  ring->idx, r);
747d93f7937SChristian König 		return r;
748d93f7937SChristian König 	}
749d93f7937SChristian König 	radeon_ring_write(ring, VCE_CMD_END);
7501538a9e0SMichel Dänzer 	radeon_ring_unlock_commit(rdev, ring, false);
751d93f7937SChristian König 
752d93f7937SChristian König 	for (i = 0; i < rdev->usec_timeout; i++) {
753d93f7937SChristian König 	        if (vce_v1_0_get_rptr(rdev, ring) != rptr)
754d93f7937SChristian König 	                break;
755d93f7937SChristian König 	        DRM_UDELAY(1);
756d93f7937SChristian König 	}
757d93f7937SChristian König 
758d93f7937SChristian König 	if (i < rdev->usec_timeout) {
759d93f7937SChristian König 	        DRM_INFO("ring test on %d succeeded in %d usecs\n",
760d93f7937SChristian König 	                 ring->idx, i);
761d93f7937SChristian König 	} else {
762d93f7937SChristian König 	        DRM_ERROR("radeon: ring %d test failed\n",
763d93f7937SChristian König 	                  ring->idx);
764d93f7937SChristian König 	        r = -ETIMEDOUT;
765d93f7937SChristian König 	}
766d93f7937SChristian König 
767d93f7937SChristian König 	return r;
768d93f7937SChristian König }
769d93f7937SChristian König 
770d93f7937SChristian König /**
771d93f7937SChristian König  * radeon_vce_ib_test - test if VCE IBs are working
772d93f7937SChristian König  *
773d93f7937SChristian König  * @rdev: radeon_device pointer
774d93f7937SChristian König  * @ring: the engine to test on
775d93f7937SChristian König  *
776d93f7937SChristian König  */
777d93f7937SChristian König int radeon_vce_ib_test(struct radeon_device *rdev, struct radeon_ring *ring)
778d93f7937SChristian König {
779d93f7937SChristian König 	struct radeon_fence *fence = NULL;
780d93f7937SChristian König 	int r;
781d93f7937SChristian König 
782d93f7937SChristian König 	r = radeon_vce_get_create_msg(rdev, ring->idx, 1, NULL);
783d93f7937SChristian König 	if (r) {
784d93f7937SChristian König 		DRM_ERROR("radeon: failed to get create msg (%d).\n", r);
785d93f7937SChristian König 		goto error;
786d93f7937SChristian König 	}
787d93f7937SChristian König 
788d93f7937SChristian König 	r = radeon_vce_get_destroy_msg(rdev, ring->idx, 1, &fence);
789d93f7937SChristian König 	if (r) {
790d93f7937SChristian König 		DRM_ERROR("radeon: failed to get destroy ib (%d).\n", r);
791d93f7937SChristian König 		goto error;
792d93f7937SChristian König 	}
793d93f7937SChristian König 
794d93f7937SChristian König 	r = radeon_fence_wait(fence, false);
795d93f7937SChristian König 	if (r) {
796d93f7937SChristian König 		DRM_ERROR("radeon: fence wait failed (%d).\n", r);
797d93f7937SChristian König 	} else {
798d93f7937SChristian König 	        DRM_INFO("ib test on ring %d succeeded\n", ring->idx);
799d93f7937SChristian König 	}
800d93f7937SChristian König error:
801d93f7937SChristian König 	radeon_fence_unref(&fence);
802d93f7937SChristian König 	return r;
803d93f7937SChristian König }
804