xref: /openbmc/linux/drivers/gpu/drm/radeon/radeon_vce.c (revision d71c48f69cc03912578472bced4cc43069fe07e1)
1d93f7937SChristian König /*
2d93f7937SChristian König  * Copyright 2013 Advanced Micro Devices, Inc.
3d93f7937SChristian König  * All Rights Reserved.
4d93f7937SChristian König  *
5d93f7937SChristian König  * Permission is hereby granted, free of charge, to any person obtaining a
6d93f7937SChristian König  * copy of this software and associated documentation files (the
7d93f7937SChristian König  * "Software"), to deal in the Software without restriction, including
8d93f7937SChristian König  * without limitation the rights to use, copy, modify, merge, publish,
9d93f7937SChristian König  * distribute, sub license, and/or sell copies of the Software, and to
10d93f7937SChristian König  * permit persons to whom the Software is furnished to do so, subject to
11d93f7937SChristian König  * the following conditions:
12d93f7937SChristian König  *
13d93f7937SChristian König  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
14d93f7937SChristian König  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
15d93f7937SChristian König  * FITNESS FOR A PARTICULAR PURPOSE AND NON-INFRINGEMENT. IN NO EVENT SHALL
16d93f7937SChristian König  * THE COPYRIGHT HOLDERS, AUTHORS AND/OR ITS SUPPLIERS BE LIABLE FOR ANY CLAIM,
17d93f7937SChristian König  * DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR
18d93f7937SChristian König  * OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE
19d93f7937SChristian König  * USE OR OTHER DEALINGS IN THE SOFTWARE.
20d93f7937SChristian König  *
21d93f7937SChristian König  * The above copyright notice and this permission notice (including the
22d93f7937SChristian König  * next paragraph) shall be included in all copies or substantial portions
23d93f7937SChristian König  * of the Software.
24d93f7937SChristian König  *
25d93f7937SChristian König  * Authors: Christian König <christian.koenig@amd.com>
26d93f7937SChristian König  */
27d93f7937SChristian König 
28d93f7937SChristian König #include <linux/firmware.h>
29d93f7937SChristian König #include <linux/module.h>
30d93f7937SChristian König #include <drm/drmP.h>
31d93f7937SChristian König #include <drm/drm.h>
32d93f7937SChristian König 
33d93f7937SChristian König #include "radeon.h"
34d93f7937SChristian König #include "radeon_asic.h"
35d93f7937SChristian König #include "sid.h"
36d93f7937SChristian König 
3703afe6f6SAlex Deucher /* 1 second timeout */
3803afe6f6SAlex Deucher #define VCE_IDLE_TIMEOUT_MS	1000
3903afe6f6SAlex Deucher 
40d93f7937SChristian König /* Firmware Names */
41d93f7937SChristian König #define FIRMWARE_BONAIRE	"radeon/BONAIRE_vce.bin"
42d93f7937SChristian König 
43d93f7937SChristian König MODULE_FIRMWARE(FIRMWARE_BONAIRE);
44d93f7937SChristian König 
4503afe6f6SAlex Deucher static void radeon_vce_idle_work_handler(struct work_struct *work);
4603afe6f6SAlex Deucher 
47d93f7937SChristian König /**
48d93f7937SChristian König  * radeon_vce_init - allocate memory, load vce firmware
49d93f7937SChristian König  *
50d93f7937SChristian König  * @rdev: radeon_device pointer
51d93f7937SChristian König  *
52d93f7937SChristian König  * First step to get VCE online, allocate memory and load the firmware
53d93f7937SChristian König  */
54d93f7937SChristian König int radeon_vce_init(struct radeon_device *rdev)
55d93f7937SChristian König {
5698ccc291SChristian König 	static const char *fw_version = "[ATI LIB=VCEFW,";
5798ccc291SChristian König 	static const char *fb_version = "[ATI LIB=VCEFWSTATS,";
5898ccc291SChristian König 	unsigned long size;
5998ccc291SChristian König 	const char *fw_name, *c;
6098ccc291SChristian König 	uint8_t start, mid, end;
61d93f7937SChristian König 	int i, r;
62d93f7937SChristian König 
6303afe6f6SAlex Deucher 	INIT_DELAYED_WORK(&rdev->vce.idle_work, radeon_vce_idle_work_handler);
6403afe6f6SAlex Deucher 
65d93f7937SChristian König 	switch (rdev->family) {
66d93f7937SChristian König 	case CHIP_BONAIRE:
67d93f7937SChristian König 	case CHIP_KAVERI:
68d93f7937SChristian König 	case CHIP_KABINI:
69*d71c48f6SAlex Deucher 	case CHIP_HAWAII:
70428bedddSLeo Liu 	case CHIP_MULLINS:
71d93f7937SChristian König 		fw_name = FIRMWARE_BONAIRE;
72d93f7937SChristian König 		break;
73d93f7937SChristian König 
74d93f7937SChristian König 	default:
75d93f7937SChristian König 		return -EINVAL;
76d93f7937SChristian König 	}
77d93f7937SChristian König 
78d93f7937SChristian König 	r = request_firmware(&rdev->vce_fw, fw_name, rdev->dev);
79d93f7937SChristian König 	if (r) {
80d93f7937SChristian König 		dev_err(rdev->dev, "radeon_vce: Can't load firmware \"%s\"\n",
81d93f7937SChristian König 			fw_name);
82d93f7937SChristian König 		return r;
83d93f7937SChristian König 	}
84d93f7937SChristian König 
8598ccc291SChristian König 	/* search for firmware version */
8698ccc291SChristian König 
8798ccc291SChristian König 	size = rdev->vce_fw->size - strlen(fw_version) - 9;
8898ccc291SChristian König 	c = rdev->vce_fw->data;
8998ccc291SChristian König 	for (;size > 0; --size, ++c)
9098ccc291SChristian König 		if (strncmp(c, fw_version, strlen(fw_version)) == 0)
9198ccc291SChristian König 			break;
9298ccc291SChristian König 
9398ccc291SChristian König 	if (size == 0)
9498ccc291SChristian König 		return -EINVAL;
9598ccc291SChristian König 
9698ccc291SChristian König 	c += strlen(fw_version);
9798ccc291SChristian König 	if (sscanf(c, "%2hhd.%2hhd.%2hhd]", &start, &mid, &end) != 3)
9898ccc291SChristian König 		return -EINVAL;
9998ccc291SChristian König 
10098ccc291SChristian König 	/* search for feedback version */
10198ccc291SChristian König 
10298ccc291SChristian König 	size = rdev->vce_fw->size - strlen(fb_version) - 3;
10398ccc291SChristian König 	c = rdev->vce_fw->data;
10498ccc291SChristian König 	for (;size > 0; --size, ++c)
10598ccc291SChristian König 		if (strncmp(c, fb_version, strlen(fb_version)) == 0)
10698ccc291SChristian König 			break;
10798ccc291SChristian König 
10898ccc291SChristian König 	if (size == 0)
10998ccc291SChristian König 		return -EINVAL;
11098ccc291SChristian König 
11198ccc291SChristian König 	c += strlen(fb_version);
11298ccc291SChristian König 	if (sscanf(c, "%2u]", &rdev->vce.fb_version) != 1)
11398ccc291SChristian König 		return -EINVAL;
11498ccc291SChristian König 
11598ccc291SChristian König 	DRM_INFO("Found VCE firmware/feedback version %hhd.%hhd.%hhd / %d!\n",
11698ccc291SChristian König 		 start, mid, end, rdev->vce.fb_version);
11798ccc291SChristian König 
11898ccc291SChristian König 	rdev->vce.fw_version = (start << 24) | (mid << 16) | (end << 8);
11998ccc291SChristian König 
12098ccc291SChristian König 	/* we can only work with this fw version for now */
12198ccc291SChristian König 	if (rdev->vce.fw_version != ((40 << 24) | (2 << 16) | (2 << 8)))
12298ccc291SChristian König 		return -EINVAL;
12398ccc291SChristian König 
124b03b4e4bSChristian König 	/* allocate firmware, stack and heap BO */
12598ccc291SChristian König 
12698ccc291SChristian König 	size = RADEON_GPU_PAGE_ALIGN(rdev->vce_fw->size) +
127d93f7937SChristian König 	       RADEON_VCE_STACK_SIZE + RADEON_VCE_HEAP_SIZE;
12898ccc291SChristian König 	r = radeon_bo_create(rdev, size, PAGE_SIZE, true,
129d93f7937SChristian König 			     RADEON_GEM_DOMAIN_VRAM, NULL, &rdev->vce.vcpu_bo);
130d93f7937SChristian König 	if (r) {
131d93f7937SChristian König 		dev_err(rdev->dev, "(%d) failed to allocate VCE bo\n", r);
132d93f7937SChristian König 		return r;
133d93f7937SChristian König 	}
134d93f7937SChristian König 
135b03b4e4bSChristian König 	r = radeon_bo_reserve(rdev->vce.vcpu_bo, false);
136b03b4e4bSChristian König 	if (r) {
137b03b4e4bSChristian König 		radeon_bo_unref(&rdev->vce.vcpu_bo);
138b03b4e4bSChristian König 		dev_err(rdev->dev, "(%d) failed to reserve VCE bo\n", r);
139d93f7937SChristian König 		return r;
140b03b4e4bSChristian König 	}
141d93f7937SChristian König 
142b03b4e4bSChristian König 	r = radeon_bo_pin(rdev->vce.vcpu_bo, RADEON_GEM_DOMAIN_VRAM,
143b03b4e4bSChristian König 			  &rdev->vce.gpu_addr);
144b03b4e4bSChristian König 	radeon_bo_unreserve(rdev->vce.vcpu_bo);
145b03b4e4bSChristian König 	if (r) {
146b03b4e4bSChristian König 		radeon_bo_unref(&rdev->vce.vcpu_bo);
147b03b4e4bSChristian König 		dev_err(rdev->dev, "(%d) VCE bo pin failed\n", r);
148d93f7937SChristian König 		return r;
149b03b4e4bSChristian König 	}
150d93f7937SChristian König 
151d93f7937SChristian König 	for (i = 0; i < RADEON_MAX_VCE_HANDLES; ++i) {
152d93f7937SChristian König 		atomic_set(&rdev->vce.handles[i], 0);
153d93f7937SChristian König 		rdev->vce.filp[i] = NULL;
154d93f7937SChristian König         }
155d93f7937SChristian König 
156d93f7937SChristian König 	return 0;
157d93f7937SChristian König }
158d93f7937SChristian König 
159d93f7937SChristian König /**
160d93f7937SChristian König  * radeon_vce_fini - free memory
161d93f7937SChristian König  *
162d93f7937SChristian König  * @rdev: radeon_device pointer
163d93f7937SChristian König  *
164d93f7937SChristian König  * Last step on VCE teardown, free firmware memory
165d93f7937SChristian König  */
166d93f7937SChristian König void radeon_vce_fini(struct radeon_device *rdev)
167d93f7937SChristian König {
168b03b4e4bSChristian König 	if (rdev->vce.vcpu_bo == NULL)
169b03b4e4bSChristian König 		return;
170b03b4e4bSChristian König 
171d93f7937SChristian König 	radeon_bo_unref(&rdev->vce.vcpu_bo);
172b03b4e4bSChristian König 
173b03b4e4bSChristian König 	release_firmware(rdev->vce_fw);
174d93f7937SChristian König }
175d93f7937SChristian König 
176d93f7937SChristian König /**
177d93f7937SChristian König  * radeon_vce_suspend - unpin VCE fw memory
178d93f7937SChristian König  *
179d93f7937SChristian König  * @rdev: radeon_device pointer
180d93f7937SChristian König  *
181d93f7937SChristian König  */
182d93f7937SChristian König int radeon_vce_suspend(struct radeon_device *rdev)
183d93f7937SChristian König {
184b03b4e4bSChristian König 	int i;
185d93f7937SChristian König 
186d93f7937SChristian König 	if (rdev->vce.vcpu_bo == NULL)
187d93f7937SChristian König 		return 0;
188d93f7937SChristian König 
189b03b4e4bSChristian König 	for (i = 0; i < RADEON_MAX_VCE_HANDLES; ++i)
190b03b4e4bSChristian König 		if (atomic_read(&rdev->vce.handles[i]))
191b03b4e4bSChristian König 			break;
192b03b4e4bSChristian König 
193b03b4e4bSChristian König 	if (i == RADEON_MAX_VCE_HANDLES)
194b03b4e4bSChristian König 		return 0;
195b03b4e4bSChristian König 
196b03b4e4bSChristian König 	/* TODO: suspending running encoding sessions isn't supported */
197b03b4e4bSChristian König 	return -EINVAL;
198d93f7937SChristian König }
199d93f7937SChristian König 
200d93f7937SChristian König /**
201d93f7937SChristian König  * radeon_vce_resume - pin VCE fw memory
202d93f7937SChristian König  *
203d93f7937SChristian König  * @rdev: radeon_device pointer
204d93f7937SChristian König  *
205d93f7937SChristian König  */
206d93f7937SChristian König int radeon_vce_resume(struct radeon_device *rdev)
207d93f7937SChristian König {
208b03b4e4bSChristian König 	void *cpu_addr;
209d93f7937SChristian König 	int r;
210d93f7937SChristian König 
211d93f7937SChristian König 	if (rdev->vce.vcpu_bo == NULL)
212d93f7937SChristian König 		return -EINVAL;
213d93f7937SChristian König 
214d93f7937SChristian König 	r = radeon_bo_reserve(rdev->vce.vcpu_bo, false);
215d93f7937SChristian König 	if (r) {
216d93f7937SChristian König 		dev_err(rdev->dev, "(%d) failed to reserve VCE bo\n", r);
217d93f7937SChristian König 		return r;
218d93f7937SChristian König 	}
219d93f7937SChristian König 
220b03b4e4bSChristian König 	r = radeon_bo_kmap(rdev->vce.vcpu_bo, &cpu_addr);
221d93f7937SChristian König 	if (r) {
222d93f7937SChristian König 		radeon_bo_unreserve(rdev->vce.vcpu_bo);
223d93f7937SChristian König 		dev_err(rdev->dev, "(%d) VCE map failed\n", r);
224d93f7937SChristian König 		return r;
225d93f7937SChristian König 	}
226d93f7937SChristian König 
227b03b4e4bSChristian König 	memcpy(cpu_addr, rdev->vce_fw->data, rdev->vce_fw->size);
228b03b4e4bSChristian König 
229b03b4e4bSChristian König 	radeon_bo_kunmap(rdev->vce.vcpu_bo);
230b03b4e4bSChristian König 
231d93f7937SChristian König 	radeon_bo_unreserve(rdev->vce.vcpu_bo);
232d93f7937SChristian König 
233d93f7937SChristian König 	return 0;
234d93f7937SChristian König }
235d93f7937SChristian König 
236d93f7937SChristian König /**
23703afe6f6SAlex Deucher  * radeon_vce_idle_work_handler - power off VCE
23803afe6f6SAlex Deucher  *
23903afe6f6SAlex Deucher  * @work: pointer to work structure
24003afe6f6SAlex Deucher  *
24103afe6f6SAlex Deucher  * power of VCE when it's not used any more
24203afe6f6SAlex Deucher  */
24303afe6f6SAlex Deucher static void radeon_vce_idle_work_handler(struct work_struct *work)
24403afe6f6SAlex Deucher {
24503afe6f6SAlex Deucher 	struct radeon_device *rdev =
24603afe6f6SAlex Deucher 		container_of(work, struct radeon_device, vce.idle_work.work);
24703afe6f6SAlex Deucher 
24803afe6f6SAlex Deucher 	if ((radeon_fence_count_emitted(rdev, TN_RING_TYPE_VCE1_INDEX) == 0) &&
24903afe6f6SAlex Deucher 	    (radeon_fence_count_emitted(rdev, TN_RING_TYPE_VCE2_INDEX) == 0)) {
25003afe6f6SAlex Deucher 		if ((rdev->pm.pm_method == PM_METHOD_DPM) && rdev->pm.dpm_enabled) {
25103afe6f6SAlex Deucher 			radeon_dpm_enable_vce(rdev, false);
25203afe6f6SAlex Deucher 		} else {
25303afe6f6SAlex Deucher 			radeon_set_vce_clocks(rdev, 0, 0);
25403afe6f6SAlex Deucher 		}
25503afe6f6SAlex Deucher 	} else {
25603afe6f6SAlex Deucher 		schedule_delayed_work(&rdev->vce.idle_work,
25703afe6f6SAlex Deucher 				      msecs_to_jiffies(VCE_IDLE_TIMEOUT_MS));
25803afe6f6SAlex Deucher 	}
25903afe6f6SAlex Deucher }
26003afe6f6SAlex Deucher 
26103afe6f6SAlex Deucher /**
26203afe6f6SAlex Deucher  * radeon_vce_note_usage - power up VCE
26303afe6f6SAlex Deucher  *
26403afe6f6SAlex Deucher  * @rdev: radeon_device pointer
26503afe6f6SAlex Deucher  *
26603afe6f6SAlex Deucher  * Make sure VCE is powerd up when we want to use it
26703afe6f6SAlex Deucher  */
26803afe6f6SAlex Deucher void radeon_vce_note_usage(struct radeon_device *rdev)
26903afe6f6SAlex Deucher {
27003afe6f6SAlex Deucher 	bool streams_changed = false;
27103afe6f6SAlex Deucher 	bool set_clocks = !cancel_delayed_work_sync(&rdev->vce.idle_work);
27203afe6f6SAlex Deucher 	set_clocks &= schedule_delayed_work(&rdev->vce.idle_work,
27303afe6f6SAlex Deucher 					    msecs_to_jiffies(VCE_IDLE_TIMEOUT_MS));
27403afe6f6SAlex Deucher 
27503afe6f6SAlex Deucher 	if ((rdev->pm.pm_method == PM_METHOD_DPM) && rdev->pm.dpm_enabled) {
27603afe6f6SAlex Deucher 		/* XXX figure out if the streams changed */
27703afe6f6SAlex Deucher 		streams_changed = false;
27803afe6f6SAlex Deucher 	}
27903afe6f6SAlex Deucher 
28003afe6f6SAlex Deucher 	if (set_clocks || streams_changed) {
28103afe6f6SAlex Deucher 		if ((rdev->pm.pm_method == PM_METHOD_DPM) && rdev->pm.dpm_enabled) {
28203afe6f6SAlex Deucher 			radeon_dpm_enable_vce(rdev, true);
28303afe6f6SAlex Deucher 		} else {
28403afe6f6SAlex Deucher 			radeon_set_vce_clocks(rdev, 53300, 40000);
28503afe6f6SAlex Deucher 		}
28603afe6f6SAlex Deucher 	}
28703afe6f6SAlex Deucher }
28803afe6f6SAlex Deucher 
28903afe6f6SAlex Deucher /**
290d93f7937SChristian König  * radeon_vce_free_handles - free still open VCE handles
291d93f7937SChristian König  *
292d93f7937SChristian König  * @rdev: radeon_device pointer
293d93f7937SChristian König  * @filp: drm file pointer
294d93f7937SChristian König  *
295d93f7937SChristian König  * Close all VCE handles still open by this file pointer
296d93f7937SChristian König  */
297d93f7937SChristian König void radeon_vce_free_handles(struct radeon_device *rdev, struct drm_file *filp)
298d93f7937SChristian König {
299d93f7937SChristian König 	int i, r;
300d93f7937SChristian König 	for (i = 0; i < RADEON_MAX_VCE_HANDLES; ++i) {
301d93f7937SChristian König 		uint32_t handle = atomic_read(&rdev->vce.handles[i]);
302d93f7937SChristian König 		if (!handle || rdev->vce.filp[i] != filp)
303d93f7937SChristian König 			continue;
304d93f7937SChristian König 
30503afe6f6SAlex Deucher 		radeon_vce_note_usage(rdev);
30603afe6f6SAlex Deucher 
307d93f7937SChristian König 		r = radeon_vce_get_destroy_msg(rdev, TN_RING_TYPE_VCE1_INDEX,
308d93f7937SChristian König 					       handle, NULL);
309d93f7937SChristian König 		if (r)
310d93f7937SChristian König 			DRM_ERROR("Error destroying VCE handle (%d)!\n", r);
311d93f7937SChristian König 
312d93f7937SChristian König 		rdev->vce.filp[i] = NULL;
313d93f7937SChristian König 		atomic_set(&rdev->vce.handles[i], 0);
314d93f7937SChristian König 	}
315d93f7937SChristian König }
316d93f7937SChristian König 
317d93f7937SChristian König /**
318d93f7937SChristian König  * radeon_vce_get_create_msg - generate a VCE create msg
319d93f7937SChristian König  *
320d93f7937SChristian König  * @rdev: radeon_device pointer
321d93f7937SChristian König  * @ring: ring we should submit the msg to
322d93f7937SChristian König  * @handle: VCE session handle to use
323d93f7937SChristian König  * @fence: optional fence to return
324d93f7937SChristian König  *
325d93f7937SChristian König  * Open up a stream for HW test
326d93f7937SChristian König  */
327d93f7937SChristian König int radeon_vce_get_create_msg(struct radeon_device *rdev, int ring,
328d93f7937SChristian König 			      uint32_t handle, struct radeon_fence **fence)
329d93f7937SChristian König {
330d93f7937SChristian König 	const unsigned ib_size_dw = 1024;
331d93f7937SChristian König 	struct radeon_ib ib;
332d93f7937SChristian König 	uint64_t dummy;
333d93f7937SChristian König 	int i, r;
334d93f7937SChristian König 
335d93f7937SChristian König 	r = radeon_ib_get(rdev, ring, &ib, NULL, ib_size_dw * 4);
336d93f7937SChristian König 	if (r) {
337d93f7937SChristian König 		DRM_ERROR("radeon: failed to get ib (%d).\n", r);
338d93f7937SChristian König 		return r;
339d93f7937SChristian König 	}
340d93f7937SChristian König 
341d93f7937SChristian König 	dummy = ib.gpu_addr + 1024;
342d93f7937SChristian König 
343d93f7937SChristian König 	/* stitch together an VCE create msg */
344d93f7937SChristian König 	ib.length_dw = 0;
345d93f7937SChristian König 	ib.ptr[ib.length_dw++] = 0x0000000c; /* len */
346d93f7937SChristian König 	ib.ptr[ib.length_dw++] = 0x00000001; /* session cmd */
347d93f7937SChristian König 	ib.ptr[ib.length_dw++] = handle;
348d93f7937SChristian König 
349d93f7937SChristian König 	ib.ptr[ib.length_dw++] = 0x00000030; /* len */
350d93f7937SChristian König 	ib.ptr[ib.length_dw++] = 0x01000001; /* create cmd */
351d93f7937SChristian König 	ib.ptr[ib.length_dw++] = 0x00000000;
352d93f7937SChristian König 	ib.ptr[ib.length_dw++] = 0x00000042;
353d93f7937SChristian König 	ib.ptr[ib.length_dw++] = 0x0000000a;
354d93f7937SChristian König 	ib.ptr[ib.length_dw++] = 0x00000001;
355d93f7937SChristian König 	ib.ptr[ib.length_dw++] = 0x00000080;
356d93f7937SChristian König 	ib.ptr[ib.length_dw++] = 0x00000060;
357d93f7937SChristian König 	ib.ptr[ib.length_dw++] = 0x00000100;
358d93f7937SChristian König 	ib.ptr[ib.length_dw++] = 0x00000100;
359d93f7937SChristian König 	ib.ptr[ib.length_dw++] = 0x0000000c;
360d93f7937SChristian König 	ib.ptr[ib.length_dw++] = 0x00000000;
361d93f7937SChristian König 
362d93f7937SChristian König 	ib.ptr[ib.length_dw++] = 0x00000014; /* len */
363d93f7937SChristian König 	ib.ptr[ib.length_dw++] = 0x05000005; /* feedback buffer */
364d93f7937SChristian König 	ib.ptr[ib.length_dw++] = upper_32_bits(dummy);
365d93f7937SChristian König 	ib.ptr[ib.length_dw++] = dummy;
366d93f7937SChristian König 	ib.ptr[ib.length_dw++] = 0x00000001;
367d93f7937SChristian König 
368d93f7937SChristian König 	for (i = ib.length_dw; i < ib_size_dw; ++i)
369d93f7937SChristian König 		ib.ptr[i] = 0x0;
370d93f7937SChristian König 
371d93f7937SChristian König 	r = radeon_ib_schedule(rdev, &ib, NULL);
372d93f7937SChristian König 	if (r) {
373d93f7937SChristian König 	        DRM_ERROR("radeon: failed to schedule ib (%d).\n", r);
374d93f7937SChristian König 	}
375d93f7937SChristian König 
376d93f7937SChristian König 	if (fence)
377d93f7937SChristian König 		*fence = radeon_fence_ref(ib.fence);
378d93f7937SChristian König 
379d93f7937SChristian König 	radeon_ib_free(rdev, &ib);
380d93f7937SChristian König 
381d93f7937SChristian König 	return r;
382d93f7937SChristian König }
383d93f7937SChristian König 
384d93f7937SChristian König /**
385d93f7937SChristian König  * radeon_vce_get_destroy_msg - generate a VCE destroy msg
386d93f7937SChristian König  *
387d93f7937SChristian König  * @rdev: radeon_device pointer
388d93f7937SChristian König  * @ring: ring we should submit the msg to
389d93f7937SChristian König  * @handle: VCE session handle to use
390d93f7937SChristian König  * @fence: optional fence to return
391d93f7937SChristian König  *
392d93f7937SChristian König  * Close up a stream for HW test or if userspace failed to do so
393d93f7937SChristian König  */
394d93f7937SChristian König int radeon_vce_get_destroy_msg(struct radeon_device *rdev, int ring,
395d93f7937SChristian König 			       uint32_t handle, struct radeon_fence **fence)
396d93f7937SChristian König {
397d93f7937SChristian König 	const unsigned ib_size_dw = 1024;
398d93f7937SChristian König 	struct radeon_ib ib;
399d93f7937SChristian König 	uint64_t dummy;
400d93f7937SChristian König 	int i, r;
401d93f7937SChristian König 
402d93f7937SChristian König 	r = radeon_ib_get(rdev, ring, &ib, NULL, ib_size_dw * 4);
403d93f7937SChristian König 	if (r) {
404d93f7937SChristian König 		DRM_ERROR("radeon: failed to get ib (%d).\n", r);
405d93f7937SChristian König 		return r;
406d93f7937SChristian König 	}
407d93f7937SChristian König 
408d93f7937SChristian König 	dummy = ib.gpu_addr + 1024;
409d93f7937SChristian König 
410d93f7937SChristian König 	/* stitch together an VCE destroy msg */
411d93f7937SChristian König 	ib.length_dw = 0;
412d93f7937SChristian König 	ib.ptr[ib.length_dw++] = 0x0000000c; /* len */
413d93f7937SChristian König 	ib.ptr[ib.length_dw++] = 0x00000001; /* session cmd */
414d93f7937SChristian König 	ib.ptr[ib.length_dw++] = handle;
415d93f7937SChristian König 
416d93f7937SChristian König 	ib.ptr[ib.length_dw++] = 0x00000014; /* len */
417d93f7937SChristian König 	ib.ptr[ib.length_dw++] = 0x05000005; /* feedback buffer */
418d93f7937SChristian König 	ib.ptr[ib.length_dw++] = upper_32_bits(dummy);
419d93f7937SChristian König 	ib.ptr[ib.length_dw++] = dummy;
420d93f7937SChristian König 	ib.ptr[ib.length_dw++] = 0x00000001;
421d93f7937SChristian König 
422d93f7937SChristian König 	ib.ptr[ib.length_dw++] = 0x00000008; /* len */
423d93f7937SChristian König 	ib.ptr[ib.length_dw++] = 0x02000001; /* destroy cmd */
424d93f7937SChristian König 
425d93f7937SChristian König 	for (i = ib.length_dw; i < ib_size_dw; ++i)
426d93f7937SChristian König 		ib.ptr[i] = 0x0;
427d93f7937SChristian König 
428d93f7937SChristian König 	r = radeon_ib_schedule(rdev, &ib, NULL);
429d93f7937SChristian König 	if (r) {
430d93f7937SChristian König 	        DRM_ERROR("radeon: failed to schedule ib (%d).\n", r);
431d93f7937SChristian König 	}
432d93f7937SChristian König 
433d93f7937SChristian König 	if (fence)
434d93f7937SChristian König 		*fence = radeon_fence_ref(ib.fence);
435d93f7937SChristian König 
436d93f7937SChristian König 	radeon_ib_free(rdev, &ib);
437d93f7937SChristian König 
438d93f7937SChristian König 	return r;
439d93f7937SChristian König }
440d93f7937SChristian König 
441d93f7937SChristian König /**
442d93f7937SChristian König  * radeon_vce_cs_reloc - command submission relocation
443d93f7937SChristian König  *
444d93f7937SChristian König  * @p: parser context
445d93f7937SChristian König  * @lo: address of lower dword
446d93f7937SChristian König  * @hi: address of higher dword
4472fc5703aSLeo Liu  * @size: size of checker for relocation buffer
448d93f7937SChristian König  *
449d93f7937SChristian König  * Patch relocation inside command stream with real buffer address
450d93f7937SChristian König  */
4512fc5703aSLeo Liu int radeon_vce_cs_reloc(struct radeon_cs_parser *p, int lo, int hi,
4522fc5703aSLeo Liu 			unsigned size)
453d93f7937SChristian König {
454d93f7937SChristian König 	struct radeon_cs_chunk *relocs_chunk;
4552fc5703aSLeo Liu 	struct radeon_cs_reloc *reloc;
4562fc5703aSLeo Liu 	uint64_t start, end, offset;
457d93f7937SChristian König 	unsigned idx;
458d93f7937SChristian König 
459d93f7937SChristian König 	relocs_chunk = &p->chunks[p->chunk_relocs_idx];
460d93f7937SChristian König 	offset = radeon_get_ib_value(p, lo);
461d93f7937SChristian König 	idx = radeon_get_ib_value(p, hi);
462d93f7937SChristian König 
463d93f7937SChristian König 	if (idx >= relocs_chunk->length_dw) {
464d93f7937SChristian König 		DRM_ERROR("Relocs at %d after relocations chunk end %d !\n",
465d93f7937SChristian König 			  idx, relocs_chunk->length_dw);
466d93f7937SChristian König 		return -EINVAL;
467d93f7937SChristian König 	}
468d93f7937SChristian König 
4692fc5703aSLeo Liu 	reloc = p->relocs_ptr[(idx / 4)];
4702fc5703aSLeo Liu 	start = reloc->gpu_offset;
4712fc5703aSLeo Liu 	end = start + radeon_bo_size(reloc->robj);
4722fc5703aSLeo Liu 	start += offset;
473d93f7937SChristian König 
4742fc5703aSLeo Liu 	p->ib.ptr[lo] = start & 0xFFFFFFFF;
4752fc5703aSLeo Liu 	p->ib.ptr[hi] = start >> 32;
4762fc5703aSLeo Liu 
4772fc5703aSLeo Liu 	if (end <= start) {
4782fc5703aSLeo Liu 		DRM_ERROR("invalid reloc offset %llX!\n", offset);
4792fc5703aSLeo Liu 		return -EINVAL;
4802fc5703aSLeo Liu 	}
4812fc5703aSLeo Liu 	if ((end - start) < size) {
4822fc5703aSLeo Liu 		DRM_ERROR("buffer to small (%d / %d)!\n",
4832fc5703aSLeo Liu 			(unsigned)(end - start), size);
4842fc5703aSLeo Liu 		return -EINVAL;
4852fc5703aSLeo Liu 	}
486d93f7937SChristian König 
487d93f7937SChristian König 	return 0;
488d93f7937SChristian König }
489d93f7937SChristian König 
490d93f7937SChristian König /**
4912fc5703aSLeo Liu  * radeon_vce_validate_handle - validate stream handle
4922fc5703aSLeo Liu  *
4932fc5703aSLeo Liu  * @p: parser context
4942fc5703aSLeo Liu  * @handle: handle to validate
4952fc5703aSLeo Liu  *
4962fc5703aSLeo Liu  * Validates the handle and return the found session index or -EINVAL
4972fc5703aSLeo Liu  * we we don't have another free session index.
4982fc5703aSLeo Liu  */
4992fc5703aSLeo Liu int radeon_vce_validate_handle(struct radeon_cs_parser *p, uint32_t handle)
5002fc5703aSLeo Liu {
5012fc5703aSLeo Liu 	unsigned i;
5022fc5703aSLeo Liu 
5032fc5703aSLeo Liu 	/* validate the handle */
5042fc5703aSLeo Liu 	for (i = 0; i < RADEON_MAX_VCE_HANDLES; ++i) {
5052fc5703aSLeo Liu 		if (atomic_read(&p->rdev->vce.handles[i]) == handle)
5062fc5703aSLeo Liu 			return i;
5072fc5703aSLeo Liu 	}
5082fc5703aSLeo Liu 
5092fc5703aSLeo Liu 	/* handle not found try to alloc a new one */
5102fc5703aSLeo Liu 	for (i = 0; i < RADEON_MAX_VCE_HANDLES; ++i) {
5112fc5703aSLeo Liu 		if (!atomic_cmpxchg(&p->rdev->vce.handles[i], 0, handle)) {
5122fc5703aSLeo Liu 			p->rdev->vce.filp[i] = p->filp;
5132fc5703aSLeo Liu 			p->rdev->vce.img_size[i] = 0;
5142fc5703aSLeo Liu 			return i;
5152fc5703aSLeo Liu 		}
5162fc5703aSLeo Liu 	}
5172fc5703aSLeo Liu 
5182fc5703aSLeo Liu 	DRM_ERROR("No more free VCE handles!\n");
5192fc5703aSLeo Liu 	return -EINVAL;
5202fc5703aSLeo Liu }
5212fc5703aSLeo Liu 
5222fc5703aSLeo Liu /**
523d93f7937SChristian König  * radeon_vce_cs_parse - parse and validate the command stream
524d93f7937SChristian König  *
525d93f7937SChristian König  * @p: parser context
526d93f7937SChristian König  *
527d93f7937SChristian König  */
528d93f7937SChristian König int radeon_vce_cs_parse(struct radeon_cs_parser *p)
529d93f7937SChristian König {
5302fc5703aSLeo Liu 	int session_idx = -1;
5312fc5703aSLeo Liu 	bool destroyed = false;
5322fc5703aSLeo Liu 	uint32_t tmp, handle = 0;
5332fc5703aSLeo Liu 	uint32_t *size = &tmp;
534d93f7937SChristian König 	int i, r;
535d93f7937SChristian König 
536d93f7937SChristian König 	while (p->idx < p->chunks[p->chunk_ib_idx].length_dw) {
537d93f7937SChristian König 		uint32_t len = radeon_get_ib_value(p, p->idx);
538d93f7937SChristian König 		uint32_t cmd = radeon_get_ib_value(p, p->idx + 1);
539d93f7937SChristian König 
540d93f7937SChristian König 		if ((len < 8) || (len & 3)) {
541d93f7937SChristian König 			DRM_ERROR("invalid VCE command length (%d)!\n", len);
542d93f7937SChristian König                 	return -EINVAL;
543d93f7937SChristian König 		}
544d93f7937SChristian König 
5452fc5703aSLeo Liu 		if (destroyed) {
5462fc5703aSLeo Liu 			DRM_ERROR("No other command allowed after destroy!\n");
5472fc5703aSLeo Liu 			return -EINVAL;
5482fc5703aSLeo Liu 		}
5492fc5703aSLeo Liu 
550d93f7937SChristian König 		switch (cmd) {
551d93f7937SChristian König 		case 0x00000001: // session
552d93f7937SChristian König 			handle = radeon_get_ib_value(p, p->idx + 2);
5532fc5703aSLeo Liu 			session_idx = radeon_vce_validate_handle(p, handle);
5542fc5703aSLeo Liu 			if (session_idx < 0)
5552fc5703aSLeo Liu 				return session_idx;
5562fc5703aSLeo Liu 			size = &p->rdev->vce.img_size[session_idx];
557d93f7937SChristian König 			break;
558d93f7937SChristian König 
559d93f7937SChristian König 		case 0x00000002: // task info
5602fc5703aSLeo Liu 			break;
5612fc5703aSLeo Liu 
562d93f7937SChristian König 		case 0x01000001: // create
5632fc5703aSLeo Liu 			*size = radeon_get_ib_value(p, p->idx + 8) *
5642fc5703aSLeo Liu 				radeon_get_ib_value(p, p->idx + 10) *
5652fc5703aSLeo Liu 				8 * 3 / 2;
5662fc5703aSLeo Liu 			break;
5672fc5703aSLeo Liu 
568d93f7937SChristian König 		case 0x04000001: // config extension
569d93f7937SChristian König 		case 0x04000002: // pic control
570d93f7937SChristian König 		case 0x04000005: // rate control
571d93f7937SChristian König 		case 0x04000007: // motion estimation
572d93f7937SChristian König 		case 0x04000008: // rdo
573d93f7937SChristian König 			break;
574d93f7937SChristian König 
575d93f7937SChristian König 		case 0x03000001: // encode
5762fc5703aSLeo Liu 			r = radeon_vce_cs_reloc(p, p->idx + 10, p->idx + 9,
5772fc5703aSLeo Liu 						*size);
578d93f7937SChristian König 			if (r)
579d93f7937SChristian König 				return r;
580d93f7937SChristian König 
5812fc5703aSLeo Liu 			r = radeon_vce_cs_reloc(p, p->idx + 12, p->idx + 11,
5822fc5703aSLeo Liu 						*size / 3);
583d93f7937SChristian König 			if (r)
584d93f7937SChristian König 				return r;
585d93f7937SChristian König 			break;
586d93f7937SChristian König 
587d93f7937SChristian König 		case 0x02000001: // destroy
5882fc5703aSLeo Liu 			destroyed = true;
589d93f7937SChristian König 			break;
590d93f7937SChristian König 
591d93f7937SChristian König 		case 0x05000001: // context buffer
5922fc5703aSLeo Liu 			r = radeon_vce_cs_reloc(p, p->idx + 3, p->idx + 2,
5932fc5703aSLeo Liu 						*size * 2);
5942fc5703aSLeo Liu 			if (r)
5952fc5703aSLeo Liu 				return r;
5962fc5703aSLeo Liu 			break;
5972fc5703aSLeo Liu 
598d93f7937SChristian König 		case 0x05000004: // video bitstream buffer
5992fc5703aSLeo Liu 			tmp = radeon_get_ib_value(p, p->idx + 4);
6002fc5703aSLeo Liu 			r = radeon_vce_cs_reloc(p, p->idx + 3, p->idx + 2,
6012fc5703aSLeo Liu 						tmp);
6022fc5703aSLeo Liu 			if (r)
6032fc5703aSLeo Liu 				return r;
6042fc5703aSLeo Liu 			break;
6052fc5703aSLeo Liu 
606d93f7937SChristian König 		case 0x05000005: // feedback buffer
6072fc5703aSLeo Liu 			r = radeon_vce_cs_reloc(p, p->idx + 3, p->idx + 2,
6082fc5703aSLeo Liu 						4096);
609d93f7937SChristian König 			if (r)
610d93f7937SChristian König 				return r;
611d93f7937SChristian König 			break;
612d93f7937SChristian König 
613d93f7937SChristian König 		default:
614d93f7937SChristian König 			DRM_ERROR("invalid VCE command (0x%x)!\n", cmd);
615d93f7937SChristian König 			return -EINVAL;
616d93f7937SChristian König 		}
617d93f7937SChristian König 
6182fc5703aSLeo Liu 		if (session_idx == -1) {
6192fc5703aSLeo Liu 			DRM_ERROR("no session command at start of IB\n");
6202fc5703aSLeo Liu 			return -EINVAL;
6212fc5703aSLeo Liu 		}
6222fc5703aSLeo Liu 
623d93f7937SChristian König 		p->idx += len / 4;
624d93f7937SChristian König 	}
625d93f7937SChristian König 
6262fc5703aSLeo Liu 	if (destroyed) {
627d93f7937SChristian König 		/* IB contains a destroy msg, free the handle */
628d93f7937SChristian König 		for (i = 0; i < RADEON_MAX_VCE_HANDLES; ++i)
629d93f7937SChristian König 			atomic_cmpxchg(&p->rdev->vce.handles[i], handle, 0);
6302fc5703aSLeo Liu 	}
631d93f7937SChristian König 
632d93f7937SChristian König 	return 0;
633d93f7937SChristian König }
634d93f7937SChristian König 
635d93f7937SChristian König /**
636d93f7937SChristian König  * radeon_vce_semaphore_emit - emit a semaphore command
637d93f7937SChristian König  *
638d93f7937SChristian König  * @rdev: radeon_device pointer
639d93f7937SChristian König  * @ring: engine to use
640d93f7937SChristian König  * @semaphore: address of semaphore
641d93f7937SChristian König  * @emit_wait: true=emit wait, false=emit signal
642d93f7937SChristian König  *
643d93f7937SChristian König  */
644d93f7937SChristian König bool radeon_vce_semaphore_emit(struct radeon_device *rdev,
645d93f7937SChristian König 			       struct radeon_ring *ring,
646d93f7937SChristian König 			       struct radeon_semaphore *semaphore,
647d93f7937SChristian König 			       bool emit_wait)
648d93f7937SChristian König {
649d93f7937SChristian König 	uint64_t addr = semaphore->gpu_addr;
650d93f7937SChristian König 
651d93f7937SChristian König 	radeon_ring_write(ring, VCE_CMD_SEMAPHORE);
652d93f7937SChristian König 	radeon_ring_write(ring, (addr >> 3) & 0x000FFFFF);
653d93f7937SChristian König 	radeon_ring_write(ring, (addr >> 23) & 0x000FFFFF);
654d93f7937SChristian König 	radeon_ring_write(ring, 0x01003000 | (emit_wait ? 1 : 0));
655d93f7937SChristian König 	if (!emit_wait)
656d93f7937SChristian König 		radeon_ring_write(ring, VCE_CMD_END);
657d93f7937SChristian König 
658d93f7937SChristian König 	return true;
659d93f7937SChristian König }
660d93f7937SChristian König 
661d93f7937SChristian König /**
662d93f7937SChristian König  * radeon_vce_ib_execute - execute indirect buffer
663d93f7937SChristian König  *
664d93f7937SChristian König  * @rdev: radeon_device pointer
665d93f7937SChristian König  * @ib: the IB to execute
666d93f7937SChristian König  *
667d93f7937SChristian König  */
668d93f7937SChristian König void radeon_vce_ib_execute(struct radeon_device *rdev, struct radeon_ib *ib)
669d93f7937SChristian König {
670d93f7937SChristian König 	struct radeon_ring *ring = &rdev->ring[ib->ring];
671d93f7937SChristian König 	radeon_ring_write(ring, VCE_CMD_IB);
672d93f7937SChristian König 	radeon_ring_write(ring, ib->gpu_addr);
673d93f7937SChristian König 	radeon_ring_write(ring, upper_32_bits(ib->gpu_addr));
674d93f7937SChristian König 	radeon_ring_write(ring, ib->length_dw);
675d93f7937SChristian König }
676d93f7937SChristian König 
677d93f7937SChristian König /**
678d93f7937SChristian König  * radeon_vce_fence_emit - add a fence command to the ring
679d93f7937SChristian König  *
680d93f7937SChristian König  * @rdev: radeon_device pointer
681d93f7937SChristian König  * @fence: the fence
682d93f7937SChristian König  *
683d93f7937SChristian König  */
684d93f7937SChristian König void radeon_vce_fence_emit(struct radeon_device *rdev,
685d93f7937SChristian König 			   struct radeon_fence *fence)
686d93f7937SChristian König {
687d93f7937SChristian König 	struct radeon_ring *ring = &rdev->ring[fence->ring];
688681941c1SChristoph Jaeger 	uint64_t addr = rdev->fence_drv[fence->ring].gpu_addr;
689d93f7937SChristian König 
690d93f7937SChristian König 	radeon_ring_write(ring, VCE_CMD_FENCE);
691d93f7937SChristian König 	radeon_ring_write(ring, addr);
692d93f7937SChristian König 	radeon_ring_write(ring, upper_32_bits(addr));
693d93f7937SChristian König 	radeon_ring_write(ring, fence->seq);
694d93f7937SChristian König 	radeon_ring_write(ring, VCE_CMD_TRAP);
695d93f7937SChristian König 	radeon_ring_write(ring, VCE_CMD_END);
696d93f7937SChristian König }
697d93f7937SChristian König 
698d93f7937SChristian König /**
699d93f7937SChristian König  * radeon_vce_ring_test - test if VCE ring is working
700d93f7937SChristian König  *
701d93f7937SChristian König  * @rdev: radeon_device pointer
702d93f7937SChristian König  * @ring: the engine to test on
703d93f7937SChristian König  *
704d93f7937SChristian König  */
705d93f7937SChristian König int radeon_vce_ring_test(struct radeon_device *rdev, struct radeon_ring *ring)
706d93f7937SChristian König {
707d93f7937SChristian König 	uint32_t rptr = vce_v1_0_get_rptr(rdev, ring);
708d93f7937SChristian König 	unsigned i;
709d93f7937SChristian König 	int r;
710d93f7937SChristian König 
711d93f7937SChristian König 	r = radeon_ring_lock(rdev, ring, 16);
712d93f7937SChristian König 	if (r) {
713d93f7937SChristian König 		DRM_ERROR("radeon: vce failed to lock ring %d (%d).\n",
714d93f7937SChristian König 			  ring->idx, r);
715d93f7937SChristian König 		return r;
716d93f7937SChristian König 	}
717d93f7937SChristian König 	radeon_ring_write(ring, VCE_CMD_END);
718d93f7937SChristian König 	radeon_ring_unlock_commit(rdev, ring);
719d93f7937SChristian König 
720d93f7937SChristian König 	for (i = 0; i < rdev->usec_timeout; i++) {
721d93f7937SChristian König 	        if (vce_v1_0_get_rptr(rdev, ring) != rptr)
722d93f7937SChristian König 	                break;
723d93f7937SChristian König 	        DRM_UDELAY(1);
724d93f7937SChristian König 	}
725d93f7937SChristian König 
726d93f7937SChristian König 	if (i < rdev->usec_timeout) {
727d93f7937SChristian König 	        DRM_INFO("ring test on %d succeeded in %d usecs\n",
728d93f7937SChristian König 	                 ring->idx, i);
729d93f7937SChristian König 	} else {
730d93f7937SChristian König 	        DRM_ERROR("radeon: ring %d test failed\n",
731d93f7937SChristian König 	                  ring->idx);
732d93f7937SChristian König 	        r = -ETIMEDOUT;
733d93f7937SChristian König 	}
734d93f7937SChristian König 
735d93f7937SChristian König 	return r;
736d93f7937SChristian König }
737d93f7937SChristian König 
738d93f7937SChristian König /**
739d93f7937SChristian König  * radeon_vce_ib_test - test if VCE IBs are working
740d93f7937SChristian König  *
741d93f7937SChristian König  * @rdev: radeon_device pointer
742d93f7937SChristian König  * @ring: the engine to test on
743d93f7937SChristian König  *
744d93f7937SChristian König  */
745d93f7937SChristian König int radeon_vce_ib_test(struct radeon_device *rdev, struct radeon_ring *ring)
746d93f7937SChristian König {
747d93f7937SChristian König 	struct radeon_fence *fence = NULL;
748d93f7937SChristian König 	int r;
749d93f7937SChristian König 
750d93f7937SChristian König 	r = radeon_vce_get_create_msg(rdev, ring->idx, 1, NULL);
751d93f7937SChristian König 	if (r) {
752d93f7937SChristian König 		DRM_ERROR("radeon: failed to get create msg (%d).\n", r);
753d93f7937SChristian König 		goto error;
754d93f7937SChristian König 	}
755d93f7937SChristian König 
756d93f7937SChristian König 	r = radeon_vce_get_destroy_msg(rdev, ring->idx, 1, &fence);
757d93f7937SChristian König 	if (r) {
758d93f7937SChristian König 		DRM_ERROR("radeon: failed to get destroy ib (%d).\n", r);
759d93f7937SChristian König 		goto error;
760d93f7937SChristian König 	}
761d93f7937SChristian König 
762d93f7937SChristian König 	r = radeon_fence_wait(fence, false);
763d93f7937SChristian König 	if (r) {
764d93f7937SChristian König 		DRM_ERROR("radeon: fence wait failed (%d).\n", r);
765d93f7937SChristian König 	} else {
766d93f7937SChristian König 	        DRM_INFO("ib test on ring %d succeeded\n", ring->idx);
767d93f7937SChristian König 	}
768d93f7937SChristian König error:
769d93f7937SChristian König 	radeon_fence_unref(&fence);
770d93f7937SChristian König 	return r;
771d93f7937SChristian König }
772