1f2ba57b5SChristian König /*
2f2ba57b5SChristian König * Copyright 2011 Advanced Micro Devices, Inc.
3f2ba57b5SChristian König * All Rights Reserved.
4f2ba57b5SChristian König *
5f2ba57b5SChristian König * Permission is hereby granted, free of charge, to any person obtaining a
6f2ba57b5SChristian König * copy of this software and associated documentation files (the
7f2ba57b5SChristian König * "Software"), to deal in the Software without restriction, including
8f2ba57b5SChristian König * without limitation the rights to use, copy, modify, merge, publish,
9f2ba57b5SChristian König * distribute, sub license, and/or sell copies of the Software, and to
10f2ba57b5SChristian König * permit persons to whom the Software is furnished to do so, subject to
11f2ba57b5SChristian König * the following conditions:
12f2ba57b5SChristian König *
13f2ba57b5SChristian König * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
14f2ba57b5SChristian König * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
15f2ba57b5SChristian König * FITNESS FOR A PARTICULAR PURPOSE AND NON-INFRINGEMENT. IN NO EVENT SHALL
16f2ba57b5SChristian König * THE COPYRIGHT HOLDERS, AUTHORS AND/OR ITS SUPPLIERS BE LIABLE FOR ANY CLAIM,
17f2ba57b5SChristian König * DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR
18f2ba57b5SChristian König * OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE
19f2ba57b5SChristian König * USE OR OTHER DEALINGS IN THE SOFTWARE.
20f2ba57b5SChristian König *
21f2ba57b5SChristian König * The above copyright notice and this permission notice (including the
22f2ba57b5SChristian König * next paragraph) shall be included in all copies or substantial portions
23f2ba57b5SChristian König * of the Software.
24f2ba57b5SChristian König *
25f2ba57b5SChristian König */
26f2ba57b5SChristian König /*
27f2ba57b5SChristian König * Authors:
28f2ba57b5SChristian König * Christian König <deathsimple@vodafone.de>
29f2ba57b5SChristian König */
30f2ba57b5SChristian König
31f2ba57b5SChristian König #include <linux/firmware.h>
32f2ba57b5SChristian König #include <linux/module.h>
33f9183127SSam Ravnborg
34f2ba57b5SChristian König #include <drm/drm.h>
35f2ba57b5SChristian König
36f2ba57b5SChristian König #include "radeon.h"
377050c6efSArindam Nath #include "radeon_ucode.h"
38f2ba57b5SChristian König #include "r600d.h"
39f2ba57b5SChristian König
4055b51c88SChristian König /* 1 second timeout */
4155b51c88SChristian König #define UVD_IDLE_TIMEOUT_MS 1000
4255b51c88SChristian König
43f2ba57b5SChristian König /* Firmware Names */
4414e935aeSChristian König #define FIRMWARE_R600 "radeon/R600_uvd.bin"
4514e935aeSChristian König #define FIRMWARE_RS780 "radeon/RS780_uvd.bin"
4614e935aeSChristian König #define FIRMWARE_RV770 "radeon/RV770_uvd.bin"
47f2ba57b5SChristian König #define FIRMWARE_RV710 "radeon/RV710_uvd.bin"
48f2ba57b5SChristian König #define FIRMWARE_CYPRESS "radeon/CYPRESS_uvd.bin"
49f2ba57b5SChristian König #define FIRMWARE_SUMO "radeon/SUMO_uvd.bin"
50f2ba57b5SChristian König #define FIRMWARE_TAHITI "radeon/TAHITI_uvd.bin"
517050c6efSArindam Nath #define FIRMWARE_BONAIRE_LEGACY "radeon/BONAIRE_uvd.bin"
527050c6efSArindam Nath #define FIRMWARE_BONAIRE "radeon/bonaire_uvd.bin"
53f2ba57b5SChristian König
5414e935aeSChristian König MODULE_FIRMWARE(FIRMWARE_R600);
5514e935aeSChristian König MODULE_FIRMWARE(FIRMWARE_RS780);
5614e935aeSChristian König MODULE_FIRMWARE(FIRMWARE_RV770);
57f2ba57b5SChristian König MODULE_FIRMWARE(FIRMWARE_RV710);
58f2ba57b5SChristian König MODULE_FIRMWARE(FIRMWARE_CYPRESS);
59f2ba57b5SChristian König MODULE_FIRMWARE(FIRMWARE_SUMO);
60f2ba57b5SChristian König MODULE_FIRMWARE(FIRMWARE_TAHITI);
617050c6efSArindam Nath MODULE_FIRMWARE(FIRMWARE_BONAIRE_LEGACY);
6287167bb1SChristian König MODULE_FIRMWARE(FIRMWARE_BONAIRE);
63f2ba57b5SChristian König
6455b51c88SChristian König static void radeon_uvd_idle_work_handler(struct work_struct *work);
6555b51c88SChristian König
radeon_uvd_init(struct radeon_device * rdev)66f2ba57b5SChristian König int radeon_uvd_init(struct radeon_device *rdev)
67f2ba57b5SChristian König {
68f2ba57b5SChristian König unsigned long bo_size;
697050c6efSArindam Nath const char *fw_name = NULL, *legacy_fw_name = NULL;
70f2ba57b5SChristian König int i, r;
71f2ba57b5SChristian König
7255b51c88SChristian König INIT_DELAYED_WORK(&rdev->uvd.idle_work, radeon_uvd_idle_work_handler);
7355b51c88SChristian König
74f2ba57b5SChristian König switch (rdev->family) {
7514e935aeSChristian König case CHIP_RV610:
7614e935aeSChristian König case CHIP_RV630:
7714e935aeSChristian König case CHIP_RV670:
7814e935aeSChristian König case CHIP_RV620:
7914e935aeSChristian König case CHIP_RV635:
807050c6efSArindam Nath legacy_fw_name = FIRMWARE_R600;
8114e935aeSChristian König break;
8214e935aeSChristian König
8314e935aeSChristian König case CHIP_RS780:
8414e935aeSChristian König case CHIP_RS880:
857050c6efSArindam Nath legacy_fw_name = FIRMWARE_RS780;
8614e935aeSChristian König break;
8714e935aeSChristian König
8814e935aeSChristian König case CHIP_RV770:
897050c6efSArindam Nath legacy_fw_name = FIRMWARE_RV770;
9014e935aeSChristian König break;
9114e935aeSChristian König
92f2ba57b5SChristian König case CHIP_RV710:
93f2ba57b5SChristian König case CHIP_RV730:
94f2ba57b5SChristian König case CHIP_RV740:
957050c6efSArindam Nath legacy_fw_name = FIRMWARE_RV710;
96f2ba57b5SChristian König break;
97f2ba57b5SChristian König
98f2ba57b5SChristian König case CHIP_CYPRESS:
99f2ba57b5SChristian König case CHIP_HEMLOCK:
100f2ba57b5SChristian König case CHIP_JUNIPER:
101f2ba57b5SChristian König case CHIP_REDWOOD:
102f2ba57b5SChristian König case CHIP_CEDAR:
1037050c6efSArindam Nath legacy_fw_name = FIRMWARE_CYPRESS;
104f2ba57b5SChristian König break;
105f2ba57b5SChristian König
106f2ba57b5SChristian König case CHIP_SUMO:
107f2ba57b5SChristian König case CHIP_SUMO2:
108f2ba57b5SChristian König case CHIP_PALM:
109f2ba57b5SChristian König case CHIP_CAYMAN:
110f2ba57b5SChristian König case CHIP_BARTS:
111f2ba57b5SChristian König case CHIP_TURKS:
112f2ba57b5SChristian König case CHIP_CAICOS:
1137050c6efSArindam Nath legacy_fw_name = FIRMWARE_SUMO;
114f2ba57b5SChristian König break;
115f2ba57b5SChristian König
116f2ba57b5SChristian König case CHIP_TAHITI:
117f2ba57b5SChristian König case CHIP_VERDE:
118f2ba57b5SChristian König case CHIP_PITCAIRN:
119f2ba57b5SChristian König case CHIP_ARUBA:
1205d029339SAlex Deucher case CHIP_OLAND:
1217050c6efSArindam Nath legacy_fw_name = FIRMWARE_TAHITI;
122f2ba57b5SChristian König break;
123f2ba57b5SChristian König
12487167bb1SChristian König case CHIP_BONAIRE:
12587167bb1SChristian König case CHIP_KABINI:
12687167bb1SChristian König case CHIP_KAVERI:
1274256331aSAlex Deucher case CHIP_HAWAII:
1283f6f0737SSamuel Li case CHIP_MULLINS:
1297050c6efSArindam Nath legacy_fw_name = FIRMWARE_BONAIRE_LEGACY;
13087167bb1SChristian König fw_name = FIRMWARE_BONAIRE;
13187167bb1SChristian König break;
13287167bb1SChristian König
133f2ba57b5SChristian König default:
134f2ba57b5SChristian König return -EINVAL;
135f2ba57b5SChristian König }
136f2ba57b5SChristian König
1377050c6efSArindam Nath rdev->uvd.fw_header_present = false;
1388b2cf4f5SArindam Nath rdev->uvd.max_handles = RADEON_DEFAULT_UVD_HANDLES;
1397050c6efSArindam Nath if (fw_name) {
1407050c6efSArindam Nath /* Let's try to load the newer firmware first */
1414ad9c1c7SChristian König r = request_firmware(&rdev->uvd_fw, fw_name, rdev->dev);
142f2ba57b5SChristian König if (r) {
143f2ba57b5SChristian König dev_err(rdev->dev, "radeon_uvd: Can't load firmware \"%s\"\n",
144f2ba57b5SChristian König fw_name);
1457050c6efSArindam Nath } else {
1468b2cf4f5SArindam Nath struct common_firmware_header *hdr = (void *)rdev->uvd_fw->data;
1478b2cf4f5SArindam Nath unsigned version_major, version_minor, family_id;
1488b2cf4f5SArindam Nath
1497050c6efSArindam Nath r = radeon_ucode_validate(rdev->uvd_fw);
1507050c6efSArindam Nath if (r)
151f2ba57b5SChristian König return r;
1527050c6efSArindam Nath
1537050c6efSArindam Nath rdev->uvd.fw_header_present = true;
1548b2cf4f5SArindam Nath
155c0f2b640SChen Li family_id = (__force u32)(hdr->ucode_version) & 0xff;
156c0f2b640SChen Li version_major = (le32_to_cpu((__force __le32)(hdr->ucode_version))
157c0f2b640SChen Li >> 24) & 0xff;
158c0f2b640SChen Li version_minor = (le32_to_cpu((__force __le32)(hdr->ucode_version))
159c0f2b640SChen Li >> 8) & 0xff;
160e607f6d2STom Rix DRM_INFO("Found UVD firmware Version: %u.%u Family ID: %u\n",
1618b2cf4f5SArindam Nath version_major, version_minor, family_id);
1628b2cf4f5SArindam Nath
1638b2cf4f5SArindam Nath /*
1648b2cf4f5SArindam Nath * Limit the number of UVD handles depending on
1658b2cf4f5SArindam Nath * microcode major and minor versions.
1668b2cf4f5SArindam Nath */
1678b2cf4f5SArindam Nath if ((version_major >= 0x01) && (version_minor >= 0x37))
1688b2cf4f5SArindam Nath rdev->uvd.max_handles = RADEON_MAX_UVD_HANDLES;
1697050c6efSArindam Nath }
1707050c6efSArindam Nath }
1717050c6efSArindam Nath
1727050c6efSArindam Nath /*
1737050c6efSArindam Nath * In case there is only legacy firmware, or we encounter an error
1747050c6efSArindam Nath * while loading the new firmware, we fall back to loading the legacy
1757050c6efSArindam Nath * firmware now.
1767050c6efSArindam Nath */
1777050c6efSArindam Nath if (!fw_name || r) {
1787050c6efSArindam Nath r = request_firmware(&rdev->uvd_fw, legacy_fw_name, rdev->dev);
1797050c6efSArindam Nath if (r) {
1807050c6efSArindam Nath dev_err(rdev->dev, "radeon_uvd: Can't load firmware \"%s\"\n",
1817050c6efSArindam Nath legacy_fw_name);
1827050c6efSArindam Nath return r;
1837050c6efSArindam Nath }
184f2ba57b5SChristian König }
185f2ba57b5SChristian König
1864ad9c1c7SChristian König bo_size = RADEON_GPU_PAGE_ALIGN(rdev->uvd_fw->size + 8) +
187feba9b0bSChristian König RADEON_UVD_STACK_SIZE + RADEON_UVD_HEAP_SIZE +
1888b2cf4f5SArindam Nath RADEON_UVD_SESSION_SIZE * rdev->uvd.max_handles;
189f2ba57b5SChristian König r = radeon_bo_create(rdev, bo_size, PAGE_SIZE, true,
190831b6966SMaarten Lankhorst RADEON_GEM_DOMAIN_VRAM, 0, NULL,
191831b6966SMaarten Lankhorst NULL, &rdev->uvd.vcpu_bo);
192f2ba57b5SChristian König if (r) {
193f2ba57b5SChristian König dev_err(rdev->dev, "(%d) failed to allocate UVD bo\n", r);
194f2ba57b5SChristian König return r;
195f2ba57b5SChristian König }
196f2ba57b5SChristian König
197f2ba57b5SChristian König r = radeon_bo_reserve(rdev->uvd.vcpu_bo, false);
198f2ba57b5SChristian König if (r) {
199f2ba57b5SChristian König radeon_bo_unref(&rdev->uvd.vcpu_bo);
200f2ba57b5SChristian König dev_err(rdev->dev, "(%d) failed to reserve UVD bo\n", r);
201f2ba57b5SChristian König return r;
202f2ba57b5SChristian König }
203f2ba57b5SChristian König
204f2ba57b5SChristian König r = radeon_bo_pin(rdev->uvd.vcpu_bo, RADEON_GEM_DOMAIN_VRAM,
205f2ba57b5SChristian König &rdev->uvd.gpu_addr);
206f2ba57b5SChristian König if (r) {
207f2ba57b5SChristian König radeon_bo_unreserve(rdev->uvd.vcpu_bo);
208f2ba57b5SChristian König radeon_bo_unref(&rdev->uvd.vcpu_bo);
209f2ba57b5SChristian König dev_err(rdev->dev, "(%d) UVD bo pin failed\n", r);
210f2ba57b5SChristian König return r;
211f2ba57b5SChristian König }
212f2ba57b5SChristian König
213f2ba57b5SChristian König r = radeon_bo_kmap(rdev->uvd.vcpu_bo, &rdev->uvd.cpu_addr);
214f2ba57b5SChristian König if (r) {
215f2ba57b5SChristian König dev_err(rdev->dev, "(%d) UVD map failed\n", r);
216f2ba57b5SChristian König return r;
217f2ba57b5SChristian König }
218f2ba57b5SChristian König
219f2ba57b5SChristian König radeon_bo_unreserve(rdev->uvd.vcpu_bo);
220f2ba57b5SChristian König
2218b2cf4f5SArindam Nath for (i = 0; i < rdev->uvd.max_handles; ++i) {
2229cc2e0e9SChristian König atomic_set(&rdev->uvd.handles[i], 0);
2239cc2e0e9SChristian König rdev->uvd.filp[i] = NULL;
22485a129caSAlex Deucher rdev->uvd.img_size[i] = 0;
2259cc2e0e9SChristian König }
2269cc2e0e9SChristian König
2279cc2e0e9SChristian König return 0;
2289cc2e0e9SChristian König }
2299cc2e0e9SChristian König
radeon_uvd_fini(struct radeon_device * rdev)2309cc2e0e9SChristian König void radeon_uvd_fini(struct radeon_device *rdev)
2319cc2e0e9SChristian König {
2329cc2e0e9SChristian König int r;
2339cc2e0e9SChristian König
2349cc2e0e9SChristian König if (rdev->uvd.vcpu_bo == NULL)
2359cc2e0e9SChristian König return;
2369cc2e0e9SChristian König
2379cc2e0e9SChristian König r = radeon_bo_reserve(rdev->uvd.vcpu_bo, false);
2389cc2e0e9SChristian König if (!r) {
2399cc2e0e9SChristian König radeon_bo_kunmap(rdev->uvd.vcpu_bo);
2409cc2e0e9SChristian König radeon_bo_unpin(rdev->uvd.vcpu_bo);
2419cc2e0e9SChristian König radeon_bo_unreserve(rdev->uvd.vcpu_bo);
2429cc2e0e9SChristian König }
2439cc2e0e9SChristian König
2449cc2e0e9SChristian König radeon_bo_unref(&rdev->uvd.vcpu_bo);
2454ad9c1c7SChristian König
246d9654413SJerome Glisse radeon_ring_fini(rdev, &rdev->ring[R600_RING_TYPE_UVD_INDEX]);
247d9654413SJerome Glisse
2484ad9c1c7SChristian König release_firmware(rdev->uvd_fw);
2499cc2e0e9SChristian König }
2509cc2e0e9SChristian König
radeon_uvd_suspend(struct radeon_device * rdev)2519cc2e0e9SChristian König int radeon_uvd_suspend(struct radeon_device *rdev)
2529cc2e0e9SChristian König {
25312e49feaSChristian König int i, r;
2549cc2e0e9SChristian König
2559cc2e0e9SChristian König if (rdev->uvd.vcpu_bo == NULL)
2569cc2e0e9SChristian König return 0;
2579cc2e0e9SChristian König
2588b2cf4f5SArindam Nath for (i = 0; i < rdev->uvd.max_handles; ++i) {
25912e49feaSChristian König uint32_t handle = atomic_read(&rdev->uvd.handles[i]);
26012e49feaSChristian König if (handle != 0) {
26112e49feaSChristian König struct radeon_fence *fence;
2624ad9c1c7SChristian König
26312e49feaSChristian König radeon_uvd_note_usage(rdev);
2644ad9c1c7SChristian König
26512e49feaSChristian König r = radeon_uvd_get_destroy_msg(rdev,
26612e49feaSChristian König R600_RING_TYPE_UVD_INDEX, handle, &fence);
26712e49feaSChristian König if (r) {
26812e49feaSChristian König DRM_ERROR("Error destroying UVD (%d)!\n", r);
26912e49feaSChristian König continue;
27012e49feaSChristian König }
2714ad9c1c7SChristian König
27212e49feaSChristian König radeon_fence_wait(fence, false);
27312e49feaSChristian König radeon_fence_unref(&fence);
2744ad9c1c7SChristian König
27512e49feaSChristian König rdev->uvd.filp[i] = NULL;
27612e49feaSChristian König atomic_set(&rdev->uvd.handles[i], 0);
27712e49feaSChristian König }
27812e49feaSChristian König }
2799cc2e0e9SChristian König
2809cc2e0e9SChristian König return 0;
2819cc2e0e9SChristian König }
2829cc2e0e9SChristian König
radeon_uvd_resume(struct radeon_device * rdev)2839cc2e0e9SChristian König int radeon_uvd_resume(struct radeon_device *rdev)
2849cc2e0e9SChristian König {
2854ad9c1c7SChristian König unsigned size;
2864ad9c1c7SChristian König void *ptr;
2874ad9c1c7SChristian König
2889cc2e0e9SChristian König if (rdev->uvd.vcpu_bo == NULL)
2899cc2e0e9SChristian König return -EINVAL;
2909cc2e0e9SChristian König
29165e06b78SChen Li memcpy_toio((void __iomem *)rdev->uvd.cpu_addr, rdev->uvd_fw->data, rdev->uvd_fw->size);
2924ad9c1c7SChristian König
2934ad9c1c7SChristian König size = radeon_bo_size(rdev->uvd.vcpu_bo);
2944ad9c1c7SChristian König size -= rdev->uvd_fw->size;
2954ad9c1c7SChristian König
2964ad9c1c7SChristian König ptr = rdev->uvd.cpu_addr;
2974ad9c1c7SChristian König ptr += rdev->uvd_fw->size;
2984ad9c1c7SChristian König
29965e06b78SChen Li memset_io((void __iomem *)ptr, 0, size);
3009cc2e0e9SChristian König
301f2ba57b5SChristian König return 0;
302f2ba57b5SChristian König }
303f2ba57b5SChristian König
radeon_uvd_force_into_uvd_segment(struct radeon_bo * rbo,uint32_t allowed_domains)3043852752cSChristian König void radeon_uvd_force_into_uvd_segment(struct radeon_bo *rbo,
3053852752cSChristian König uint32_t allowed_domains)
306f2ba57b5SChristian König {
307f1217ed0SChristian König int i;
308f1217ed0SChristian König
309f1217ed0SChristian König for (i = 0; i < rbo->placement.num_placement; ++i) {
310f1217ed0SChristian König rbo->placements[i].fpfn = 0 >> PAGE_SHIFT;
311f1217ed0SChristian König rbo->placements[i].lpfn = (256 * 1024 * 1024) >> PAGE_SHIFT;
312f1217ed0SChristian König }
3133852752cSChristian König
3143852752cSChristian König /* If it must be in VRAM it must be in the first segment as well */
3153852752cSChristian König if (allowed_domains == RADEON_GEM_DOMAIN_VRAM)
3163852752cSChristian König return;
3173852752cSChristian König
3183852752cSChristian König /* abort if we already have more than one placement */
3193852752cSChristian König if (rbo->placement.num_placement > 1)
3203852752cSChristian König return;
3213852752cSChristian König
3223852752cSChristian König /* add another 256MB segment */
3233852752cSChristian König rbo->placements[1] = rbo->placements[0];
3243852752cSChristian König rbo->placements[1].fpfn += (256 * 1024 * 1024) >> PAGE_SHIFT;
3253852752cSChristian König rbo->placements[1].lpfn += (256 * 1024 * 1024) >> PAGE_SHIFT;
3263852752cSChristian König rbo->placement.num_placement++;
3273852752cSChristian König rbo->placement.num_busy_placement++;
328f2ba57b5SChristian König }
329f2ba57b5SChristian König
radeon_uvd_free_handles(struct radeon_device * rdev,struct drm_file * filp)330f2ba57b5SChristian König void radeon_uvd_free_handles(struct radeon_device *rdev, struct drm_file *filp)
331f2ba57b5SChristian König {
332f2ba57b5SChristian König int i, r;
3338b2cf4f5SArindam Nath for (i = 0; i < rdev->uvd.max_handles; ++i) {
334f2ba57b5SChristian König uint32_t handle = atomic_read(&rdev->uvd.handles[i]);
335641a0059SChristian König if (handle != 0 && rdev->uvd.filp[i] == filp) {
336f2ba57b5SChristian König struct radeon_fence *fence;
337f2ba57b5SChristian König
338c154a763SChristian König radeon_uvd_note_usage(rdev);
339c154a763SChristian König
340f2ba57b5SChristian König r = radeon_uvd_get_destroy_msg(rdev,
341f2ba57b5SChristian König R600_RING_TYPE_UVD_INDEX, handle, &fence);
342f2ba57b5SChristian König if (r) {
343f2ba57b5SChristian König DRM_ERROR("Error destroying UVD (%d)!\n", r);
344f2ba57b5SChristian König continue;
345f2ba57b5SChristian König }
346f2ba57b5SChristian König
347f2ba57b5SChristian König radeon_fence_wait(fence, false);
348f2ba57b5SChristian König radeon_fence_unref(&fence);
349f2ba57b5SChristian König
350f2ba57b5SChristian König rdev->uvd.filp[i] = NULL;
351f2ba57b5SChristian König atomic_set(&rdev->uvd.handles[i], 0);
352f2ba57b5SChristian König }
353f2ba57b5SChristian König }
354f2ba57b5SChristian König }
355f2ba57b5SChristian König
radeon_uvd_cs_msg_decode(uint32_t * msg,unsigned buf_sizes[])356f2ba57b5SChristian König static int radeon_uvd_cs_msg_decode(uint32_t *msg, unsigned buf_sizes[])
357f2ba57b5SChristian König {
358f2ba57b5SChristian König unsigned stream_type = msg[4];
359f2ba57b5SChristian König unsigned width = msg[6];
360f2ba57b5SChristian König unsigned height = msg[7];
361f2ba57b5SChristian König unsigned dpb_size = msg[9];
362f2ba57b5SChristian König unsigned pitch = msg[28];
363f2ba57b5SChristian König
364f2ba57b5SChristian König unsigned width_in_mb = width / 16;
365f2ba57b5SChristian König unsigned height_in_mb = ALIGN(height / 16, 2);
366f2ba57b5SChristian König
367f2ba57b5SChristian König unsigned image_size, tmp, min_dpb_size;
368f2ba57b5SChristian König
369f2ba57b5SChristian König image_size = width * height;
370f2ba57b5SChristian König image_size += image_size / 2;
371f2ba57b5SChristian König image_size = ALIGN(image_size, 1024);
372f2ba57b5SChristian König
373f2ba57b5SChristian König switch (stream_type) {
374f2ba57b5SChristian König case 0: /* H264 */
375f2ba57b5SChristian König
376f2ba57b5SChristian König /* reference picture buffer */
377f2ba57b5SChristian König min_dpb_size = image_size * 17;
378f2ba57b5SChristian König
379f2ba57b5SChristian König /* macroblock context buffer */
380f2ba57b5SChristian König min_dpb_size += width_in_mb * height_in_mb * 17 * 192;
381f2ba57b5SChristian König
382f2ba57b5SChristian König /* IT surface buffer */
383f2ba57b5SChristian König min_dpb_size += width_in_mb * height_in_mb * 32;
384f2ba57b5SChristian König break;
385f2ba57b5SChristian König
386f2ba57b5SChristian König case 1: /* VC1 */
387f2ba57b5SChristian König
388f2ba57b5SChristian König /* reference picture buffer */
389f2ba57b5SChristian König min_dpb_size = image_size * 3;
390f2ba57b5SChristian König
391f2ba57b5SChristian König /* CONTEXT_BUFFER */
392f2ba57b5SChristian König min_dpb_size += width_in_mb * height_in_mb * 128;
393f2ba57b5SChristian König
394f2ba57b5SChristian König /* IT surface buffer */
395f2ba57b5SChristian König min_dpb_size += width_in_mb * 64;
396f2ba57b5SChristian König
397f2ba57b5SChristian König /* DB surface buffer */
398f2ba57b5SChristian König min_dpb_size += width_in_mb * 128;
399f2ba57b5SChristian König
400f2ba57b5SChristian König /* BP */
401f2ba57b5SChristian König tmp = max(width_in_mb, height_in_mb);
402f2ba57b5SChristian König min_dpb_size += ALIGN(tmp * 7 * 16, 64);
403f2ba57b5SChristian König break;
404f2ba57b5SChristian König
405f2ba57b5SChristian König case 3: /* MPEG2 */
406f2ba57b5SChristian König
407f2ba57b5SChristian König /* reference picture buffer */
408f2ba57b5SChristian König min_dpb_size = image_size * 3;
409f2ba57b5SChristian König break;
410f2ba57b5SChristian König
411f2ba57b5SChristian König case 4: /* MPEG4 */
412f2ba57b5SChristian König
413f2ba57b5SChristian König /* reference picture buffer */
414f2ba57b5SChristian König min_dpb_size = image_size * 3;
415f2ba57b5SChristian König
416f2ba57b5SChristian König /* CM */
417f2ba57b5SChristian König min_dpb_size += width_in_mb * height_in_mb * 64;
418f2ba57b5SChristian König
419f2ba57b5SChristian König /* IT surface buffer */
420f2ba57b5SChristian König min_dpb_size += ALIGN(width_in_mb * height_in_mb * 32, 64);
421f2ba57b5SChristian König break;
422f2ba57b5SChristian König
423f2ba57b5SChristian König default:
424f2ba57b5SChristian König DRM_ERROR("UVD codec not handled %d!\n", stream_type);
425f2ba57b5SChristian König return -EINVAL;
426f2ba57b5SChristian König }
427f2ba57b5SChristian König
428f2ba57b5SChristian König if (width > pitch) {
429f2ba57b5SChristian König DRM_ERROR("Invalid UVD decoding target pitch!\n");
430f2ba57b5SChristian König return -EINVAL;
431f2ba57b5SChristian König }
432f2ba57b5SChristian König
433f2ba57b5SChristian König if (dpb_size < min_dpb_size) {
434f2ba57b5SChristian König DRM_ERROR("Invalid dpb_size in UVD message (%d / %d)!\n",
435f2ba57b5SChristian König dpb_size, min_dpb_size);
436f2ba57b5SChristian König return -EINVAL;
437f2ba57b5SChristian König }
438f2ba57b5SChristian König
439f2ba57b5SChristian König buf_sizes[0x1] = dpb_size;
440f2ba57b5SChristian König buf_sizes[0x2] = image_size;
441f2ba57b5SChristian König return 0;
442f2ba57b5SChristian König }
443f2ba57b5SChristian König
radeon_uvd_validate_codec(struct radeon_cs_parser * p,unsigned stream_type)444d52cdfa4SChristian König static int radeon_uvd_validate_codec(struct radeon_cs_parser *p,
445d52cdfa4SChristian König unsigned stream_type)
446d52cdfa4SChristian König {
447d52cdfa4SChristian König switch (stream_type) {
448d52cdfa4SChristian König case 0: /* H264 */
449d52cdfa4SChristian König case 1: /* VC1 */
450d52cdfa4SChristian König /* always supported */
451d52cdfa4SChristian König return 0;
452d52cdfa4SChristian König
453d52cdfa4SChristian König case 3: /* MPEG2 */
454d52cdfa4SChristian König case 4: /* MPEG4 */
455d52cdfa4SChristian König /* only since UVD 3 */
456d52cdfa4SChristian König if (p->rdev->family >= CHIP_PALM)
457d52cdfa4SChristian König return 0;
458d52cdfa4SChristian König
459df561f66SGustavo A. R. Silva fallthrough;
460d52cdfa4SChristian König default:
461d52cdfa4SChristian König DRM_ERROR("UVD codec not supported by hardware %d!\n",
462d52cdfa4SChristian König stream_type);
463d52cdfa4SChristian König return -EINVAL;
464d52cdfa4SChristian König }
465d52cdfa4SChristian König }
466d52cdfa4SChristian König
radeon_uvd_cs_msg(struct radeon_cs_parser * p,struct radeon_bo * bo,unsigned offset,unsigned buf_sizes[])467f2ba57b5SChristian König static int radeon_uvd_cs_msg(struct radeon_cs_parser *p, struct radeon_bo *bo,
468f2ba57b5SChristian König unsigned offset, unsigned buf_sizes[])
469f2ba57b5SChristian König {
470f2ba57b5SChristian König int32_t *msg, msg_type, handle;
47185a129caSAlex Deucher unsigned img_size = 0;
472f2ba57b5SChristian König void *ptr;
473*91f0c245SChristian König int i, r;
474f2ba57b5SChristian König
475f2ba57b5SChristian König if (offset & 0x3F) {
476f2ba57b5SChristian König DRM_ERROR("UVD messages must be 64 byte aligned!\n");
477f2ba57b5SChristian König return -EINVAL;
478f2ba57b5SChristian König }
479f2ba57b5SChristian König
480f2ba57b5SChristian König r = radeon_bo_kmap(bo, &ptr);
48156cc2c15SChristian König if (r) {
482*91f0c245SChristian König DRM_ERROR("Failed mapping the UVD message (%d)!\n", r);
483f2ba57b5SChristian König return r;
48456cc2c15SChristian König }
485f2ba57b5SChristian König
486f2ba57b5SChristian König msg = ptr + offset;
487f2ba57b5SChristian König
488f2ba57b5SChristian König msg_type = msg[1];
489f2ba57b5SChristian König handle = msg[2];
490f2ba57b5SChristian König
491f2ba57b5SChristian König if (handle == 0) {
4921cbbc8d4Szhanglianjie radeon_bo_kunmap(bo);
493f2ba57b5SChristian König DRM_ERROR("Invalid UVD handle!\n");
494f2ba57b5SChristian König return -EINVAL;
495f2ba57b5SChristian König }
496f2ba57b5SChristian König
497a1b403daSChristian König switch (msg_type) {
498a1b403daSChristian König case 0:
49985a129caSAlex Deucher /* it's a create msg, calc image size (width * height) */
50085a129caSAlex Deucher img_size = msg[7] * msg[8];
501d52cdfa4SChristian König
502d52cdfa4SChristian König r = radeon_uvd_validate_codec(p, msg[4]);
503f2ba57b5SChristian König radeon_bo_kunmap(bo);
504d52cdfa4SChristian König if (r)
505d52cdfa4SChristian König return r;
50656cc2c15SChristian König
507a1b403daSChristian König /* try to alloc a new handle */
5088b2cf4f5SArindam Nath for (i = 0; i < p->rdev->uvd.max_handles; ++i) {
509a1b403daSChristian König if (atomic_read(&p->rdev->uvd.handles[i]) == handle) {
510a1b403daSChristian König DRM_ERROR("Handle 0x%x already in use!\n", handle);
51156cc2c15SChristian König return -EINVAL;
51256cc2c15SChristian König }
51356cc2c15SChristian König
514f2ba57b5SChristian König if (!atomic_cmpxchg(&p->rdev->uvd.handles[i], 0, handle)) {
515f2ba57b5SChristian König p->rdev->uvd.filp[i] = p->filp;
51685a129caSAlex Deucher p->rdev->uvd.img_size[i] = img_size;
517f2ba57b5SChristian König return 0;
518f2ba57b5SChristian König }
519f2ba57b5SChristian König }
520f2ba57b5SChristian König
521f2ba57b5SChristian König DRM_ERROR("No more free UVD handles!\n");
522f2ba57b5SChristian König return -EINVAL;
523a1b403daSChristian König
524a1b403daSChristian König case 1:
525d52cdfa4SChristian König /* it's a decode msg, validate codec and calc buffer sizes */
526d52cdfa4SChristian König r = radeon_uvd_validate_codec(p, msg[4]);
527d52cdfa4SChristian König if (!r)
528a1b403daSChristian König r = radeon_uvd_cs_msg_decode(msg, buf_sizes);
529a1b403daSChristian König radeon_bo_kunmap(bo);
530a1b403daSChristian König if (r)
531a1b403daSChristian König return r;
532a1b403daSChristian König
533a1b403daSChristian König /* validate the handle */
5348b2cf4f5SArindam Nath for (i = 0; i < p->rdev->uvd.max_handles; ++i) {
535a1b403daSChristian König if (atomic_read(&p->rdev->uvd.handles[i]) == handle) {
536a1b403daSChristian König if (p->rdev->uvd.filp[i] != p->filp) {
537a1b403daSChristian König DRM_ERROR("UVD handle collision detected!\n");
538a1b403daSChristian König return -EINVAL;
539a1b403daSChristian König }
540a1b403daSChristian König return 0;
541a1b403daSChristian König }
542a1b403daSChristian König }
543a1b403daSChristian König
544a1b403daSChristian König DRM_ERROR("Invalid UVD handle 0x%x!\n", handle);
545a1b403daSChristian König return -ENOENT;
546a1b403daSChristian König
547a1b403daSChristian König case 2:
548a1b403daSChristian König /* it's a destroy msg, free the handle */
5498b2cf4f5SArindam Nath for (i = 0; i < p->rdev->uvd.max_handles; ++i)
550a1b403daSChristian König atomic_cmpxchg(&p->rdev->uvd.handles[i], handle, 0);
551a1b403daSChristian König radeon_bo_kunmap(bo);
552a1b403daSChristian König return 0;
553a1b403daSChristian König
554a1b403daSChristian König default:
555a1b403daSChristian König DRM_ERROR("Illegal UVD message type (%d)!\n", msg_type);
556a1b403daSChristian König }
557a1b403daSChristian König
5581cbbc8d4Szhanglianjie radeon_bo_kunmap(bo);
559a1b403daSChristian König return -EINVAL;
560f2ba57b5SChristian König }
561f2ba57b5SChristian König
radeon_uvd_cs_reloc(struct radeon_cs_parser * p,int data0,int data1,unsigned buf_sizes[],bool * has_msg_cmd)562f2ba57b5SChristian König static int radeon_uvd_cs_reloc(struct radeon_cs_parser *p,
563f2ba57b5SChristian König int data0, int data1,
56456cc2c15SChristian König unsigned buf_sizes[], bool *has_msg_cmd)
565f2ba57b5SChristian König {
566f2ba57b5SChristian König struct radeon_cs_chunk *relocs_chunk;
5671d0c0942SChristian König struct radeon_bo_list *reloc;
568f2ba57b5SChristian König unsigned idx, cmd, offset;
569f2ba57b5SChristian König uint64_t start, end;
570f2ba57b5SChristian König int r;
571f2ba57b5SChristian König
5726d2d13ddSChristian König relocs_chunk = p->chunk_relocs;
573f2ba57b5SChristian König offset = radeon_get_ib_value(p, data0);
574f2ba57b5SChristian König idx = radeon_get_ib_value(p, data1);
575f2ba57b5SChristian König if (idx >= relocs_chunk->length_dw) {
576f2ba57b5SChristian König DRM_ERROR("Relocs at %d after relocations chunk end %d !\n",
577f2ba57b5SChristian König idx, relocs_chunk->length_dw);
578f2ba57b5SChristian König return -EINVAL;
579f2ba57b5SChristian König }
580f2ba57b5SChristian König
581466be338SChristian König reloc = &p->relocs[(idx / 4)];
582df0af440SChristian König start = reloc->gpu_offset;
583f2ba57b5SChristian König end = start + radeon_bo_size(reloc->robj);
584f2ba57b5SChristian König start += offset;
585f2ba57b5SChristian König
586f2ba57b5SChristian König p->ib.ptr[data0] = start & 0xFFFFFFFF;
587f2ba57b5SChristian König p->ib.ptr[data1] = start >> 32;
588f2ba57b5SChristian König
589f2ba57b5SChristian König cmd = radeon_get_ib_value(p, p->idx) >> 1;
590f2ba57b5SChristian König
591f2ba57b5SChristian König if (cmd < 0x4) {
592695daf1aSLeo Liu if (end <= start) {
593695daf1aSLeo Liu DRM_ERROR("invalid reloc offset %X!\n", offset);
594695daf1aSLeo Liu return -EINVAL;
595695daf1aSLeo Liu }
596f2ba57b5SChristian König if ((end - start) < buf_sizes[cmd]) {
59756cc2c15SChristian König DRM_ERROR("buffer (%d) to small (%d / %d)!\n", cmd,
598f2ba57b5SChristian König (unsigned)(end - start), buf_sizes[cmd]);
599f2ba57b5SChristian König return -EINVAL;
600f2ba57b5SChristian König }
601f2ba57b5SChristian König
602f2ba57b5SChristian König } else if (cmd != 0x100) {
603f2ba57b5SChristian König DRM_ERROR("invalid UVD command %X!\n", cmd);
604f2ba57b5SChristian König return -EINVAL;
605f2ba57b5SChristian König }
606f2ba57b5SChristian König
607bae651dbSChristian König if ((start >> 28) != ((end - 1) >> 28)) {
608f2ba57b5SChristian König DRM_ERROR("reloc %LX-%LX crossing 256MB boundary!\n",
609f2ba57b5SChristian König start, end);
610f2ba57b5SChristian König return -EINVAL;
611f2ba57b5SChristian König }
612f2ba57b5SChristian König
613bcf6f1e9SChristian König /* TODO: is this still necessary on NI+ ? */
614c0f83da9SChristian König if ((cmd == 0 || cmd == 0x3) &&
615a92c7d55SChristian König (start >> 28) != (p->rdev->uvd.gpu_addr >> 28)) {
616a92c7d55SChristian König DRM_ERROR("msg/fb buffer %LX-%LX out of 256MB segment!\n",
617a92c7d55SChristian König start, end);
618a92c7d55SChristian König return -EINVAL;
619a92c7d55SChristian König }
620a92c7d55SChristian König
621a92c7d55SChristian König if (cmd == 0) {
62256cc2c15SChristian König if (*has_msg_cmd) {
62356cc2c15SChristian König DRM_ERROR("More than one message in a UVD-IB!\n");
62456cc2c15SChristian König return -EINVAL;
62556cc2c15SChristian König }
62656cc2c15SChristian König *has_msg_cmd = true;
627a92c7d55SChristian König r = radeon_uvd_cs_msg(p, reloc->robj, offset, buf_sizes);
628a92c7d55SChristian König if (r)
629a92c7d55SChristian König return r;
63056cc2c15SChristian König } else if (!*has_msg_cmd) {
63156cc2c15SChristian König DRM_ERROR("Message needed before other commands are send!\n");
63256cc2c15SChristian König return -EINVAL;
633a92c7d55SChristian König }
634a92c7d55SChristian König
635f2ba57b5SChristian König return 0;
636f2ba57b5SChristian König }
637f2ba57b5SChristian König
radeon_uvd_cs_reg(struct radeon_cs_parser * p,struct radeon_cs_packet * pkt,int * data0,int * data1,unsigned buf_sizes[],bool * has_msg_cmd)638f2ba57b5SChristian König static int radeon_uvd_cs_reg(struct radeon_cs_parser *p,
639f2ba57b5SChristian König struct radeon_cs_packet *pkt,
640f2ba57b5SChristian König int *data0, int *data1,
64156cc2c15SChristian König unsigned buf_sizes[],
64256cc2c15SChristian König bool *has_msg_cmd)
643f2ba57b5SChristian König {
644f2ba57b5SChristian König int i, r;
645f2ba57b5SChristian König
646f2ba57b5SChristian König p->idx++;
647f2ba57b5SChristian König for (i = 0; i <= pkt->count; ++i) {
648f2ba57b5SChristian König switch (pkt->reg + i*4) {
649f2ba57b5SChristian König case UVD_GPCOM_VCPU_DATA0:
650f2ba57b5SChristian König *data0 = p->idx;
651f2ba57b5SChristian König break;
652f2ba57b5SChristian König case UVD_GPCOM_VCPU_DATA1:
653f2ba57b5SChristian König *data1 = p->idx;
654f2ba57b5SChristian König break;
655f2ba57b5SChristian König case UVD_GPCOM_VCPU_CMD:
65656cc2c15SChristian König r = radeon_uvd_cs_reloc(p, *data0, *data1,
65756cc2c15SChristian König buf_sizes, has_msg_cmd);
658f2ba57b5SChristian König if (r)
659f2ba57b5SChristian König return r;
660f2ba57b5SChristian König break;
661f2ba57b5SChristian König case UVD_ENGINE_CNTL:
6624d6bdbadSAlex Deucher case UVD_NO_OP:
663f2ba57b5SChristian König break;
664f2ba57b5SChristian König default:
665f2ba57b5SChristian König DRM_ERROR("Invalid reg 0x%X!\n",
666f2ba57b5SChristian König pkt->reg + i*4);
667f2ba57b5SChristian König return -EINVAL;
668f2ba57b5SChristian König }
669f2ba57b5SChristian König p->idx++;
670f2ba57b5SChristian König }
671f2ba57b5SChristian König return 0;
672f2ba57b5SChristian König }
673f2ba57b5SChristian König
radeon_uvd_cs_parse(struct radeon_cs_parser * p)674f2ba57b5SChristian König int radeon_uvd_cs_parse(struct radeon_cs_parser *p)
675f2ba57b5SChristian König {
676f2ba57b5SChristian König struct radeon_cs_packet pkt;
677f2ba57b5SChristian König int r, data0 = 0, data1 = 0;
678f2ba57b5SChristian König
67956cc2c15SChristian König /* does the IB has a msg command */
68056cc2c15SChristian König bool has_msg_cmd = false;
68156cc2c15SChristian König
682f2ba57b5SChristian König /* minimum buffer sizes */
683f2ba57b5SChristian König unsigned buf_sizes[] = {
684f2ba57b5SChristian König [0x00000000] = 2048,
685f2ba57b5SChristian König [0x00000001] = 32 * 1024 * 1024,
686f2ba57b5SChristian König [0x00000002] = 2048 * 1152 * 3,
687f2ba57b5SChristian König [0x00000003] = 2048,
688f2ba57b5SChristian König };
689f2ba57b5SChristian König
6906d2d13ddSChristian König if (p->chunk_ib->length_dw % 16) {
691f2ba57b5SChristian König DRM_ERROR("UVD IB length (%d) not 16 dwords aligned!\n",
6926d2d13ddSChristian König p->chunk_ib->length_dw);
693f2ba57b5SChristian König return -EINVAL;
694f2ba57b5SChristian König }
695f2ba57b5SChristian König
6966d2d13ddSChristian König if (p->chunk_relocs == NULL) {
697f2ba57b5SChristian König DRM_ERROR("No relocation chunk !\n");
698f2ba57b5SChristian König return -EINVAL;
699f2ba57b5SChristian König }
700f2ba57b5SChristian König
701f2ba57b5SChristian König
702f2ba57b5SChristian König do {
703f2ba57b5SChristian König r = radeon_cs_packet_parse(p, &pkt, p->idx);
704f2ba57b5SChristian König if (r)
705f2ba57b5SChristian König return r;
706f2ba57b5SChristian König switch (pkt.type) {
707f2ba57b5SChristian König case RADEON_PACKET_TYPE0:
70856cc2c15SChristian König r = radeon_uvd_cs_reg(p, &pkt, &data0, &data1,
70956cc2c15SChristian König buf_sizes, &has_msg_cmd);
710f2ba57b5SChristian König if (r)
711f2ba57b5SChristian König return r;
712f2ba57b5SChristian König break;
713f2ba57b5SChristian König case RADEON_PACKET_TYPE2:
714f2ba57b5SChristian König p->idx += pkt.count + 2;
715f2ba57b5SChristian König break;
716f2ba57b5SChristian König default:
717f2ba57b5SChristian König DRM_ERROR("Unknown packet type %d !\n", pkt.type);
718f2ba57b5SChristian König return -EINVAL;
719f2ba57b5SChristian König }
7206d2d13ddSChristian König } while (p->idx < p->chunk_ib->length_dw);
72156cc2c15SChristian König
72256cc2c15SChristian König if (!has_msg_cmd) {
72356cc2c15SChristian König DRM_ERROR("UVD-IBs need a msg command!\n");
72456cc2c15SChristian König return -EINVAL;
72556cc2c15SChristian König }
72656cc2c15SChristian König
727f2ba57b5SChristian König return 0;
728f2ba57b5SChristian König }
729f2ba57b5SChristian König
radeon_uvd_send_msg(struct radeon_device * rdev,int ring,uint64_t addr,struct radeon_fence ** fence)730f2ba57b5SChristian König static int radeon_uvd_send_msg(struct radeon_device *rdev,
731feba9b0bSChristian König int ring, uint64_t addr,
732f2ba57b5SChristian König struct radeon_fence **fence)
733f2ba57b5SChristian König {
734f2ba57b5SChristian König struct radeon_ib ib;
735f2ba57b5SChristian König int i, r;
736f2ba57b5SChristian König
737727ddc84SChristian König r = radeon_ib_get(rdev, ring, &ib, NULL, 64);
738ecff665fSMaarten Lankhorst if (r)
739feba9b0bSChristian König return r;
740f2ba57b5SChristian König
741f2ba57b5SChristian König ib.ptr[0] = PACKET0(UVD_GPCOM_VCPU_DATA0, 0);
742f2ba57b5SChristian König ib.ptr[1] = addr;
743f2ba57b5SChristian König ib.ptr[2] = PACKET0(UVD_GPCOM_VCPU_DATA1, 0);
744f2ba57b5SChristian König ib.ptr[3] = addr >> 32;
745f2ba57b5SChristian König ib.ptr[4] = PACKET0(UVD_GPCOM_VCPU_CMD, 0);
746f2ba57b5SChristian König ib.ptr[5] = 0;
74770a033d2SAlex Deucher for (i = 6; i < 16; i += 2) {
74870a033d2SAlex Deucher ib.ptr[i] = PACKET0(UVD_NO_OP, 0);
74970a033d2SAlex Deucher ib.ptr[i+1] = 0;
75070a033d2SAlex Deucher }
751f2ba57b5SChristian König ib.length_dw = 16;
752f2ba57b5SChristian König
7531538a9e0SMichel Dänzer r = radeon_ib_schedule(rdev, &ib, NULL, false);
754f2ba57b5SChristian König
755f2ba57b5SChristian König if (fence)
756f2ba57b5SChristian König *fence = radeon_fence_ref(ib.fence);
757f2ba57b5SChristian König
758f2ba57b5SChristian König radeon_ib_free(rdev, &ib);
759ecff665fSMaarten Lankhorst return r;
760f2ba57b5SChristian König }
761f2ba57b5SChristian König
7623cf8bb1aSJérome Glisse /*
7633cf8bb1aSJérome Glisse * multiple fence commands without any stream commands in between can
7643cf8bb1aSJérome Glisse * crash the vcpu so just try to emmit a dummy create/destroy msg to
7653cf8bb1aSJérome Glisse * avoid this
7663cf8bb1aSJérome Glisse */
radeon_uvd_get_create_msg(struct radeon_device * rdev,int ring,uint32_t handle,struct radeon_fence ** fence)767f2ba57b5SChristian König int radeon_uvd_get_create_msg(struct radeon_device *rdev, int ring,
768f2ba57b5SChristian König uint32_t handle, struct radeon_fence **fence)
769f2ba57b5SChristian König {
770feba9b0bSChristian König /* we use the last page of the vcpu bo for the UVD message */
771feba9b0bSChristian König uint64_t offs = radeon_bo_size(rdev->uvd.vcpu_bo) -
772feba9b0bSChristian König RADEON_GPU_PAGE_SIZE;
773feba9b0bSChristian König
774ede6b6bcSChen Li uint32_t __iomem *msg = (void __iomem *)(rdev->uvd.cpu_addr + offs);
775feba9b0bSChristian König uint64_t addr = rdev->uvd.gpu_addr + offs;
776feba9b0bSChristian König
777f2ba57b5SChristian König int r, i;
778f2ba57b5SChristian König
779feba9b0bSChristian König r = radeon_bo_reserve(rdev->uvd.vcpu_bo, true);
780f2ba57b5SChristian König if (r)
781f2ba57b5SChristian König return r;
782f2ba57b5SChristian König
783f2ba57b5SChristian König /* stitch together an UVD create msg */
784c0f2b640SChen Li writel((__force u32)cpu_to_le32(0x00000de4), &msg[0]);
785ede6b6bcSChen Li writel(0x0, (void __iomem *)&msg[1]);
786c0f2b640SChen Li writel((__force u32)cpu_to_le32(handle), &msg[2]);
787ede6b6bcSChen Li writel(0x0, &msg[3]);
788ede6b6bcSChen Li writel(0x0, &msg[4]);
789ede6b6bcSChen Li writel(0x0, &msg[5]);
790ede6b6bcSChen Li writel(0x0, &msg[6]);
791c0f2b640SChen Li writel((__force u32)cpu_to_le32(0x00000780), &msg[7]);
792c0f2b640SChen Li writel((__force u32)cpu_to_le32(0x00000440), &msg[8]);
793ede6b6bcSChen Li writel(0x0, &msg[9]);
794c0f2b640SChen Li writel((__force u32)cpu_to_le32(0x01b37000), &msg[10]);
795f2ba57b5SChristian König for (i = 11; i < 1024; ++i)
796ede6b6bcSChen Li writel(0x0, &msg[i]);
797f2ba57b5SChristian König
798feba9b0bSChristian König r = radeon_uvd_send_msg(rdev, ring, addr, fence);
799feba9b0bSChristian König radeon_bo_unreserve(rdev->uvd.vcpu_bo);
800feba9b0bSChristian König return r;
801f2ba57b5SChristian König }
802f2ba57b5SChristian König
radeon_uvd_get_destroy_msg(struct radeon_device * rdev,int ring,uint32_t handle,struct radeon_fence ** fence)803f2ba57b5SChristian König int radeon_uvd_get_destroy_msg(struct radeon_device *rdev, int ring,
804f2ba57b5SChristian König uint32_t handle, struct radeon_fence **fence)
805f2ba57b5SChristian König {
806feba9b0bSChristian König /* we use the last page of the vcpu bo for the UVD message */
807feba9b0bSChristian König uint64_t offs = radeon_bo_size(rdev->uvd.vcpu_bo) -
808feba9b0bSChristian König RADEON_GPU_PAGE_SIZE;
809feba9b0bSChristian König
810ede6b6bcSChen Li uint32_t __iomem *msg = (void __iomem *)(rdev->uvd.cpu_addr + offs);
811feba9b0bSChristian König uint64_t addr = rdev->uvd.gpu_addr + offs;
812feba9b0bSChristian König
813f2ba57b5SChristian König int r, i;
814f2ba57b5SChristian König
815feba9b0bSChristian König r = radeon_bo_reserve(rdev->uvd.vcpu_bo, true);
816f2ba57b5SChristian König if (r)
817f2ba57b5SChristian König return r;
818f2ba57b5SChristian König
819f2ba57b5SChristian König /* stitch together an UVD destroy msg */
820c0f2b640SChen Li writel((__force u32)cpu_to_le32(0x00000de4), &msg[0]);
821c0f2b640SChen Li writel((__force u32)cpu_to_le32(0x00000002), &msg[1]);
822c0f2b640SChen Li writel((__force u32)cpu_to_le32(handle), &msg[2]);
823ede6b6bcSChen Li writel(0x0, &msg[3]);
824f2ba57b5SChristian König for (i = 4; i < 1024; ++i)
825ede6b6bcSChen Li writel(0x0, &msg[i]);
826f2ba57b5SChristian König
827feba9b0bSChristian König r = radeon_uvd_send_msg(rdev, ring, addr, fence);
828feba9b0bSChristian König radeon_bo_unreserve(rdev->uvd.vcpu_bo);
829feba9b0bSChristian König return r;
830f2ba57b5SChristian König }
83155b51c88SChristian König
83285a129caSAlex Deucher /**
83385a129caSAlex Deucher * radeon_uvd_count_handles - count number of open streams
83485a129caSAlex Deucher *
83585a129caSAlex Deucher * @rdev: radeon_device pointer
83685a129caSAlex Deucher * @sd: number of SD streams
83785a129caSAlex Deucher * @hd: number of HD streams
83885a129caSAlex Deucher *
83985a129caSAlex Deucher * Count the number of open SD/HD streams as a hint for power mangement
84085a129caSAlex Deucher */
radeon_uvd_count_handles(struct radeon_device * rdev,unsigned * sd,unsigned * hd)84185a129caSAlex Deucher static void radeon_uvd_count_handles(struct radeon_device *rdev,
84285a129caSAlex Deucher unsigned *sd, unsigned *hd)
84385a129caSAlex Deucher {
84485a129caSAlex Deucher unsigned i;
84585a129caSAlex Deucher
84685a129caSAlex Deucher *sd = 0;
84785a129caSAlex Deucher *hd = 0;
84885a129caSAlex Deucher
8498b2cf4f5SArindam Nath for (i = 0; i < rdev->uvd.max_handles; ++i) {
85085a129caSAlex Deucher if (!atomic_read(&rdev->uvd.handles[i]))
85185a129caSAlex Deucher continue;
85285a129caSAlex Deucher
85385a129caSAlex Deucher if (rdev->uvd.img_size[i] >= 720*576)
85485a129caSAlex Deucher ++(*hd);
85585a129caSAlex Deucher else
85685a129caSAlex Deucher ++(*sd);
85785a129caSAlex Deucher }
85885a129caSAlex Deucher }
85985a129caSAlex Deucher
radeon_uvd_idle_work_handler(struct work_struct * work)86055b51c88SChristian König static void radeon_uvd_idle_work_handler(struct work_struct *work)
86155b51c88SChristian König {
86255b51c88SChristian König struct radeon_device *rdev =
86355b51c88SChristian König container_of(work, struct radeon_device, uvd.idle_work.work);
86455b51c88SChristian König
8658a227555SAlex Deucher if (radeon_fence_count_emitted(rdev, R600_RING_TYPE_UVD_INDEX) == 0) {
8668a227555SAlex Deucher if ((rdev->pm.pm_method == PM_METHOD_DPM) && rdev->pm.dpm_enabled) {
8678158eb9eSChristian König radeon_uvd_count_handles(rdev, &rdev->pm.dpm.sd,
8688158eb9eSChristian König &rdev->pm.dpm.hd);
869ce3537d5SAlex Deucher radeon_dpm_enable_uvd(rdev, false);
8708a227555SAlex Deucher } else {
87155b51c88SChristian König radeon_set_uvd_clocks(rdev, 0, 0);
8728a227555SAlex Deucher }
8738a227555SAlex Deucher } else {
87455b51c88SChristian König schedule_delayed_work(&rdev->uvd.idle_work,
87555b51c88SChristian König msecs_to_jiffies(UVD_IDLE_TIMEOUT_MS));
87655b51c88SChristian König }
8778a227555SAlex Deucher }
87855b51c88SChristian König
radeon_uvd_note_usage(struct radeon_device * rdev)87955b51c88SChristian König void radeon_uvd_note_usage(struct radeon_device *rdev)
88055b51c88SChristian König {
881ce3537d5SAlex Deucher bool streams_changed = false;
88255b51c88SChristian König bool set_clocks = !cancel_delayed_work_sync(&rdev->uvd.idle_work);
88355b51c88SChristian König set_clocks &= schedule_delayed_work(&rdev->uvd.idle_work,
88455b51c88SChristian König msecs_to_jiffies(UVD_IDLE_TIMEOUT_MS));
885ce3537d5SAlex Deucher
8868a227555SAlex Deucher if ((rdev->pm.pm_method == PM_METHOD_DPM) && rdev->pm.dpm_enabled) {
887ce3537d5SAlex Deucher unsigned hd = 0, sd = 0;
888ce3537d5SAlex Deucher radeon_uvd_count_handles(rdev, &sd, &hd);
889ce3537d5SAlex Deucher if ((rdev->pm.dpm.sd != sd) ||
890ce3537d5SAlex Deucher (rdev->pm.dpm.hd != hd)) {
891ce3537d5SAlex Deucher rdev->pm.dpm.sd = sd;
892ce3537d5SAlex Deucher rdev->pm.dpm.hd = hd;
8930690a229SAlex Deucher /* disable this for now */
8940690a229SAlex Deucher /*streams_changed = true;*/
895ce3537d5SAlex Deucher }
896ce3537d5SAlex Deucher }
897ce3537d5SAlex Deucher
898ce3537d5SAlex Deucher if (set_clocks || streams_changed) {
899ce3537d5SAlex Deucher if ((rdev->pm.pm_method == PM_METHOD_DPM) && rdev->pm.dpm_enabled) {
900ce3537d5SAlex Deucher radeon_dpm_enable_uvd(rdev, true);
9018a227555SAlex Deucher } else {
90255b51c88SChristian König radeon_set_uvd_clocks(rdev, 53300, 40000);
90355b51c88SChristian König }
9048a227555SAlex Deucher }
9058a227555SAlex Deucher }
906facd112dSChristian König
radeon_uvd_calc_upll_post_div(unsigned vco_freq,unsigned target_freq,unsigned pd_min,unsigned pd_even)907facd112dSChristian König static unsigned radeon_uvd_calc_upll_post_div(unsigned vco_freq,
908facd112dSChristian König unsigned target_freq,
909facd112dSChristian König unsigned pd_min,
910facd112dSChristian König unsigned pd_even)
911facd112dSChristian König {
912facd112dSChristian König unsigned post_div = vco_freq / target_freq;
913facd112dSChristian König
914facd112dSChristian König /* adjust to post divider minimum value */
915facd112dSChristian König if (post_div < pd_min)
916facd112dSChristian König post_div = pd_min;
917facd112dSChristian König
918facd112dSChristian König /* we alway need a frequency less than or equal the target */
919facd112dSChristian König if ((vco_freq / post_div) > target_freq)
920facd112dSChristian König post_div += 1;
921facd112dSChristian König
922facd112dSChristian König /* post dividers above a certain value must be even */
923facd112dSChristian König if (post_div > pd_even && post_div % 2)
924facd112dSChristian König post_div += 1;
925facd112dSChristian König
926facd112dSChristian König return post_div;
927facd112dSChristian König }
928facd112dSChristian König
929facd112dSChristian König /**
930facd112dSChristian König * radeon_uvd_calc_upll_dividers - calc UPLL clock dividers
931facd112dSChristian König *
932facd112dSChristian König * @rdev: radeon_device pointer
933facd112dSChristian König * @vclk: wanted VCLK
934facd112dSChristian König * @dclk: wanted DCLK
935facd112dSChristian König * @vco_min: minimum VCO frequency
936facd112dSChristian König * @vco_max: maximum VCO frequency
937facd112dSChristian König * @fb_factor: factor to multiply vco freq with
938facd112dSChristian König * @fb_mask: limit and bitmask for feedback divider
939facd112dSChristian König * @pd_min: post divider minimum
940facd112dSChristian König * @pd_max: post divider maximum
941facd112dSChristian König * @pd_even: post divider must be even above this value
942facd112dSChristian König * @optimal_fb_div: resulting feedback divider
943facd112dSChristian König * @optimal_vclk_div: resulting vclk post divider
944facd112dSChristian König * @optimal_dclk_div: resulting dclk post divider
945facd112dSChristian König *
946facd112dSChristian König * Calculate dividers for UVDs UPLL (R6xx-SI, except APUs).
947facd112dSChristian König * Returns zero on success -EINVAL on error.
948facd112dSChristian König */
radeon_uvd_calc_upll_dividers(struct radeon_device * rdev,unsigned vclk,unsigned dclk,unsigned vco_min,unsigned vco_max,unsigned fb_factor,unsigned fb_mask,unsigned pd_min,unsigned pd_max,unsigned pd_even,unsigned * optimal_fb_div,unsigned * optimal_vclk_div,unsigned * optimal_dclk_div)949facd112dSChristian König int radeon_uvd_calc_upll_dividers(struct radeon_device *rdev,
950facd112dSChristian König unsigned vclk, unsigned dclk,
951facd112dSChristian König unsigned vco_min, unsigned vco_max,
952facd112dSChristian König unsigned fb_factor, unsigned fb_mask,
953facd112dSChristian König unsigned pd_min, unsigned pd_max,
954facd112dSChristian König unsigned pd_even,
955facd112dSChristian König unsigned *optimal_fb_div,
956facd112dSChristian König unsigned *optimal_vclk_div,
957facd112dSChristian König unsigned *optimal_dclk_div)
958facd112dSChristian König {
959facd112dSChristian König unsigned vco_freq, ref_freq = rdev->clock.spll.reference_freq;
960facd112dSChristian König
961facd112dSChristian König /* start off with something large */
962facd112dSChristian König unsigned optimal_score = ~0;
963facd112dSChristian König
964facd112dSChristian König /* loop through vco from low to high */
965facd112dSChristian König vco_min = max(max(vco_min, vclk), dclk);
966facd112dSChristian König for (vco_freq = vco_min; vco_freq <= vco_max; vco_freq += 100) {
967facd112dSChristian König
968facd112dSChristian König uint64_t fb_div = (uint64_t)vco_freq * fb_factor;
969facd112dSChristian König unsigned vclk_div, dclk_div, score;
970facd112dSChristian König
971facd112dSChristian König do_div(fb_div, ref_freq);
972facd112dSChristian König
973facd112dSChristian König /* fb div out of range ? */
974facd112dSChristian König if (fb_div > fb_mask)
975facd112dSChristian König break; /* it can oly get worse */
976facd112dSChristian König
977facd112dSChristian König fb_div &= fb_mask;
978facd112dSChristian König
979facd112dSChristian König /* calc vclk divider with current vco freq */
980facd112dSChristian König vclk_div = radeon_uvd_calc_upll_post_div(vco_freq, vclk,
981facd112dSChristian König pd_min, pd_even);
982facd112dSChristian König if (vclk_div > pd_max)
983facd112dSChristian König break; /* vco is too big, it has to stop */
984facd112dSChristian König
985facd112dSChristian König /* calc dclk divider with current vco freq */
986facd112dSChristian König dclk_div = radeon_uvd_calc_upll_post_div(vco_freq, dclk,
987facd112dSChristian König pd_min, pd_even);
9883a61b527SJulia Lawall if (dclk_div > pd_max)
989facd112dSChristian König break; /* vco is too big, it has to stop */
990facd112dSChristian König
991facd112dSChristian König /* calc score with current vco freq */
992facd112dSChristian König score = vclk - (vco_freq / vclk_div) + dclk - (vco_freq / dclk_div);
993facd112dSChristian König
994facd112dSChristian König /* determine if this vco setting is better than current optimal settings */
995facd112dSChristian König if (score < optimal_score) {
996facd112dSChristian König *optimal_fb_div = fb_div;
997facd112dSChristian König *optimal_vclk_div = vclk_div;
998facd112dSChristian König *optimal_dclk_div = dclk_div;
999facd112dSChristian König optimal_score = score;
1000facd112dSChristian König if (optimal_score == 0)
1001facd112dSChristian König break; /* it can't get better than this */
1002facd112dSChristian König }
1003facd112dSChristian König }
1004facd112dSChristian König
1005facd112dSChristian König /* did we found a valid setup ? */
1006facd112dSChristian König if (optimal_score == ~0)
1007facd112dSChristian König return -EINVAL;
1008facd112dSChristian König
1009facd112dSChristian König return 0;
1010facd112dSChristian König }
1011facd112dSChristian König
radeon_uvd_send_upll_ctlreq(struct radeon_device * rdev,unsigned cg_upll_func_cntl)1012facd112dSChristian König int radeon_uvd_send_upll_ctlreq(struct radeon_device *rdev,
1013facd112dSChristian König unsigned cg_upll_func_cntl)
1014facd112dSChristian König {
1015facd112dSChristian König unsigned i;
1016facd112dSChristian König
1017facd112dSChristian König /* make sure UPLL_CTLREQ is deasserted */
1018facd112dSChristian König WREG32_P(cg_upll_func_cntl, 0, ~UPLL_CTLREQ_MASK);
1019facd112dSChristian König
1020facd112dSChristian König mdelay(10);
1021facd112dSChristian König
1022facd112dSChristian König /* assert UPLL_CTLREQ */
1023facd112dSChristian König WREG32_P(cg_upll_func_cntl, UPLL_CTLREQ_MASK, ~UPLL_CTLREQ_MASK);
1024facd112dSChristian König
1025facd112dSChristian König /* wait for CTLACK and CTLACK2 to get asserted */
1026facd112dSChristian König for (i = 0; i < 100; ++i) {
1027facd112dSChristian König uint32_t mask = UPLL_CTLACK_MASK | UPLL_CTLACK2_MASK;
1028facd112dSChristian König if ((RREG32(cg_upll_func_cntl) & mask) == mask)
1029facd112dSChristian König break;
1030facd112dSChristian König mdelay(10);
1031facd112dSChristian König }
1032facd112dSChristian König
1033facd112dSChristian König /* deassert UPLL_CTLREQ */
1034facd112dSChristian König WREG32_P(cg_upll_func_cntl, 0, ~UPLL_CTLREQ_MASK);
1035facd112dSChristian König
1036facd112dSChristian König if (i == 100) {
1037facd112dSChristian König DRM_ERROR("Timeout setting UVD clocks!\n");
1038facd112dSChristian König return -ETIMEDOUT;
1039facd112dSChristian König }
1040facd112dSChristian König
1041facd112dSChristian König return 0;
1042facd112dSChristian König }
1043