1d93f7937SChristian König /* 2d93f7937SChristian König * Copyright 2013 Advanced Micro Devices, Inc. 3d93f7937SChristian König * All Rights Reserved. 4d93f7937SChristian König * 5d93f7937SChristian König * Permission is hereby granted, free of charge, to any person obtaining a 6d93f7937SChristian König * copy of this software and associated documentation files (the 7d93f7937SChristian König * "Software"), to deal in the Software without restriction, including 8d93f7937SChristian König * without limitation the rights to use, copy, modify, merge, publish, 9d93f7937SChristian König * distribute, sub license, and/or sell copies of the Software, and to 10d93f7937SChristian König * permit persons to whom the Software is furnished to do so, subject to 11d93f7937SChristian König * the following conditions: 12d93f7937SChristian König * 13d93f7937SChristian König * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR 14d93f7937SChristian König * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, 15d93f7937SChristian König * FITNESS FOR A PARTICULAR PURPOSE AND NON-INFRINGEMENT. IN NO EVENT SHALL 16d93f7937SChristian König * THE COPYRIGHT HOLDERS, AUTHORS AND/OR ITS SUPPLIERS BE LIABLE FOR ANY CLAIM, 17d93f7937SChristian König * DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR 18d93f7937SChristian König * OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE 19d93f7937SChristian König * USE OR OTHER DEALINGS IN THE SOFTWARE. 20d93f7937SChristian König * 21d93f7937SChristian König * The above copyright notice and this permission notice (including the 22d93f7937SChristian König * next paragraph) shall be included in all copies or substantial portions 23d93f7937SChristian König * of the Software. 24d93f7937SChristian König * 25d93f7937SChristian König * Authors: Christian König <christian.koenig@amd.com> 26d93f7937SChristian König */ 27d93f7937SChristian König 28d93f7937SChristian König #include <linux/firmware.h> 29d93f7937SChristian König #include <linux/module.h> 30d93f7937SChristian König #include <drm/drmP.h> 31d93f7937SChristian König #include <drm/drm.h> 32d93f7937SChristian König 33d93f7937SChristian König #include "radeon.h" 34d93f7937SChristian König #include "radeon_asic.h" 35d93f7937SChristian König #include "sid.h" 36d93f7937SChristian König 3703afe6f6SAlex Deucher /* 1 second timeout */ 3803afe6f6SAlex Deucher #define VCE_IDLE_TIMEOUT_MS 1000 3903afe6f6SAlex Deucher 40d93f7937SChristian König /* Firmware Names */ 41d93f7937SChristian König #define FIRMWARE_BONAIRE "radeon/BONAIRE_vce.bin" 42d93f7937SChristian König 43d93f7937SChristian König MODULE_FIRMWARE(FIRMWARE_BONAIRE); 44d93f7937SChristian König 4503afe6f6SAlex Deucher static void radeon_vce_idle_work_handler(struct work_struct *work); 4603afe6f6SAlex Deucher 47d93f7937SChristian König /** 48d93f7937SChristian König * radeon_vce_init - allocate memory, load vce firmware 49d93f7937SChristian König * 50d93f7937SChristian König * @rdev: radeon_device pointer 51d93f7937SChristian König * 52d93f7937SChristian König * First step to get VCE online, allocate memory and load the firmware 53d93f7937SChristian König */ 54d93f7937SChristian König int radeon_vce_init(struct radeon_device *rdev) 55d93f7937SChristian König { 5698ccc291SChristian König static const char *fw_version = "[ATI LIB=VCEFW,"; 5798ccc291SChristian König static const char *fb_version = "[ATI LIB=VCEFWSTATS,"; 5898ccc291SChristian König unsigned long size; 5998ccc291SChristian König const char *fw_name, *c; 6098ccc291SChristian König uint8_t start, mid, end; 61d93f7937SChristian König int i, r; 62d93f7937SChristian König 6303afe6f6SAlex Deucher INIT_DELAYED_WORK(&rdev->vce.idle_work, radeon_vce_idle_work_handler); 6403afe6f6SAlex Deucher 65d93f7937SChristian König switch (rdev->family) { 66d93f7937SChristian König case CHIP_BONAIRE: 67d93f7937SChristian König case CHIP_KAVERI: 68d93f7937SChristian König case CHIP_KABINI: 69d71c48f6SAlex Deucher case CHIP_HAWAII: 70428bedddSLeo Liu case CHIP_MULLINS: 71d93f7937SChristian König fw_name = FIRMWARE_BONAIRE; 72d93f7937SChristian König break; 73d93f7937SChristian König 74d93f7937SChristian König default: 75d93f7937SChristian König return -EINVAL; 76d93f7937SChristian König } 77d93f7937SChristian König 78d93f7937SChristian König r = request_firmware(&rdev->vce_fw, fw_name, rdev->dev); 79d93f7937SChristian König if (r) { 80d93f7937SChristian König dev_err(rdev->dev, "radeon_vce: Can't load firmware \"%s\"\n", 81d93f7937SChristian König fw_name); 82d93f7937SChristian König return r; 83d93f7937SChristian König } 84d93f7937SChristian König 8598ccc291SChristian König /* search for firmware version */ 8698ccc291SChristian König 8798ccc291SChristian König size = rdev->vce_fw->size - strlen(fw_version) - 9; 8898ccc291SChristian König c = rdev->vce_fw->data; 8998ccc291SChristian König for (;size > 0; --size, ++c) 9098ccc291SChristian König if (strncmp(c, fw_version, strlen(fw_version)) == 0) 9198ccc291SChristian König break; 9298ccc291SChristian König 9398ccc291SChristian König if (size == 0) 9498ccc291SChristian König return -EINVAL; 9598ccc291SChristian König 9698ccc291SChristian König c += strlen(fw_version); 9798ccc291SChristian König if (sscanf(c, "%2hhd.%2hhd.%2hhd]", &start, &mid, &end) != 3) 9898ccc291SChristian König return -EINVAL; 9998ccc291SChristian König 10098ccc291SChristian König /* search for feedback version */ 10198ccc291SChristian König 10298ccc291SChristian König size = rdev->vce_fw->size - strlen(fb_version) - 3; 10398ccc291SChristian König c = rdev->vce_fw->data; 10498ccc291SChristian König for (;size > 0; --size, ++c) 10598ccc291SChristian König if (strncmp(c, fb_version, strlen(fb_version)) == 0) 10698ccc291SChristian König break; 10798ccc291SChristian König 10898ccc291SChristian König if (size == 0) 10998ccc291SChristian König return -EINVAL; 11098ccc291SChristian König 11198ccc291SChristian König c += strlen(fb_version); 11298ccc291SChristian König if (sscanf(c, "%2u]", &rdev->vce.fb_version) != 1) 11398ccc291SChristian König return -EINVAL; 11498ccc291SChristian König 11598ccc291SChristian König DRM_INFO("Found VCE firmware/feedback version %hhd.%hhd.%hhd / %d!\n", 11698ccc291SChristian König start, mid, end, rdev->vce.fb_version); 11798ccc291SChristian König 11898ccc291SChristian König rdev->vce.fw_version = (start << 24) | (mid << 16) | (end << 8); 11998ccc291SChristian König 12098ccc291SChristian König /* we can only work with this fw version for now */ 121*c11d75c8SChristian König if ((rdev->vce.fw_version != ((40 << 24) | (2 << 16) | (2 << 8))) && 122*c11d75c8SChristian König (rdev->vce.fw_version != ((50 << 24) | (0 << 16) | (1 << 8))) && 123*c11d75c8SChristian König (rdev->vce.fw_version != ((50 << 24) | (1 << 16) | (2 << 8)))) 12498ccc291SChristian König return -EINVAL; 12598ccc291SChristian König 126b03b4e4bSChristian König /* allocate firmware, stack and heap BO */ 12798ccc291SChristian König 128fa0cf2f2SChristian König size = vce_v2_0_bo_size(rdev); 12998ccc291SChristian König r = radeon_bo_create(rdev, size, PAGE_SIZE, true, 130831b6966SMaarten Lankhorst RADEON_GEM_DOMAIN_VRAM, 0, NULL, NULL, 131831b6966SMaarten Lankhorst &rdev->vce.vcpu_bo); 132d93f7937SChristian König if (r) { 133d93f7937SChristian König dev_err(rdev->dev, "(%d) failed to allocate VCE bo\n", r); 134d93f7937SChristian König return r; 135d93f7937SChristian König } 136d93f7937SChristian König 137b03b4e4bSChristian König r = radeon_bo_reserve(rdev->vce.vcpu_bo, false); 138b03b4e4bSChristian König if (r) { 139b03b4e4bSChristian König radeon_bo_unref(&rdev->vce.vcpu_bo); 140b03b4e4bSChristian König dev_err(rdev->dev, "(%d) failed to reserve VCE bo\n", r); 141d93f7937SChristian König return r; 142b03b4e4bSChristian König } 143d93f7937SChristian König 144b03b4e4bSChristian König r = radeon_bo_pin(rdev->vce.vcpu_bo, RADEON_GEM_DOMAIN_VRAM, 145b03b4e4bSChristian König &rdev->vce.gpu_addr); 146b03b4e4bSChristian König radeon_bo_unreserve(rdev->vce.vcpu_bo); 147b03b4e4bSChristian König if (r) { 148b03b4e4bSChristian König radeon_bo_unref(&rdev->vce.vcpu_bo); 149b03b4e4bSChristian König dev_err(rdev->dev, "(%d) VCE bo pin failed\n", r); 150d93f7937SChristian König return r; 151b03b4e4bSChristian König } 152d93f7937SChristian König 153d93f7937SChristian König for (i = 0; i < RADEON_MAX_VCE_HANDLES; ++i) { 154d93f7937SChristian König atomic_set(&rdev->vce.handles[i], 0); 155d93f7937SChristian König rdev->vce.filp[i] = NULL; 156d93f7937SChristian König } 157d93f7937SChristian König 158d93f7937SChristian König return 0; 159d93f7937SChristian König } 160d93f7937SChristian König 161d93f7937SChristian König /** 162d93f7937SChristian König * radeon_vce_fini - free memory 163d93f7937SChristian König * 164d93f7937SChristian König * @rdev: radeon_device pointer 165d93f7937SChristian König * 166d93f7937SChristian König * Last step on VCE teardown, free firmware memory 167d93f7937SChristian König */ 168d93f7937SChristian König void radeon_vce_fini(struct radeon_device *rdev) 169d93f7937SChristian König { 170b03b4e4bSChristian König if (rdev->vce.vcpu_bo == NULL) 171b03b4e4bSChristian König return; 172b03b4e4bSChristian König 173d93f7937SChristian König radeon_bo_unref(&rdev->vce.vcpu_bo); 174b03b4e4bSChristian König 175b03b4e4bSChristian König release_firmware(rdev->vce_fw); 176d93f7937SChristian König } 177d93f7937SChristian König 178d93f7937SChristian König /** 179d93f7937SChristian König * radeon_vce_suspend - unpin VCE fw memory 180d93f7937SChristian König * 181d93f7937SChristian König * @rdev: radeon_device pointer 182d93f7937SChristian König * 183d93f7937SChristian König */ 184d93f7937SChristian König int radeon_vce_suspend(struct radeon_device *rdev) 185d93f7937SChristian König { 186b03b4e4bSChristian König int i; 187d93f7937SChristian König 188d93f7937SChristian König if (rdev->vce.vcpu_bo == NULL) 189d93f7937SChristian König return 0; 190d93f7937SChristian König 191b03b4e4bSChristian König for (i = 0; i < RADEON_MAX_VCE_HANDLES; ++i) 192b03b4e4bSChristian König if (atomic_read(&rdev->vce.handles[i])) 193b03b4e4bSChristian König break; 194b03b4e4bSChristian König 195b03b4e4bSChristian König if (i == RADEON_MAX_VCE_HANDLES) 196b03b4e4bSChristian König return 0; 197b03b4e4bSChristian König 198b03b4e4bSChristian König /* TODO: suspending running encoding sessions isn't supported */ 199b03b4e4bSChristian König return -EINVAL; 200d93f7937SChristian König } 201d93f7937SChristian König 202d93f7937SChristian König /** 203d93f7937SChristian König * radeon_vce_resume - pin VCE fw memory 204d93f7937SChristian König * 205d93f7937SChristian König * @rdev: radeon_device pointer 206d93f7937SChristian König * 207d93f7937SChristian König */ 208d93f7937SChristian König int radeon_vce_resume(struct radeon_device *rdev) 209d93f7937SChristian König { 210b03b4e4bSChristian König void *cpu_addr; 211d93f7937SChristian König int r; 212d93f7937SChristian König 213d93f7937SChristian König if (rdev->vce.vcpu_bo == NULL) 214d93f7937SChristian König return -EINVAL; 215d93f7937SChristian König 216d93f7937SChristian König r = radeon_bo_reserve(rdev->vce.vcpu_bo, false); 217d93f7937SChristian König if (r) { 218d93f7937SChristian König dev_err(rdev->dev, "(%d) failed to reserve VCE bo\n", r); 219d93f7937SChristian König return r; 220d93f7937SChristian König } 221d93f7937SChristian König 222b03b4e4bSChristian König r = radeon_bo_kmap(rdev->vce.vcpu_bo, &cpu_addr); 223d93f7937SChristian König if (r) { 224d93f7937SChristian König radeon_bo_unreserve(rdev->vce.vcpu_bo); 225d93f7937SChristian König dev_err(rdev->dev, "(%d) VCE map failed\n", r); 226d93f7937SChristian König return r; 227d93f7937SChristian König } 228d93f7937SChristian König 229b03b4e4bSChristian König memcpy(cpu_addr, rdev->vce_fw->data, rdev->vce_fw->size); 230b03b4e4bSChristian König 231b03b4e4bSChristian König radeon_bo_kunmap(rdev->vce.vcpu_bo); 232b03b4e4bSChristian König 233d93f7937SChristian König radeon_bo_unreserve(rdev->vce.vcpu_bo); 234d93f7937SChristian König 235d93f7937SChristian König return 0; 236d93f7937SChristian König } 237d93f7937SChristian König 238d93f7937SChristian König /** 23903afe6f6SAlex Deucher * radeon_vce_idle_work_handler - power off VCE 24003afe6f6SAlex Deucher * 24103afe6f6SAlex Deucher * @work: pointer to work structure 24203afe6f6SAlex Deucher * 24303afe6f6SAlex Deucher * power of VCE when it's not used any more 24403afe6f6SAlex Deucher */ 24503afe6f6SAlex Deucher static void radeon_vce_idle_work_handler(struct work_struct *work) 24603afe6f6SAlex Deucher { 24703afe6f6SAlex Deucher struct radeon_device *rdev = 24803afe6f6SAlex Deucher container_of(work, struct radeon_device, vce.idle_work.work); 24903afe6f6SAlex Deucher 25003afe6f6SAlex Deucher if ((radeon_fence_count_emitted(rdev, TN_RING_TYPE_VCE1_INDEX) == 0) && 25103afe6f6SAlex Deucher (radeon_fence_count_emitted(rdev, TN_RING_TYPE_VCE2_INDEX) == 0)) { 25203afe6f6SAlex Deucher if ((rdev->pm.pm_method == PM_METHOD_DPM) && rdev->pm.dpm_enabled) { 25303afe6f6SAlex Deucher radeon_dpm_enable_vce(rdev, false); 25403afe6f6SAlex Deucher } else { 25503afe6f6SAlex Deucher radeon_set_vce_clocks(rdev, 0, 0); 25603afe6f6SAlex Deucher } 25703afe6f6SAlex Deucher } else { 25803afe6f6SAlex Deucher schedule_delayed_work(&rdev->vce.idle_work, 25903afe6f6SAlex Deucher msecs_to_jiffies(VCE_IDLE_TIMEOUT_MS)); 26003afe6f6SAlex Deucher } 26103afe6f6SAlex Deucher } 26203afe6f6SAlex Deucher 26303afe6f6SAlex Deucher /** 26403afe6f6SAlex Deucher * radeon_vce_note_usage - power up VCE 26503afe6f6SAlex Deucher * 26603afe6f6SAlex Deucher * @rdev: radeon_device pointer 26703afe6f6SAlex Deucher * 26803afe6f6SAlex Deucher * Make sure VCE is powerd up when we want to use it 26903afe6f6SAlex Deucher */ 27003afe6f6SAlex Deucher void radeon_vce_note_usage(struct radeon_device *rdev) 27103afe6f6SAlex Deucher { 27203afe6f6SAlex Deucher bool streams_changed = false; 27303afe6f6SAlex Deucher bool set_clocks = !cancel_delayed_work_sync(&rdev->vce.idle_work); 27403afe6f6SAlex Deucher set_clocks &= schedule_delayed_work(&rdev->vce.idle_work, 27503afe6f6SAlex Deucher msecs_to_jiffies(VCE_IDLE_TIMEOUT_MS)); 27603afe6f6SAlex Deucher 27703afe6f6SAlex Deucher if ((rdev->pm.pm_method == PM_METHOD_DPM) && rdev->pm.dpm_enabled) { 27803afe6f6SAlex Deucher /* XXX figure out if the streams changed */ 27903afe6f6SAlex Deucher streams_changed = false; 28003afe6f6SAlex Deucher } 28103afe6f6SAlex Deucher 28203afe6f6SAlex Deucher if (set_clocks || streams_changed) { 28303afe6f6SAlex Deucher if ((rdev->pm.pm_method == PM_METHOD_DPM) && rdev->pm.dpm_enabled) { 28403afe6f6SAlex Deucher radeon_dpm_enable_vce(rdev, true); 28503afe6f6SAlex Deucher } else { 28603afe6f6SAlex Deucher radeon_set_vce_clocks(rdev, 53300, 40000); 28703afe6f6SAlex Deucher } 28803afe6f6SAlex Deucher } 28903afe6f6SAlex Deucher } 29003afe6f6SAlex Deucher 29103afe6f6SAlex Deucher /** 292d93f7937SChristian König * radeon_vce_free_handles - free still open VCE handles 293d93f7937SChristian König * 294d93f7937SChristian König * @rdev: radeon_device pointer 295d93f7937SChristian König * @filp: drm file pointer 296d93f7937SChristian König * 297d93f7937SChristian König * Close all VCE handles still open by this file pointer 298d93f7937SChristian König */ 299d93f7937SChristian König void radeon_vce_free_handles(struct radeon_device *rdev, struct drm_file *filp) 300d93f7937SChristian König { 301d93f7937SChristian König int i, r; 302d93f7937SChristian König for (i = 0; i < RADEON_MAX_VCE_HANDLES; ++i) { 303d93f7937SChristian König uint32_t handle = atomic_read(&rdev->vce.handles[i]); 304d93f7937SChristian König if (!handle || rdev->vce.filp[i] != filp) 305d93f7937SChristian König continue; 306d93f7937SChristian König 30703afe6f6SAlex Deucher radeon_vce_note_usage(rdev); 30803afe6f6SAlex Deucher 309d93f7937SChristian König r = radeon_vce_get_destroy_msg(rdev, TN_RING_TYPE_VCE1_INDEX, 310d93f7937SChristian König handle, NULL); 311d93f7937SChristian König if (r) 312d93f7937SChristian König DRM_ERROR("Error destroying VCE handle (%d)!\n", r); 313d93f7937SChristian König 314d93f7937SChristian König rdev->vce.filp[i] = NULL; 315d93f7937SChristian König atomic_set(&rdev->vce.handles[i], 0); 316d93f7937SChristian König } 317d93f7937SChristian König } 318d93f7937SChristian König 319d93f7937SChristian König /** 320d93f7937SChristian König * radeon_vce_get_create_msg - generate a VCE create msg 321d93f7937SChristian König * 322d93f7937SChristian König * @rdev: radeon_device pointer 323d93f7937SChristian König * @ring: ring we should submit the msg to 324d93f7937SChristian König * @handle: VCE session handle to use 325d93f7937SChristian König * @fence: optional fence to return 326d93f7937SChristian König * 327d93f7937SChristian König * Open up a stream for HW test 328d93f7937SChristian König */ 329d93f7937SChristian König int radeon_vce_get_create_msg(struct radeon_device *rdev, int ring, 330d93f7937SChristian König uint32_t handle, struct radeon_fence **fence) 331d93f7937SChristian König { 332d93f7937SChristian König const unsigned ib_size_dw = 1024; 333d93f7937SChristian König struct radeon_ib ib; 334d93f7937SChristian König uint64_t dummy; 335d93f7937SChristian König int i, r; 336d93f7937SChristian König 337d93f7937SChristian König r = radeon_ib_get(rdev, ring, &ib, NULL, ib_size_dw * 4); 338d93f7937SChristian König if (r) { 339d93f7937SChristian König DRM_ERROR("radeon: failed to get ib (%d).\n", r); 340d93f7937SChristian König return r; 341d93f7937SChristian König } 342d93f7937SChristian König 343d93f7937SChristian König dummy = ib.gpu_addr + 1024; 344d93f7937SChristian König 345d93f7937SChristian König /* stitch together an VCE create msg */ 346d93f7937SChristian König ib.length_dw = 0; 347d93f7937SChristian König ib.ptr[ib.length_dw++] = 0x0000000c; /* len */ 348d93f7937SChristian König ib.ptr[ib.length_dw++] = 0x00000001; /* session cmd */ 349d93f7937SChristian König ib.ptr[ib.length_dw++] = handle; 350d93f7937SChristian König 351d93f7937SChristian König ib.ptr[ib.length_dw++] = 0x00000030; /* len */ 352d93f7937SChristian König ib.ptr[ib.length_dw++] = 0x01000001; /* create cmd */ 353d93f7937SChristian König ib.ptr[ib.length_dw++] = 0x00000000; 354d93f7937SChristian König ib.ptr[ib.length_dw++] = 0x00000042; 355d93f7937SChristian König ib.ptr[ib.length_dw++] = 0x0000000a; 356d93f7937SChristian König ib.ptr[ib.length_dw++] = 0x00000001; 357d93f7937SChristian König ib.ptr[ib.length_dw++] = 0x00000080; 358d93f7937SChristian König ib.ptr[ib.length_dw++] = 0x00000060; 359d93f7937SChristian König ib.ptr[ib.length_dw++] = 0x00000100; 360d93f7937SChristian König ib.ptr[ib.length_dw++] = 0x00000100; 361d93f7937SChristian König ib.ptr[ib.length_dw++] = 0x0000000c; 362d93f7937SChristian König ib.ptr[ib.length_dw++] = 0x00000000; 363d93f7937SChristian König 364d93f7937SChristian König ib.ptr[ib.length_dw++] = 0x00000014; /* len */ 365d93f7937SChristian König ib.ptr[ib.length_dw++] = 0x05000005; /* feedback buffer */ 366d93f7937SChristian König ib.ptr[ib.length_dw++] = upper_32_bits(dummy); 367d93f7937SChristian König ib.ptr[ib.length_dw++] = dummy; 368d93f7937SChristian König ib.ptr[ib.length_dw++] = 0x00000001; 369d93f7937SChristian König 370d93f7937SChristian König for (i = ib.length_dw; i < ib_size_dw; ++i) 371d93f7937SChristian König ib.ptr[i] = 0x0; 372d93f7937SChristian König 3731538a9e0SMichel Dänzer r = radeon_ib_schedule(rdev, &ib, NULL, false); 374d93f7937SChristian König if (r) { 375d93f7937SChristian König DRM_ERROR("radeon: failed to schedule ib (%d).\n", r); 376d93f7937SChristian König } 377d93f7937SChristian König 378d93f7937SChristian König if (fence) 379d93f7937SChristian König *fence = radeon_fence_ref(ib.fence); 380d93f7937SChristian König 381d93f7937SChristian König radeon_ib_free(rdev, &ib); 382d93f7937SChristian König 383d93f7937SChristian König return r; 384d93f7937SChristian König } 385d93f7937SChristian König 386d93f7937SChristian König /** 387d93f7937SChristian König * radeon_vce_get_destroy_msg - generate a VCE destroy msg 388d93f7937SChristian König * 389d93f7937SChristian König * @rdev: radeon_device pointer 390d93f7937SChristian König * @ring: ring we should submit the msg to 391d93f7937SChristian König * @handle: VCE session handle to use 392d93f7937SChristian König * @fence: optional fence to return 393d93f7937SChristian König * 394d93f7937SChristian König * Close up a stream for HW test or if userspace failed to do so 395d93f7937SChristian König */ 396d93f7937SChristian König int radeon_vce_get_destroy_msg(struct radeon_device *rdev, int ring, 397d93f7937SChristian König uint32_t handle, struct radeon_fence **fence) 398d93f7937SChristian König { 399d93f7937SChristian König const unsigned ib_size_dw = 1024; 400d93f7937SChristian König struct radeon_ib ib; 401d93f7937SChristian König uint64_t dummy; 402d93f7937SChristian König int i, r; 403d93f7937SChristian König 404d93f7937SChristian König r = radeon_ib_get(rdev, ring, &ib, NULL, ib_size_dw * 4); 405d93f7937SChristian König if (r) { 406d93f7937SChristian König DRM_ERROR("radeon: failed to get ib (%d).\n", r); 407d93f7937SChristian König return r; 408d93f7937SChristian König } 409d93f7937SChristian König 410d93f7937SChristian König dummy = ib.gpu_addr + 1024; 411d93f7937SChristian König 412d93f7937SChristian König /* stitch together an VCE destroy msg */ 413d93f7937SChristian König ib.length_dw = 0; 414d93f7937SChristian König ib.ptr[ib.length_dw++] = 0x0000000c; /* len */ 415d93f7937SChristian König ib.ptr[ib.length_dw++] = 0x00000001; /* session cmd */ 416d93f7937SChristian König ib.ptr[ib.length_dw++] = handle; 417d93f7937SChristian König 418d93f7937SChristian König ib.ptr[ib.length_dw++] = 0x00000014; /* len */ 419d93f7937SChristian König ib.ptr[ib.length_dw++] = 0x05000005; /* feedback buffer */ 420d93f7937SChristian König ib.ptr[ib.length_dw++] = upper_32_bits(dummy); 421d93f7937SChristian König ib.ptr[ib.length_dw++] = dummy; 422d93f7937SChristian König ib.ptr[ib.length_dw++] = 0x00000001; 423d93f7937SChristian König 424d93f7937SChristian König ib.ptr[ib.length_dw++] = 0x00000008; /* len */ 425d93f7937SChristian König ib.ptr[ib.length_dw++] = 0x02000001; /* destroy cmd */ 426d93f7937SChristian König 427d93f7937SChristian König for (i = ib.length_dw; i < ib_size_dw; ++i) 428d93f7937SChristian König ib.ptr[i] = 0x0; 429d93f7937SChristian König 4301538a9e0SMichel Dänzer r = radeon_ib_schedule(rdev, &ib, NULL, false); 431d93f7937SChristian König if (r) { 432d93f7937SChristian König DRM_ERROR("radeon: failed to schedule ib (%d).\n", r); 433d93f7937SChristian König } 434d93f7937SChristian König 435d93f7937SChristian König if (fence) 436d93f7937SChristian König *fence = radeon_fence_ref(ib.fence); 437d93f7937SChristian König 438d93f7937SChristian König radeon_ib_free(rdev, &ib); 439d93f7937SChristian König 440d93f7937SChristian König return r; 441d93f7937SChristian König } 442d93f7937SChristian König 443d93f7937SChristian König /** 444d93f7937SChristian König * radeon_vce_cs_reloc - command submission relocation 445d93f7937SChristian König * 446d93f7937SChristian König * @p: parser context 447d93f7937SChristian König * @lo: address of lower dword 448d93f7937SChristian König * @hi: address of higher dword 4492fc5703aSLeo Liu * @size: size of checker for relocation buffer 450d93f7937SChristian König * 451d93f7937SChristian König * Patch relocation inside command stream with real buffer address 452d93f7937SChristian König */ 4532fc5703aSLeo Liu int radeon_vce_cs_reloc(struct radeon_cs_parser *p, int lo, int hi, 4542fc5703aSLeo Liu unsigned size) 455d93f7937SChristian König { 456d93f7937SChristian König struct radeon_cs_chunk *relocs_chunk; 4571d0c0942SChristian König struct radeon_bo_list *reloc; 4582fc5703aSLeo Liu uint64_t start, end, offset; 459d93f7937SChristian König unsigned idx; 460d93f7937SChristian König 4616d2d13ddSChristian König relocs_chunk = p->chunk_relocs; 462d93f7937SChristian König offset = radeon_get_ib_value(p, lo); 463d93f7937SChristian König idx = radeon_get_ib_value(p, hi); 464d93f7937SChristian König 465d93f7937SChristian König if (idx >= relocs_chunk->length_dw) { 466d93f7937SChristian König DRM_ERROR("Relocs at %d after relocations chunk end %d !\n", 467d93f7937SChristian König idx, relocs_chunk->length_dw); 468d93f7937SChristian König return -EINVAL; 469d93f7937SChristian König } 470d93f7937SChristian König 471466be338SChristian König reloc = &p->relocs[(idx / 4)]; 4722fc5703aSLeo Liu start = reloc->gpu_offset; 4732fc5703aSLeo Liu end = start + radeon_bo_size(reloc->robj); 4742fc5703aSLeo Liu start += offset; 475d93f7937SChristian König 4762fc5703aSLeo Liu p->ib.ptr[lo] = start & 0xFFFFFFFF; 4772fc5703aSLeo Liu p->ib.ptr[hi] = start >> 32; 4782fc5703aSLeo Liu 4792fc5703aSLeo Liu if (end <= start) { 4802fc5703aSLeo Liu DRM_ERROR("invalid reloc offset %llX!\n", offset); 4812fc5703aSLeo Liu return -EINVAL; 4822fc5703aSLeo Liu } 4832fc5703aSLeo Liu if ((end - start) < size) { 4842fc5703aSLeo Liu DRM_ERROR("buffer to small (%d / %d)!\n", 4852fc5703aSLeo Liu (unsigned)(end - start), size); 4862fc5703aSLeo Liu return -EINVAL; 4872fc5703aSLeo Liu } 488d93f7937SChristian König 489d93f7937SChristian König return 0; 490d93f7937SChristian König } 491d93f7937SChristian König 492d93f7937SChristian König /** 4932fc5703aSLeo Liu * radeon_vce_validate_handle - validate stream handle 4942fc5703aSLeo Liu * 4952fc5703aSLeo Liu * @p: parser context 4962fc5703aSLeo Liu * @handle: handle to validate 49729c63fe2SChristian König * @allocated: allocated a new handle? 4982fc5703aSLeo Liu * 4992fc5703aSLeo Liu * Validates the handle and return the found session index or -EINVAL 5002fc5703aSLeo Liu * we we don't have another free session index. 5012fc5703aSLeo Liu */ 50229c63fe2SChristian König static int radeon_vce_validate_handle(struct radeon_cs_parser *p, 50329c63fe2SChristian König uint32_t handle, bool *allocated) 5042fc5703aSLeo Liu { 5052fc5703aSLeo Liu unsigned i; 5062fc5703aSLeo Liu 50729c63fe2SChristian König *allocated = false; 50829c63fe2SChristian König 5092fc5703aSLeo Liu /* validate the handle */ 5102fc5703aSLeo Liu for (i = 0; i < RADEON_MAX_VCE_HANDLES; ++i) { 51129c63fe2SChristian König if (atomic_read(&p->rdev->vce.handles[i]) == handle) { 51229c63fe2SChristian König if (p->rdev->vce.filp[i] != p->filp) { 51329c63fe2SChristian König DRM_ERROR("VCE handle collision detected!\n"); 51429c63fe2SChristian König return -EINVAL; 51529c63fe2SChristian König } 5162fc5703aSLeo Liu return i; 5172fc5703aSLeo Liu } 51829c63fe2SChristian König } 5192fc5703aSLeo Liu 5202fc5703aSLeo Liu /* handle not found try to alloc a new one */ 5212fc5703aSLeo Liu for (i = 0; i < RADEON_MAX_VCE_HANDLES; ++i) { 5222fc5703aSLeo Liu if (!atomic_cmpxchg(&p->rdev->vce.handles[i], 0, handle)) { 5232fc5703aSLeo Liu p->rdev->vce.filp[i] = p->filp; 5242fc5703aSLeo Liu p->rdev->vce.img_size[i] = 0; 52529c63fe2SChristian König *allocated = true; 5262fc5703aSLeo Liu return i; 5272fc5703aSLeo Liu } 5282fc5703aSLeo Liu } 5292fc5703aSLeo Liu 5302fc5703aSLeo Liu DRM_ERROR("No more free VCE handles!\n"); 5312fc5703aSLeo Liu return -EINVAL; 5322fc5703aSLeo Liu } 5332fc5703aSLeo Liu 5342fc5703aSLeo Liu /** 535d93f7937SChristian König * radeon_vce_cs_parse - parse and validate the command stream 536d93f7937SChristian König * 537d93f7937SChristian König * @p: parser context 538d93f7937SChristian König * 539d93f7937SChristian König */ 540d93f7937SChristian König int radeon_vce_cs_parse(struct radeon_cs_parser *p) 541d93f7937SChristian König { 5422fc5703aSLeo Liu int session_idx = -1; 54329c63fe2SChristian König bool destroyed = false, created = false, allocated = false; 5442fc5703aSLeo Liu uint32_t tmp, handle = 0; 5452fc5703aSLeo Liu uint32_t *size = &tmp; 54629c63fe2SChristian König int i, r = 0; 547d93f7937SChristian König 5486d2d13ddSChristian König while (p->idx < p->chunk_ib->length_dw) { 549d93f7937SChristian König uint32_t len = radeon_get_ib_value(p, p->idx); 550d93f7937SChristian König uint32_t cmd = radeon_get_ib_value(p, p->idx + 1); 551d93f7937SChristian König 552d93f7937SChristian König if ((len < 8) || (len & 3)) { 553d93f7937SChristian König DRM_ERROR("invalid VCE command length (%d)!\n", len); 55429c63fe2SChristian König r = -EINVAL; 55529c63fe2SChristian König goto out; 556d93f7937SChristian König } 557d93f7937SChristian König 5582fc5703aSLeo Liu if (destroyed) { 5592fc5703aSLeo Liu DRM_ERROR("No other command allowed after destroy!\n"); 56029c63fe2SChristian König r = -EINVAL; 56129c63fe2SChristian König goto out; 5622fc5703aSLeo Liu } 5632fc5703aSLeo Liu 564d93f7937SChristian König switch (cmd) { 565d93f7937SChristian König case 0x00000001: // session 566d93f7937SChristian König handle = radeon_get_ib_value(p, p->idx + 2); 56729c63fe2SChristian König session_idx = radeon_vce_validate_handle(p, handle, 56829c63fe2SChristian König &allocated); 5692fc5703aSLeo Liu if (session_idx < 0) 5702fc5703aSLeo Liu return session_idx; 5712fc5703aSLeo Liu size = &p->rdev->vce.img_size[session_idx]; 572d93f7937SChristian König break; 573d93f7937SChristian König 574d93f7937SChristian König case 0x00000002: // task info 5752fc5703aSLeo Liu break; 5762fc5703aSLeo Liu 577d93f7937SChristian König case 0x01000001: // create 57829c63fe2SChristian König created = true; 57929c63fe2SChristian König if (!allocated) { 58029c63fe2SChristian König DRM_ERROR("Handle already in use!\n"); 58129c63fe2SChristian König r = -EINVAL; 58229c63fe2SChristian König goto out; 58329c63fe2SChristian König } 58429c63fe2SChristian König 5852fc5703aSLeo Liu *size = radeon_get_ib_value(p, p->idx + 8) * 5862fc5703aSLeo Liu radeon_get_ib_value(p, p->idx + 10) * 5872fc5703aSLeo Liu 8 * 3 / 2; 5882fc5703aSLeo Liu break; 5892fc5703aSLeo Liu 590d93f7937SChristian König case 0x04000001: // config extension 591d93f7937SChristian König case 0x04000002: // pic control 592d93f7937SChristian König case 0x04000005: // rate control 593d93f7937SChristian König case 0x04000007: // motion estimation 594d93f7937SChristian König case 0x04000008: // rdo 5951957d6beSLeo Liu case 0x04000009: // vui 596d93f7937SChristian König break; 597d93f7937SChristian König 598d93f7937SChristian König case 0x03000001: // encode 5992fc5703aSLeo Liu r = radeon_vce_cs_reloc(p, p->idx + 10, p->idx + 9, 6002fc5703aSLeo Liu *size); 601d93f7937SChristian König if (r) 60229c63fe2SChristian König goto out; 603d93f7937SChristian König 6042fc5703aSLeo Liu r = radeon_vce_cs_reloc(p, p->idx + 12, p->idx + 11, 6052fc5703aSLeo Liu *size / 3); 606d93f7937SChristian König if (r) 60729c63fe2SChristian König goto out; 608d93f7937SChristian König break; 609d93f7937SChristian König 610d93f7937SChristian König case 0x02000001: // destroy 6112fc5703aSLeo Liu destroyed = true; 612d93f7937SChristian König break; 613d93f7937SChristian König 614d93f7937SChristian König case 0x05000001: // context buffer 6152fc5703aSLeo Liu r = radeon_vce_cs_reloc(p, p->idx + 3, p->idx + 2, 6162fc5703aSLeo Liu *size * 2); 6172fc5703aSLeo Liu if (r) 61829c63fe2SChristian König goto out; 6192fc5703aSLeo Liu break; 6202fc5703aSLeo Liu 621d93f7937SChristian König case 0x05000004: // video bitstream buffer 6222fc5703aSLeo Liu tmp = radeon_get_ib_value(p, p->idx + 4); 6232fc5703aSLeo Liu r = radeon_vce_cs_reloc(p, p->idx + 3, p->idx + 2, 6242fc5703aSLeo Liu tmp); 6252fc5703aSLeo Liu if (r) 62629c63fe2SChristian König goto out; 6272fc5703aSLeo Liu break; 6282fc5703aSLeo Liu 629d93f7937SChristian König case 0x05000005: // feedback buffer 6302fc5703aSLeo Liu r = radeon_vce_cs_reloc(p, p->idx + 3, p->idx + 2, 6312fc5703aSLeo Liu 4096); 632d93f7937SChristian König if (r) 63329c63fe2SChristian König goto out; 634d93f7937SChristian König break; 635d93f7937SChristian König 636d93f7937SChristian König default: 637d93f7937SChristian König DRM_ERROR("invalid VCE command (0x%x)!\n", cmd); 63829c63fe2SChristian König r = -EINVAL; 63929c63fe2SChristian König goto out; 640d93f7937SChristian König } 641d93f7937SChristian König 6422fc5703aSLeo Liu if (session_idx == -1) { 6432fc5703aSLeo Liu DRM_ERROR("no session command at start of IB\n"); 64429c63fe2SChristian König r = -EINVAL; 64529c63fe2SChristian König goto out; 6462fc5703aSLeo Liu } 6472fc5703aSLeo Liu 648d93f7937SChristian König p->idx += len / 4; 649d93f7937SChristian König } 650d93f7937SChristian König 65129c63fe2SChristian König if (allocated && !created) { 65229c63fe2SChristian König DRM_ERROR("New session without create command!\n"); 65329c63fe2SChristian König r = -ENOENT; 65429c63fe2SChristian König } 65529c63fe2SChristian König 65629c63fe2SChristian König out: 65729c63fe2SChristian König if ((!r && destroyed) || (r && allocated)) { 65829c63fe2SChristian König /* 65929c63fe2SChristian König * IB contains a destroy msg or we have allocated an 66029c63fe2SChristian König * handle and got an error, anyway free the handle 66129c63fe2SChristian König */ 662d93f7937SChristian König for (i = 0; i < RADEON_MAX_VCE_HANDLES; ++i) 663d93f7937SChristian König atomic_cmpxchg(&p->rdev->vce.handles[i], handle, 0); 6642fc5703aSLeo Liu } 665d93f7937SChristian König 66629c63fe2SChristian König return r; 667d93f7937SChristian König } 668d93f7937SChristian König 669d93f7937SChristian König /** 670d93f7937SChristian König * radeon_vce_semaphore_emit - emit a semaphore command 671d93f7937SChristian König * 672d93f7937SChristian König * @rdev: radeon_device pointer 673d93f7937SChristian König * @ring: engine to use 674d93f7937SChristian König * @semaphore: address of semaphore 675d93f7937SChristian König * @emit_wait: true=emit wait, false=emit signal 676d93f7937SChristian König * 677d93f7937SChristian König */ 678d93f7937SChristian König bool radeon_vce_semaphore_emit(struct radeon_device *rdev, 679d93f7937SChristian König struct radeon_ring *ring, 680d93f7937SChristian König struct radeon_semaphore *semaphore, 681d93f7937SChristian König bool emit_wait) 682d93f7937SChristian König { 683d93f7937SChristian König uint64_t addr = semaphore->gpu_addr; 684d93f7937SChristian König 685d93f7937SChristian König radeon_ring_write(ring, VCE_CMD_SEMAPHORE); 686d93f7937SChristian König radeon_ring_write(ring, (addr >> 3) & 0x000FFFFF); 687d93f7937SChristian König radeon_ring_write(ring, (addr >> 23) & 0x000FFFFF); 688d93f7937SChristian König radeon_ring_write(ring, 0x01003000 | (emit_wait ? 1 : 0)); 689d93f7937SChristian König if (!emit_wait) 690d93f7937SChristian König radeon_ring_write(ring, VCE_CMD_END); 691d93f7937SChristian König 692d93f7937SChristian König return true; 693d93f7937SChristian König } 694d93f7937SChristian König 695d93f7937SChristian König /** 696d93f7937SChristian König * radeon_vce_ib_execute - execute indirect buffer 697d93f7937SChristian König * 698d93f7937SChristian König * @rdev: radeon_device pointer 699d93f7937SChristian König * @ib: the IB to execute 700d93f7937SChristian König * 701d93f7937SChristian König */ 702d93f7937SChristian König void radeon_vce_ib_execute(struct radeon_device *rdev, struct radeon_ib *ib) 703d93f7937SChristian König { 704d93f7937SChristian König struct radeon_ring *ring = &rdev->ring[ib->ring]; 705d93f7937SChristian König radeon_ring_write(ring, VCE_CMD_IB); 706d93f7937SChristian König radeon_ring_write(ring, ib->gpu_addr); 707d93f7937SChristian König radeon_ring_write(ring, upper_32_bits(ib->gpu_addr)); 708d93f7937SChristian König radeon_ring_write(ring, ib->length_dw); 709d93f7937SChristian König } 710d93f7937SChristian König 711d93f7937SChristian König /** 712d93f7937SChristian König * radeon_vce_fence_emit - add a fence command to the ring 713d93f7937SChristian König * 714d93f7937SChristian König * @rdev: radeon_device pointer 715d93f7937SChristian König * @fence: the fence 716d93f7937SChristian König * 717d93f7937SChristian König */ 718d93f7937SChristian König void radeon_vce_fence_emit(struct radeon_device *rdev, 719d93f7937SChristian König struct radeon_fence *fence) 720d93f7937SChristian König { 721d93f7937SChristian König struct radeon_ring *ring = &rdev->ring[fence->ring]; 722681941c1SChristoph Jaeger uint64_t addr = rdev->fence_drv[fence->ring].gpu_addr; 723d93f7937SChristian König 724d93f7937SChristian König radeon_ring_write(ring, VCE_CMD_FENCE); 725d93f7937SChristian König radeon_ring_write(ring, addr); 726d93f7937SChristian König radeon_ring_write(ring, upper_32_bits(addr)); 727d93f7937SChristian König radeon_ring_write(ring, fence->seq); 728d93f7937SChristian König radeon_ring_write(ring, VCE_CMD_TRAP); 729d93f7937SChristian König radeon_ring_write(ring, VCE_CMD_END); 730d93f7937SChristian König } 731d93f7937SChristian König 732d93f7937SChristian König /** 733d93f7937SChristian König * radeon_vce_ring_test - test if VCE ring is working 734d93f7937SChristian König * 735d93f7937SChristian König * @rdev: radeon_device pointer 736d93f7937SChristian König * @ring: the engine to test on 737d93f7937SChristian König * 738d93f7937SChristian König */ 739d93f7937SChristian König int radeon_vce_ring_test(struct radeon_device *rdev, struct radeon_ring *ring) 740d93f7937SChristian König { 741d93f7937SChristian König uint32_t rptr = vce_v1_0_get_rptr(rdev, ring); 742d93f7937SChristian König unsigned i; 743d93f7937SChristian König int r; 744d93f7937SChristian König 745d93f7937SChristian König r = radeon_ring_lock(rdev, ring, 16); 746d93f7937SChristian König if (r) { 747d93f7937SChristian König DRM_ERROR("radeon: vce failed to lock ring %d (%d).\n", 748d93f7937SChristian König ring->idx, r); 749d93f7937SChristian König return r; 750d93f7937SChristian König } 751d93f7937SChristian König radeon_ring_write(ring, VCE_CMD_END); 7521538a9e0SMichel Dänzer radeon_ring_unlock_commit(rdev, ring, false); 753d93f7937SChristian König 754d93f7937SChristian König for (i = 0; i < rdev->usec_timeout; i++) { 755d93f7937SChristian König if (vce_v1_0_get_rptr(rdev, ring) != rptr) 756d93f7937SChristian König break; 757d93f7937SChristian König DRM_UDELAY(1); 758d93f7937SChristian König } 759d93f7937SChristian König 760d93f7937SChristian König if (i < rdev->usec_timeout) { 761d93f7937SChristian König DRM_INFO("ring test on %d succeeded in %d usecs\n", 762d93f7937SChristian König ring->idx, i); 763d93f7937SChristian König } else { 764d93f7937SChristian König DRM_ERROR("radeon: ring %d test failed\n", 765d93f7937SChristian König ring->idx); 766d93f7937SChristian König r = -ETIMEDOUT; 767d93f7937SChristian König } 768d93f7937SChristian König 769d93f7937SChristian König return r; 770d93f7937SChristian König } 771d93f7937SChristian König 772d93f7937SChristian König /** 773d93f7937SChristian König * radeon_vce_ib_test - test if VCE IBs are working 774d93f7937SChristian König * 775d93f7937SChristian König * @rdev: radeon_device pointer 776d93f7937SChristian König * @ring: the engine to test on 777d93f7937SChristian König * 778d93f7937SChristian König */ 779d93f7937SChristian König int radeon_vce_ib_test(struct radeon_device *rdev, struct radeon_ring *ring) 780d93f7937SChristian König { 781d93f7937SChristian König struct radeon_fence *fence = NULL; 782d93f7937SChristian König int r; 783d93f7937SChristian König 784d93f7937SChristian König r = radeon_vce_get_create_msg(rdev, ring->idx, 1, NULL); 785d93f7937SChristian König if (r) { 786d93f7937SChristian König DRM_ERROR("radeon: failed to get create msg (%d).\n", r); 787d93f7937SChristian König goto error; 788d93f7937SChristian König } 789d93f7937SChristian König 790d93f7937SChristian König r = radeon_vce_get_destroy_msg(rdev, ring->idx, 1, &fence); 791d93f7937SChristian König if (r) { 792d93f7937SChristian König DRM_ERROR("radeon: failed to get destroy ib (%d).\n", r); 793d93f7937SChristian König goto error; 794d93f7937SChristian König } 795d93f7937SChristian König 796d93f7937SChristian König r = radeon_fence_wait(fence, false); 797d93f7937SChristian König if (r) { 798d93f7937SChristian König DRM_ERROR("radeon: fence wait failed (%d).\n", r); 799d93f7937SChristian König } else { 800d93f7937SChristian König DRM_INFO("ib test on ring %d succeeded\n", ring->idx); 801d93f7937SChristian König } 802d93f7937SChristian König error: 803d93f7937SChristian König radeon_fence_unref(&fence); 804d93f7937SChristian König return r; 805d93f7937SChristian König } 806