1dd11376bSBart Van Assche // SPDX-License-Identifier: GPL-2.0-or-later
2dd11376bSBart Van Assche /*
3dd11376bSBart Van Assche * Universal Flash Storage Host controller PCI glue driver
4dd11376bSBart Van Assche *
5dd11376bSBart Van Assche * Copyright (C) 2011-2013 Samsung India Software Operations
6dd11376bSBart Van Assche *
7dd11376bSBart Van Assche * Authors:
8dd11376bSBart Van Assche * Santosh Yaraganavi <santosh.sy@samsung.com>
9dd11376bSBart Van Assche * Vinayak Holikatti <h.vinayak@samsung.com>
10dd11376bSBart Van Assche */
11dd11376bSBart Van Assche
12dd11376bSBart Van Assche #include <ufs/ufshcd.h>
13dd11376bSBart Van Assche #include <linux/delay.h>
14dd11376bSBart Van Assche #include <linux/module.h>
15dd11376bSBart Van Assche #include <linux/pci.h>
16dd11376bSBart Van Assche #include <linux/pm_runtime.h>
17dd11376bSBart Van Assche #include <linux/pm_qos.h>
18dd11376bSBart Van Assche #include <linux/debugfs.h>
19dd11376bSBart Van Assche #include <linux/uuid.h>
20dd11376bSBart Van Assche #include <linux/acpi.h>
21dd11376bSBart Van Assche #include <linux/gpio/consumer.h>
22dd11376bSBart Van Assche
23dd11376bSBart Van Assche struct ufs_host {
24dd11376bSBart Van Assche void (*late_init)(struct ufs_hba *hba);
25dd11376bSBart Van Assche };
26dd11376bSBart Van Assche
27a1906678SDaniil Lunev enum intel_ufs_dsm_func_id {
28dd11376bSBart Van Assche INTEL_DSM_FNS = 0,
29dd11376bSBart Van Assche INTEL_DSM_RESET = 1,
30dd11376bSBart Van Assche };
31dd11376bSBart Van Assche
32dd11376bSBart Van Assche struct intel_host {
33dd11376bSBart Van Assche struct ufs_host ufs_host;
34dd11376bSBart Van Assche u32 dsm_fns;
35dd11376bSBart Van Assche u32 active_ltr;
36dd11376bSBart Van Assche u32 idle_ltr;
37dd11376bSBart Van Assche struct dentry *debugfs_root;
38dd11376bSBart Van Assche struct gpio_desc *reset_gpio;
39dd11376bSBart Van Assche };
40dd11376bSBart Van Assche
41dd11376bSBart Van Assche static const guid_t intel_dsm_guid =
42dd11376bSBart Van Assche GUID_INIT(0x1A4832A0, 0x7D03, 0x43CA,
43dd11376bSBart Van Assche 0xB0, 0x20, 0xF6, 0xDC, 0xD1, 0x2A, 0x19, 0x50);
44dd11376bSBart Van Assche
__intel_dsm_supported(struct intel_host * host,enum intel_ufs_dsm_func_id fn)45a1906678SDaniil Lunev static bool __intel_dsm_supported(struct intel_host *host,
46a1906678SDaniil Lunev enum intel_ufs_dsm_func_id fn)
47a1906678SDaniil Lunev {
48a1906678SDaniil Lunev return fn < 32 && fn >= 0 && (host->dsm_fns & (1u << fn));
49a1906678SDaniil Lunev }
50a1906678SDaniil Lunev
51a1906678SDaniil Lunev #define INTEL_DSM_SUPPORTED(host, name) \
52a1906678SDaniil Lunev __intel_dsm_supported(host, INTEL_DSM_##name)
53a1906678SDaniil Lunev
__intel_dsm(struct intel_host * intel_host,struct device * dev,unsigned int fn,u32 * result)54dd11376bSBart Van Assche static int __intel_dsm(struct intel_host *intel_host, struct device *dev,
55dd11376bSBart Van Assche unsigned int fn, u32 *result)
56dd11376bSBart Van Assche {
57dd11376bSBart Van Assche union acpi_object *obj;
58dd11376bSBart Van Assche int err = 0;
59dd11376bSBart Van Assche size_t len;
60dd11376bSBart Van Assche
61dd11376bSBart Van Assche obj = acpi_evaluate_dsm(ACPI_HANDLE(dev), &intel_dsm_guid, 0, fn, NULL);
62dd11376bSBart Van Assche if (!obj)
63dd11376bSBart Van Assche return -EOPNOTSUPP;
64dd11376bSBart Van Assche
65dd11376bSBart Van Assche if (obj->type != ACPI_TYPE_BUFFER || obj->buffer.length < 1) {
66dd11376bSBart Van Assche err = -EINVAL;
67dd11376bSBart Van Assche goto out;
68dd11376bSBart Van Assche }
69dd11376bSBart Van Assche
70dd11376bSBart Van Assche len = min_t(size_t, obj->buffer.length, 4);
71dd11376bSBart Van Assche
72dd11376bSBart Van Assche *result = 0;
73dd11376bSBart Van Assche memcpy(result, obj->buffer.pointer, len);
74dd11376bSBart Van Assche out:
75dd11376bSBart Van Assche ACPI_FREE(obj);
76dd11376bSBart Van Assche
77dd11376bSBart Van Assche return err;
78dd11376bSBart Van Assche }
79dd11376bSBart Van Assche
intel_dsm(struct intel_host * intel_host,struct device * dev,unsigned int fn,u32 * result)80dd11376bSBart Van Assche static int intel_dsm(struct intel_host *intel_host, struct device *dev,
81dd11376bSBart Van Assche unsigned int fn, u32 *result)
82dd11376bSBart Van Assche {
83a1906678SDaniil Lunev if (!__intel_dsm_supported(intel_host, fn))
84dd11376bSBart Van Assche return -EOPNOTSUPP;
85dd11376bSBart Van Assche
86dd11376bSBart Van Assche return __intel_dsm(intel_host, dev, fn, result);
87dd11376bSBart Van Assche }
88dd11376bSBart Van Assche
intel_dsm_init(struct intel_host * intel_host,struct device * dev)89dd11376bSBart Van Assche static void intel_dsm_init(struct intel_host *intel_host, struct device *dev)
90dd11376bSBart Van Assche {
91dd11376bSBart Van Assche int err;
92dd11376bSBart Van Assche
93dd11376bSBart Van Assche err = __intel_dsm(intel_host, dev, INTEL_DSM_FNS, &intel_host->dsm_fns);
94dd11376bSBart Van Assche dev_dbg(dev, "DSM fns %#x, error %d\n", intel_host->dsm_fns, err);
95dd11376bSBart Van Assche }
96dd11376bSBart Van Assche
ufs_intel_hce_enable_notify(struct ufs_hba * hba,enum ufs_notify_change_status status)97dd11376bSBart Van Assche static int ufs_intel_hce_enable_notify(struct ufs_hba *hba,
98dd11376bSBart Van Assche enum ufs_notify_change_status status)
99dd11376bSBart Van Assche {
100dd11376bSBart Van Assche /* Cannot enable ICE until after HC enable */
101dd11376bSBart Van Assche if (status == POST_CHANGE && hba->caps & UFSHCD_CAP_CRYPTO) {
102dd11376bSBart Van Assche u32 hce = ufshcd_readl(hba, REG_CONTROLLER_ENABLE);
103dd11376bSBart Van Assche
104dd11376bSBart Van Assche hce |= CRYPTO_GENERAL_ENABLE;
105dd11376bSBart Van Assche ufshcd_writel(hba, hce, REG_CONTROLLER_ENABLE);
106dd11376bSBart Van Assche }
107dd11376bSBart Van Assche
108dd11376bSBart Van Assche return 0;
109dd11376bSBart Van Assche }
110dd11376bSBart Van Assche
ufs_intel_disable_lcc(struct ufs_hba * hba)111dd11376bSBart Van Assche static int ufs_intel_disable_lcc(struct ufs_hba *hba)
112dd11376bSBart Van Assche {
113dd11376bSBart Van Assche u32 attr = UIC_ARG_MIB(PA_LOCAL_TX_LCC_ENABLE);
114dd11376bSBart Van Assche u32 lcc_enable = 0;
115dd11376bSBart Van Assche
116dd11376bSBart Van Assche ufshcd_dme_get(hba, attr, &lcc_enable);
117dd11376bSBart Van Assche if (lcc_enable)
118dd11376bSBart Van Assche ufshcd_disable_host_tx_lcc(hba);
119dd11376bSBart Van Assche
120dd11376bSBart Van Assche return 0;
121dd11376bSBart Van Assche }
122dd11376bSBart Van Assche
ufs_intel_link_startup_notify(struct ufs_hba * hba,enum ufs_notify_change_status status)123dd11376bSBart Van Assche static int ufs_intel_link_startup_notify(struct ufs_hba *hba,
124dd11376bSBart Van Assche enum ufs_notify_change_status status)
125dd11376bSBart Van Assche {
126dd11376bSBart Van Assche int err = 0;
127dd11376bSBart Van Assche
128dd11376bSBart Van Assche switch (status) {
129dd11376bSBart Van Assche case PRE_CHANGE:
130dd11376bSBart Van Assche err = ufs_intel_disable_lcc(hba);
131dd11376bSBart Van Assche break;
132dd11376bSBart Van Assche case POST_CHANGE:
133dd11376bSBart Van Assche break;
134dd11376bSBart Van Assche default:
135dd11376bSBart Van Assche break;
136dd11376bSBart Van Assche }
137dd11376bSBart Van Assche
138dd11376bSBart Van Assche return err;
139dd11376bSBart Van Assche }
140dd11376bSBart Van Assche
ufs_intel_set_lanes(struct ufs_hba * hba,u32 lanes)141dd11376bSBart Van Assche static int ufs_intel_set_lanes(struct ufs_hba *hba, u32 lanes)
142dd11376bSBart Van Assche {
143dd11376bSBart Van Assche struct ufs_pa_layer_attr pwr_info = hba->pwr_info;
144dd11376bSBart Van Assche int ret;
145dd11376bSBart Van Assche
146dd11376bSBart Van Assche pwr_info.lane_rx = lanes;
147dd11376bSBart Van Assche pwr_info.lane_tx = lanes;
148dd11376bSBart Van Assche ret = ufshcd_config_pwr_mode(hba, &pwr_info);
149dd11376bSBart Van Assche if (ret)
150dd11376bSBart Van Assche dev_err(hba->dev, "%s: Setting %u lanes, err = %d\n",
151dd11376bSBart Van Assche __func__, lanes, ret);
152dd11376bSBart Van Assche return ret;
153dd11376bSBart Van Assche }
154dd11376bSBart Van Assche
ufs_intel_lkf_pwr_change_notify(struct ufs_hba * hba,enum ufs_notify_change_status status,struct ufs_pa_layer_attr * dev_max_params,struct ufs_pa_layer_attr * dev_req_params)155dd11376bSBart Van Assche static int ufs_intel_lkf_pwr_change_notify(struct ufs_hba *hba,
156dd11376bSBart Van Assche enum ufs_notify_change_status status,
157dd11376bSBart Van Assche struct ufs_pa_layer_attr *dev_max_params,
158dd11376bSBart Van Assche struct ufs_pa_layer_attr *dev_req_params)
159dd11376bSBart Van Assche {
160dd11376bSBart Van Assche int err = 0;
161dd11376bSBart Van Assche
162dd11376bSBart Van Assche switch (status) {
163dd11376bSBart Van Assche case PRE_CHANGE:
164dd11376bSBart Van Assche if (ufshcd_is_hs_mode(dev_max_params) &&
165dd11376bSBart Van Assche (hba->pwr_info.lane_rx != 2 || hba->pwr_info.lane_tx != 2))
166dd11376bSBart Van Assche ufs_intel_set_lanes(hba, 2);
167dd11376bSBart Van Assche memcpy(dev_req_params, dev_max_params, sizeof(*dev_req_params));
168dd11376bSBart Van Assche break;
169dd11376bSBart Van Assche case POST_CHANGE:
170dd11376bSBart Van Assche if (ufshcd_is_hs_mode(dev_req_params)) {
171dd11376bSBart Van Assche u32 peer_granularity;
172dd11376bSBart Van Assche
173dd11376bSBart Van Assche usleep_range(1000, 1250);
174dd11376bSBart Van Assche err = ufshcd_dme_peer_get(hba, UIC_ARG_MIB(PA_GRANULARITY),
175dd11376bSBart Van Assche &peer_granularity);
176dd11376bSBart Van Assche }
177dd11376bSBart Van Assche break;
178dd11376bSBart Van Assche default:
179dd11376bSBart Van Assche break;
180dd11376bSBart Van Assche }
181dd11376bSBart Van Assche
182dd11376bSBart Van Assche return err;
183dd11376bSBart Van Assche }
184dd11376bSBart Van Assche
ufs_intel_lkf_apply_dev_quirks(struct ufs_hba * hba)185dd11376bSBart Van Assche static int ufs_intel_lkf_apply_dev_quirks(struct ufs_hba *hba)
186dd11376bSBart Van Assche {
187dd11376bSBart Van Assche u32 granularity, peer_granularity;
188dd11376bSBart Van Assche u32 pa_tactivate, peer_pa_tactivate;
189dd11376bSBart Van Assche int ret;
190dd11376bSBart Van Assche
191dd11376bSBart Van Assche ret = ufshcd_dme_get(hba, UIC_ARG_MIB(PA_GRANULARITY), &granularity);
192dd11376bSBart Van Assche if (ret)
193dd11376bSBart Van Assche goto out;
194dd11376bSBart Van Assche
195dd11376bSBart Van Assche ret = ufshcd_dme_peer_get(hba, UIC_ARG_MIB(PA_GRANULARITY), &peer_granularity);
196dd11376bSBart Van Assche if (ret)
197dd11376bSBart Van Assche goto out;
198dd11376bSBart Van Assche
199dd11376bSBart Van Assche ret = ufshcd_dme_get(hba, UIC_ARG_MIB(PA_TACTIVATE), &pa_tactivate);
200dd11376bSBart Van Assche if (ret)
201dd11376bSBart Van Assche goto out;
202dd11376bSBart Van Assche
203dd11376bSBart Van Assche ret = ufshcd_dme_peer_get(hba, UIC_ARG_MIB(PA_TACTIVATE), &peer_pa_tactivate);
204dd11376bSBart Van Assche if (ret)
205dd11376bSBart Van Assche goto out;
206dd11376bSBart Van Assche
207dd11376bSBart Van Assche if (granularity == peer_granularity) {
208dd11376bSBart Van Assche u32 new_peer_pa_tactivate = pa_tactivate + 2;
209dd11376bSBart Van Assche
210dd11376bSBart Van Assche ret = ufshcd_dme_peer_set(hba, UIC_ARG_MIB(PA_TACTIVATE), new_peer_pa_tactivate);
211dd11376bSBart Van Assche }
212dd11376bSBart Van Assche out:
213dd11376bSBart Van Assche return ret;
214dd11376bSBart Van Assche }
215dd11376bSBart Van Assche
216dd11376bSBart Van Assche #define INTEL_ACTIVELTR 0x804
217dd11376bSBart Van Assche #define INTEL_IDLELTR 0x808
218dd11376bSBart Van Assche
219dd11376bSBart Van Assche #define INTEL_LTR_REQ BIT(15)
220dd11376bSBart Van Assche #define INTEL_LTR_SCALE_MASK GENMASK(11, 10)
221dd11376bSBart Van Assche #define INTEL_LTR_SCALE_1US (2 << 10)
222dd11376bSBart Van Assche #define INTEL_LTR_SCALE_32US (3 << 10)
223dd11376bSBart Van Assche #define INTEL_LTR_VALUE_MASK GENMASK(9, 0)
224dd11376bSBart Van Assche
intel_cache_ltr(struct ufs_hba * hba)225dd11376bSBart Van Assche static void intel_cache_ltr(struct ufs_hba *hba)
226dd11376bSBart Van Assche {
227dd11376bSBart Van Assche struct intel_host *host = ufshcd_get_variant(hba);
228dd11376bSBart Van Assche
229dd11376bSBart Van Assche host->active_ltr = readl(hba->mmio_base + INTEL_ACTIVELTR);
230dd11376bSBart Van Assche host->idle_ltr = readl(hba->mmio_base + INTEL_IDLELTR);
231dd11376bSBart Van Assche }
232dd11376bSBart Van Assche
intel_ltr_set(struct device * dev,s32 val)233dd11376bSBart Van Assche static void intel_ltr_set(struct device *dev, s32 val)
234dd11376bSBart Van Assche {
235dd11376bSBart Van Assche struct ufs_hba *hba = dev_get_drvdata(dev);
236dd11376bSBart Van Assche struct intel_host *host = ufshcd_get_variant(hba);
237dd11376bSBart Van Assche u32 ltr;
238dd11376bSBart Van Assche
239dd11376bSBart Van Assche pm_runtime_get_sync(dev);
240dd11376bSBart Van Assche
241dd11376bSBart Van Assche /*
242dd11376bSBart Van Assche * Program latency tolerance (LTR) accordingly what has been asked
243dd11376bSBart Van Assche * by the PM QoS layer or disable it in case we were passed
244dd11376bSBart Van Assche * negative value or PM_QOS_LATENCY_ANY.
245dd11376bSBart Van Assche */
246dd11376bSBart Van Assche ltr = readl(hba->mmio_base + INTEL_ACTIVELTR);
247dd11376bSBart Van Assche
248dd11376bSBart Van Assche if (val == PM_QOS_LATENCY_ANY || val < 0) {
249dd11376bSBart Van Assche ltr &= ~INTEL_LTR_REQ;
250dd11376bSBart Van Assche } else {
251dd11376bSBart Van Assche ltr |= INTEL_LTR_REQ;
252dd11376bSBart Van Assche ltr &= ~INTEL_LTR_SCALE_MASK;
253dd11376bSBart Van Assche ltr &= ~INTEL_LTR_VALUE_MASK;
254dd11376bSBart Van Assche
255dd11376bSBart Van Assche if (val > INTEL_LTR_VALUE_MASK) {
256dd11376bSBart Van Assche val >>= 5;
257dd11376bSBart Van Assche if (val > INTEL_LTR_VALUE_MASK)
258dd11376bSBart Van Assche val = INTEL_LTR_VALUE_MASK;
259dd11376bSBart Van Assche ltr |= INTEL_LTR_SCALE_32US | val;
260dd11376bSBart Van Assche } else {
261dd11376bSBart Van Assche ltr |= INTEL_LTR_SCALE_1US | val;
262dd11376bSBart Van Assche }
263dd11376bSBart Van Assche }
264dd11376bSBart Van Assche
265dd11376bSBart Van Assche if (ltr == host->active_ltr)
266dd11376bSBart Van Assche goto out;
267dd11376bSBart Van Assche
268dd11376bSBart Van Assche writel(ltr, hba->mmio_base + INTEL_ACTIVELTR);
269dd11376bSBart Van Assche writel(ltr, hba->mmio_base + INTEL_IDLELTR);
270dd11376bSBart Van Assche
271dd11376bSBart Van Assche /* Cache the values into intel_host structure */
272dd11376bSBart Van Assche intel_cache_ltr(hba);
273dd11376bSBart Van Assche out:
274dd11376bSBart Van Assche pm_runtime_put(dev);
275dd11376bSBart Van Assche }
276dd11376bSBart Van Assche
intel_ltr_expose(struct device * dev)277dd11376bSBart Van Assche static void intel_ltr_expose(struct device *dev)
278dd11376bSBart Van Assche {
279dd11376bSBart Van Assche dev->power.set_latency_tolerance = intel_ltr_set;
280dd11376bSBart Van Assche dev_pm_qos_expose_latency_tolerance(dev);
281dd11376bSBart Van Assche }
282dd11376bSBart Van Assche
intel_ltr_hide(struct device * dev)283dd11376bSBart Van Assche static void intel_ltr_hide(struct device *dev)
284dd11376bSBart Van Assche {
285dd11376bSBart Van Assche dev_pm_qos_hide_latency_tolerance(dev);
286dd11376bSBart Van Assche dev->power.set_latency_tolerance = NULL;
287dd11376bSBart Van Assche }
288dd11376bSBart Van Assche
intel_add_debugfs(struct ufs_hba * hba)289dd11376bSBart Van Assche static void intel_add_debugfs(struct ufs_hba *hba)
290dd11376bSBart Van Assche {
291dd11376bSBart Van Assche struct dentry *dir = debugfs_create_dir(dev_name(hba->dev), NULL);
292dd11376bSBart Van Assche struct intel_host *host = ufshcd_get_variant(hba);
293dd11376bSBart Van Assche
294dd11376bSBart Van Assche intel_cache_ltr(hba);
295dd11376bSBart Van Assche
296dd11376bSBart Van Assche host->debugfs_root = dir;
297dd11376bSBart Van Assche debugfs_create_x32("active_ltr", 0444, dir, &host->active_ltr);
298dd11376bSBart Van Assche debugfs_create_x32("idle_ltr", 0444, dir, &host->idle_ltr);
299dd11376bSBart Van Assche }
300dd11376bSBart Van Assche
intel_remove_debugfs(struct ufs_hba * hba)301dd11376bSBart Van Assche static void intel_remove_debugfs(struct ufs_hba *hba)
302dd11376bSBart Van Assche {
303dd11376bSBart Van Assche struct intel_host *host = ufshcd_get_variant(hba);
304dd11376bSBart Van Assche
305dd11376bSBart Van Assche debugfs_remove_recursive(host->debugfs_root);
306dd11376bSBart Van Assche }
307dd11376bSBart Van Assche
ufs_intel_device_reset(struct ufs_hba * hba)308dd11376bSBart Van Assche static int ufs_intel_device_reset(struct ufs_hba *hba)
309dd11376bSBart Van Assche {
310dd11376bSBart Van Assche struct intel_host *host = ufshcd_get_variant(hba);
311dd11376bSBart Van Assche
312a1906678SDaniil Lunev if (INTEL_DSM_SUPPORTED(host, RESET)) {
313dd11376bSBart Van Assche u32 result = 0;
314dd11376bSBart Van Assche int err;
315dd11376bSBart Van Assche
316dd11376bSBart Van Assche err = intel_dsm(host, hba->dev, INTEL_DSM_RESET, &result);
317dd11376bSBart Van Assche if (!err && !result)
318dd11376bSBart Van Assche err = -EIO;
319dd11376bSBart Van Assche if (err)
320dd11376bSBart Van Assche dev_err(hba->dev, "%s: DSM error %d result %u\n",
321dd11376bSBart Van Assche __func__, err, result);
322dd11376bSBart Van Assche return err;
323dd11376bSBart Van Assche }
324dd11376bSBart Van Assche
325dd11376bSBart Van Assche if (!host->reset_gpio)
326dd11376bSBart Van Assche return -EOPNOTSUPP;
327dd11376bSBart Van Assche
328dd11376bSBart Van Assche gpiod_set_value_cansleep(host->reset_gpio, 1);
329dd11376bSBart Van Assche usleep_range(10, 15);
330dd11376bSBart Van Assche
331dd11376bSBart Van Assche gpiod_set_value_cansleep(host->reset_gpio, 0);
332dd11376bSBart Van Assche usleep_range(10, 15);
333dd11376bSBart Van Assche
334dd11376bSBart Van Assche return 0;
335dd11376bSBart Van Assche }
336dd11376bSBart Van Assche
ufs_intel_get_reset_gpio(struct device * dev)337dd11376bSBart Van Assche static struct gpio_desc *ufs_intel_get_reset_gpio(struct device *dev)
338dd11376bSBart Van Assche {
339dd11376bSBart Van Assche /* GPIO in _DSD has active low setting */
340dd11376bSBart Van Assche return devm_gpiod_get_optional(dev, "reset", GPIOD_OUT_LOW);
341dd11376bSBart Van Assche }
342dd11376bSBart Van Assche
ufs_intel_common_init(struct ufs_hba * hba)343dd11376bSBart Van Assche static int ufs_intel_common_init(struct ufs_hba *hba)
344dd11376bSBart Van Assche {
345dd11376bSBart Van Assche struct intel_host *host;
346dd11376bSBart Van Assche
347dd11376bSBart Van Assche hba->caps |= UFSHCD_CAP_RPM_AUTOSUSPEND;
348dd11376bSBart Van Assche
349dd11376bSBart Van Assche host = devm_kzalloc(hba->dev, sizeof(*host), GFP_KERNEL);
350dd11376bSBart Van Assche if (!host)
351dd11376bSBart Van Assche return -ENOMEM;
352dd11376bSBart Van Assche ufshcd_set_variant(hba, host);
353dd11376bSBart Van Assche intel_dsm_init(host, hba->dev);
354a1906678SDaniil Lunev if (INTEL_DSM_SUPPORTED(host, RESET)) {
355dd11376bSBart Van Assche if (hba->vops->device_reset)
356dd11376bSBart Van Assche hba->caps |= UFSHCD_CAP_DEEPSLEEP;
357dd11376bSBart Van Assche } else {
358dd11376bSBart Van Assche if (hba->vops->device_reset)
359dd11376bSBart Van Assche host->reset_gpio = ufs_intel_get_reset_gpio(hba->dev);
360dd11376bSBart Van Assche if (IS_ERR(host->reset_gpio)) {
361dd11376bSBart Van Assche dev_err(hba->dev, "%s: failed to get reset GPIO, error %ld\n",
362dd11376bSBart Van Assche __func__, PTR_ERR(host->reset_gpio));
363dd11376bSBart Van Assche host->reset_gpio = NULL;
364dd11376bSBart Van Assche }
365dd11376bSBart Van Assche if (host->reset_gpio) {
366dd11376bSBart Van Assche gpiod_set_value_cansleep(host->reset_gpio, 0);
367dd11376bSBart Van Assche hba->caps |= UFSHCD_CAP_DEEPSLEEP;
368dd11376bSBart Van Assche }
369dd11376bSBart Van Assche }
370dd11376bSBart Van Assche intel_ltr_expose(hba->dev);
371dd11376bSBart Van Assche intel_add_debugfs(hba);
372dd11376bSBart Van Assche return 0;
373dd11376bSBart Van Assche }
374dd11376bSBart Van Assche
ufs_intel_common_exit(struct ufs_hba * hba)375dd11376bSBart Van Assche static void ufs_intel_common_exit(struct ufs_hba *hba)
376dd11376bSBart Van Assche {
377dd11376bSBart Van Assche intel_remove_debugfs(hba);
378dd11376bSBart Van Assche intel_ltr_hide(hba->dev);
379dd11376bSBart Van Assche }
380dd11376bSBart Van Assche
ufs_intel_resume(struct ufs_hba * hba,enum ufs_pm_op op)381dd11376bSBart Van Assche static int ufs_intel_resume(struct ufs_hba *hba, enum ufs_pm_op op)
382dd11376bSBart Van Assche {
383dd11376bSBart Van Assche if (ufshcd_is_link_hibern8(hba)) {
384dd11376bSBart Van Assche int ret = ufshcd_uic_hibern8_exit(hba);
385dd11376bSBart Van Assche
386dd11376bSBart Van Assche if (!ret) {
387dd11376bSBart Van Assche ufshcd_set_link_active(hba);
388dd11376bSBart Van Assche } else {
389dd11376bSBart Van Assche dev_err(hba->dev, "%s: hibern8 exit failed %d\n",
390dd11376bSBart Van Assche __func__, ret);
391dd11376bSBart Van Assche /*
392dd11376bSBart Van Assche * Force reset and restore. Any other actions can lead
393dd11376bSBart Van Assche * to an unrecoverable state.
394dd11376bSBart Van Assche */
395dd11376bSBart Van Assche ufshcd_set_link_off(hba);
396dd11376bSBart Van Assche }
397dd11376bSBart Van Assche }
398dd11376bSBart Van Assche
399dd11376bSBart Van Assche return 0;
400dd11376bSBart Van Assche }
401dd11376bSBart Van Assche
ufs_intel_ehl_init(struct ufs_hba * hba)402dd11376bSBart Van Assche static int ufs_intel_ehl_init(struct ufs_hba *hba)
403dd11376bSBart Van Assche {
404dd11376bSBart Van Assche hba->quirks |= UFSHCD_QUIRK_BROKEN_AUTO_HIBERN8;
405dd11376bSBart Van Assche return ufs_intel_common_init(hba);
406dd11376bSBart Van Assche }
407dd11376bSBart Van Assche
ufs_intel_lkf_late_init(struct ufs_hba * hba)408dd11376bSBart Van Assche static void ufs_intel_lkf_late_init(struct ufs_hba *hba)
409dd11376bSBart Van Assche {
410dd11376bSBart Van Assche /* LKF always needs a full reset, so set PM accordingly */
411dd11376bSBart Van Assche if (hba->caps & UFSHCD_CAP_DEEPSLEEP) {
412dd11376bSBart Van Assche hba->spm_lvl = UFS_PM_LVL_6;
413dd11376bSBart Van Assche hba->rpm_lvl = UFS_PM_LVL_6;
414dd11376bSBart Van Assche } else {
415dd11376bSBart Van Assche hba->spm_lvl = UFS_PM_LVL_5;
416dd11376bSBart Van Assche hba->rpm_lvl = UFS_PM_LVL_5;
417dd11376bSBart Van Assche }
418dd11376bSBart Van Assche }
419dd11376bSBart Van Assche
ufs_intel_lkf_init(struct ufs_hba * hba)420dd11376bSBart Van Assche static int ufs_intel_lkf_init(struct ufs_hba *hba)
421dd11376bSBart Van Assche {
422dd11376bSBart Van Assche struct ufs_host *ufs_host;
423dd11376bSBart Van Assche int err;
424dd11376bSBart Van Assche
425dd11376bSBart Van Assche hba->nop_out_timeout = 200;
426dd11376bSBart Van Assche hba->quirks |= UFSHCD_QUIRK_BROKEN_AUTO_HIBERN8;
427dd11376bSBart Van Assche hba->caps |= UFSHCD_CAP_CRYPTO;
428dd11376bSBart Van Assche err = ufs_intel_common_init(hba);
429dd11376bSBart Van Assche ufs_host = ufshcd_get_variant(hba);
430dd11376bSBart Van Assche ufs_host->late_init = ufs_intel_lkf_late_init;
431dd11376bSBart Van Assche return err;
432dd11376bSBart Van Assche }
433dd11376bSBart Van Assche
ufs_intel_adl_init(struct ufs_hba * hba)434dd11376bSBart Van Assche static int ufs_intel_adl_init(struct ufs_hba *hba)
435dd11376bSBart Van Assche {
436dd11376bSBart Van Assche hba->nop_out_timeout = 200;
437dd11376bSBart Van Assche hba->quirks |= UFSHCD_QUIRK_BROKEN_AUTO_HIBERN8;
4381466b3bcSDaniil Lunev hba->caps |= UFSHCD_CAP_WB_EN;
439dd11376bSBart Van Assche return ufs_intel_common_init(hba);
440dd11376bSBart Van Assche }
441dd11376bSBart Van Assche
ufs_intel_mtl_init(struct ufs_hba * hba)442dd11376bSBart Van Assche static int ufs_intel_mtl_init(struct ufs_hba *hba)
443dd11376bSBart Van Assche {
444dd11376bSBart Van Assche hba->caps |= UFSHCD_CAP_CRYPTO | UFSHCD_CAP_WB_EN;
445dd11376bSBart Van Assche return ufs_intel_common_init(hba);
446dd11376bSBart Van Assche }
447dd11376bSBart Van Assche
448dd11376bSBart Van Assche static struct ufs_hba_variant_ops ufs_intel_cnl_hba_vops = {
449dd11376bSBart Van Assche .name = "intel-pci",
450dd11376bSBart Van Assche .init = ufs_intel_common_init,
451dd11376bSBart Van Assche .exit = ufs_intel_common_exit,
452dd11376bSBart Van Assche .link_startup_notify = ufs_intel_link_startup_notify,
453dd11376bSBart Van Assche .resume = ufs_intel_resume,
454dd11376bSBart Van Assche };
455dd11376bSBart Van Assche
456dd11376bSBart Van Assche static struct ufs_hba_variant_ops ufs_intel_ehl_hba_vops = {
457dd11376bSBart Van Assche .name = "intel-pci",
458dd11376bSBart Van Assche .init = ufs_intel_ehl_init,
459dd11376bSBart Van Assche .exit = ufs_intel_common_exit,
460dd11376bSBart Van Assche .link_startup_notify = ufs_intel_link_startup_notify,
461dd11376bSBart Van Assche .resume = ufs_intel_resume,
462dd11376bSBart Van Assche };
463dd11376bSBart Van Assche
464dd11376bSBart Van Assche static struct ufs_hba_variant_ops ufs_intel_lkf_hba_vops = {
465dd11376bSBart Van Assche .name = "intel-pci",
466dd11376bSBart Van Assche .init = ufs_intel_lkf_init,
467dd11376bSBart Van Assche .exit = ufs_intel_common_exit,
468dd11376bSBart Van Assche .hce_enable_notify = ufs_intel_hce_enable_notify,
469dd11376bSBart Van Assche .link_startup_notify = ufs_intel_link_startup_notify,
470dd11376bSBart Van Assche .pwr_change_notify = ufs_intel_lkf_pwr_change_notify,
471dd11376bSBart Van Assche .apply_dev_quirks = ufs_intel_lkf_apply_dev_quirks,
472dd11376bSBart Van Assche .resume = ufs_intel_resume,
473dd11376bSBart Van Assche .device_reset = ufs_intel_device_reset,
474dd11376bSBart Van Assche };
475dd11376bSBart Van Assche
476dd11376bSBart Van Assche static struct ufs_hba_variant_ops ufs_intel_adl_hba_vops = {
477dd11376bSBart Van Assche .name = "intel-pci",
478dd11376bSBart Van Assche .init = ufs_intel_adl_init,
479dd11376bSBart Van Assche .exit = ufs_intel_common_exit,
480dd11376bSBart Van Assche .link_startup_notify = ufs_intel_link_startup_notify,
481dd11376bSBart Van Assche .resume = ufs_intel_resume,
482dd11376bSBart Van Assche .device_reset = ufs_intel_device_reset,
483dd11376bSBart Van Assche };
484dd11376bSBart Van Assche
485dd11376bSBart Van Assche static struct ufs_hba_variant_ops ufs_intel_mtl_hba_vops = {
486dd11376bSBart Van Assche .name = "intel-pci",
487dd11376bSBart Van Assche .init = ufs_intel_mtl_init,
488dd11376bSBart Van Assche .exit = ufs_intel_common_exit,
489dd11376bSBart Van Assche .hce_enable_notify = ufs_intel_hce_enable_notify,
490dd11376bSBart Van Assche .link_startup_notify = ufs_intel_link_startup_notify,
491dd11376bSBart Van Assche .resume = ufs_intel_resume,
492dd11376bSBart Van Assche .device_reset = ufs_intel_device_reset,
493dd11376bSBart Van Assche };
494dd11376bSBart Van Assche
495dd11376bSBart Van Assche #ifdef CONFIG_PM_SLEEP
ufshcd_pci_restore(struct device * dev)496dd11376bSBart Van Assche static int ufshcd_pci_restore(struct device *dev)
497dd11376bSBart Van Assche {
498dd11376bSBart Van Assche struct ufs_hba *hba = dev_get_drvdata(dev);
499dd11376bSBart Van Assche
500dd11376bSBart Van Assche /* Force a full reset and restore */
501dd11376bSBart Van Assche ufshcd_set_link_off(hba);
502dd11376bSBart Van Assche
503dd11376bSBart Van Assche return ufshcd_system_resume(dev);
504dd11376bSBart Van Assche }
505dd11376bSBart Van Assche #endif
506dd11376bSBart Van Assche
507dd11376bSBart Van Assche /**
508dd11376bSBart Van Assche * ufshcd_pci_remove - de-allocate PCI/SCSI host and host memory space
509dd11376bSBart Van Assche * data structure memory
510dd11376bSBart Van Assche * @pdev: pointer to PCI handle
511dd11376bSBart Van Assche */
ufshcd_pci_remove(struct pci_dev * pdev)512dd11376bSBart Van Assche static void ufshcd_pci_remove(struct pci_dev *pdev)
513dd11376bSBart Van Assche {
514dd11376bSBart Van Assche struct ufs_hba *hba = pci_get_drvdata(pdev);
515dd11376bSBart Van Assche
516dd11376bSBart Van Assche pm_runtime_forbid(&pdev->dev);
517dd11376bSBart Van Assche pm_runtime_get_noresume(&pdev->dev);
518dd11376bSBart Van Assche ufshcd_remove(hba);
519dd11376bSBart Van Assche ufshcd_dealloc_host(hba);
520dd11376bSBart Van Assche }
521dd11376bSBart Van Assche
522dd11376bSBart Van Assche /**
523dd11376bSBart Van Assche * ufshcd_pci_probe - probe routine of the driver
524dd11376bSBart Van Assche * @pdev: pointer to PCI device handle
525dd11376bSBart Van Assche * @id: PCI device id
526dd11376bSBart Van Assche *
5273a17fefeSBart Van Assche * Return: 0 on success, non-zero value on failure.
528dd11376bSBart Van Assche */
529dd11376bSBart Van Assche static int
ufshcd_pci_probe(struct pci_dev * pdev,const struct pci_device_id * id)530dd11376bSBart Van Assche ufshcd_pci_probe(struct pci_dev *pdev, const struct pci_device_id *id)
531dd11376bSBart Van Assche {
532dd11376bSBart Van Assche struct ufs_host *ufs_host;
533dd11376bSBart Van Assche struct ufs_hba *hba;
534dd11376bSBart Van Assche void __iomem *mmio_base;
535dd11376bSBart Van Assche int err;
536dd11376bSBart Van Assche
537dd11376bSBart Van Assche err = pcim_enable_device(pdev);
538dd11376bSBart Van Assche if (err) {
539dd11376bSBart Van Assche dev_err(&pdev->dev, "pcim_enable_device failed\n");
540dd11376bSBart Van Assche return err;
541dd11376bSBart Van Assche }
542dd11376bSBart Van Assche
543dd11376bSBart Van Assche pci_set_master(pdev);
544dd11376bSBart Van Assche
545dd11376bSBart Van Assche err = pcim_iomap_regions(pdev, 1 << 0, UFSHCD);
546dd11376bSBart Van Assche if (err < 0) {
547dd11376bSBart Van Assche dev_err(&pdev->dev, "request and iomap failed\n");
548dd11376bSBart Van Assche return err;
549dd11376bSBart Van Assche }
550dd11376bSBart Van Assche
551dd11376bSBart Van Assche mmio_base = pcim_iomap_table(pdev)[0];
552dd11376bSBart Van Assche
553dd11376bSBart Van Assche err = ufshcd_alloc_host(&pdev->dev, &hba);
554dd11376bSBart Van Assche if (err) {
555dd11376bSBart Van Assche dev_err(&pdev->dev, "Allocation failed\n");
556dd11376bSBart Van Assche return err;
557dd11376bSBart Van Assche }
558dd11376bSBart Van Assche
559dd11376bSBart Van Assche hba->vops = (struct ufs_hba_variant_ops *)id->driver_data;
560dd11376bSBart Van Assche
561dd11376bSBart Van Assche err = ufshcd_init(hba, mmio_base, pdev->irq);
562dd11376bSBart Van Assche if (err) {
563dd11376bSBart Van Assche dev_err(&pdev->dev, "Initialization failed\n");
564dd11376bSBart Van Assche ufshcd_dealloc_host(hba);
565dd11376bSBart Van Assche return err;
566dd11376bSBart Van Assche }
567dd11376bSBart Van Assche
568dd11376bSBart Van Assche ufs_host = ufshcd_get_variant(hba);
569dd11376bSBart Van Assche if (ufs_host && ufs_host->late_init)
570dd11376bSBart Van Assche ufs_host->late_init(hba);
571dd11376bSBart Van Assche
572dd11376bSBart Van Assche pm_runtime_put_noidle(&pdev->dev);
573dd11376bSBart Van Assche pm_runtime_allow(&pdev->dev);
574dd11376bSBart Van Assche
575dd11376bSBart Van Assche return 0;
576dd11376bSBart Van Assche }
577dd11376bSBart Van Assche
578dd11376bSBart Van Assche static const struct dev_pm_ops ufshcd_pci_pm_ops = {
579dd11376bSBart Van Assche SET_RUNTIME_PM_OPS(ufshcd_runtime_suspend, ufshcd_runtime_resume, NULL)
580dd11376bSBart Van Assche #ifdef CONFIG_PM_SLEEP
581dd11376bSBart Van Assche .suspend = ufshcd_system_suspend,
582dd11376bSBart Van Assche .resume = ufshcd_system_resume,
583dd11376bSBart Van Assche .freeze = ufshcd_system_suspend,
584dd11376bSBart Van Assche .thaw = ufshcd_system_resume,
585dd11376bSBart Van Assche .poweroff = ufshcd_system_suspend,
586dd11376bSBart Van Assche .restore = ufshcd_pci_restore,
587dd11376bSBart Van Assche .prepare = ufshcd_suspend_prepare,
588dd11376bSBart Van Assche .complete = ufshcd_resume_complete,
589dd11376bSBart Van Assche #endif
590dd11376bSBart Van Assche };
591dd11376bSBart Van Assche
592dd11376bSBart Van Assche static const struct pci_device_id ufshcd_pci_tbl[] = {
593*a18e81d1SJeuk Kim { PCI_VENDOR_ID_REDHAT, 0x0013, PCI_ANY_ID, PCI_ANY_ID, 0, 0, 0 },
594dd11376bSBart Van Assche { PCI_VENDOR_ID_SAMSUNG, 0xC00C, PCI_ANY_ID, PCI_ANY_ID, 0, 0, 0 },
595dd11376bSBart Van Assche { PCI_VDEVICE(INTEL, 0x9DFA), (kernel_ulong_t)&ufs_intel_cnl_hba_vops },
596dd11376bSBart Van Assche { PCI_VDEVICE(INTEL, 0x4B41), (kernel_ulong_t)&ufs_intel_ehl_hba_vops },
597dd11376bSBart Van Assche { PCI_VDEVICE(INTEL, 0x4B43), (kernel_ulong_t)&ufs_intel_ehl_hba_vops },
598dd11376bSBart Van Assche { PCI_VDEVICE(INTEL, 0x98FA), (kernel_ulong_t)&ufs_intel_lkf_hba_vops },
599dd11376bSBart Van Assche { PCI_VDEVICE(INTEL, 0x51FF), (kernel_ulong_t)&ufs_intel_adl_hba_vops },
600dd11376bSBart Van Assche { PCI_VDEVICE(INTEL, 0x54FF), (kernel_ulong_t)&ufs_intel_adl_hba_vops },
601dd11376bSBart Van Assche { PCI_VDEVICE(INTEL, 0x7E47), (kernel_ulong_t)&ufs_intel_mtl_hba_vops },
6020a07d3c7SAdrian Hunter { PCI_VDEVICE(INTEL, 0xA847), (kernel_ulong_t)&ufs_intel_mtl_hba_vops },
60351031cc3SAdrian Hunter { PCI_VDEVICE(INTEL, 0x7747), (kernel_ulong_t)&ufs_intel_mtl_hba_vops },
604dd11376bSBart Van Assche { } /* terminate list */
605dd11376bSBart Van Assche };
606dd11376bSBart Van Assche
607dd11376bSBart Van Assche MODULE_DEVICE_TABLE(pci, ufshcd_pci_tbl);
608dd11376bSBart Van Assche
609dd11376bSBart Van Assche static struct pci_driver ufshcd_pci_driver = {
610dd11376bSBart Van Assche .name = UFSHCD,
611dd11376bSBart Van Assche .id_table = ufshcd_pci_tbl,
612dd11376bSBart Van Assche .probe = ufshcd_pci_probe,
613dd11376bSBart Van Assche .remove = ufshcd_pci_remove,
614dd11376bSBart Van Assche .driver = {
615dd11376bSBart Van Assche .pm = &ufshcd_pci_pm_ops
616dd11376bSBart Van Assche },
617dd11376bSBart Van Assche };
618dd11376bSBart Van Assche
619dd11376bSBart Van Assche module_pci_driver(ufshcd_pci_driver);
620dd11376bSBart Van Assche
621dd11376bSBart Van Assche MODULE_AUTHOR("Santosh Yaragnavi <santosh.sy@samsung.com>");
622dd11376bSBart Van Assche MODULE_AUTHOR("Vinayak Holikatti <h.vinayak@samsung.com>");
623dd11376bSBart Van Assche MODULE_DESCRIPTION("UFS host controller PCI glue driver");
624dd11376bSBart Van Assche MODULE_LICENSE("GPL");
625