1 // SPDX-License-Identifier: GPL-2.0-only
2 /*
3  * This driver adds support for PCIe PMU RCiEP device. Related
4  * perf events are bandwidth, latency etc.
5  *
6  * Copyright (C) 2021 HiSilicon Limited
7  * Author: Qi Liu <liuqi115@huawei.com>
8  */
9 #include <linux/bitfield.h>
10 #include <linux/bitmap.h>
11 #include <linux/bug.h>
12 #include <linux/device.h>
13 #include <linux/err.h>
14 #include <linux/interrupt.h>
15 #include <linux/irq.h>
16 #include <linux/kernel.h>
17 #include <linux/list.h>
18 #include <linux/module.h>
19 #include <linux/pci.h>
20 #include <linux/perf_event.h>
21 
22 #define DRV_NAME "hisi_pcie_pmu"
23 /* Define registers */
24 #define HISI_PCIE_GLOBAL_CTRL		0x00
25 #define HISI_PCIE_EVENT_CTRL		0x010
26 #define HISI_PCIE_CNT			0x090
27 #define HISI_PCIE_EXT_CNT		0x110
28 #define HISI_PCIE_INT_STAT		0x150
29 #define HISI_PCIE_INT_MASK		0x154
30 #define HISI_PCIE_REG_BDF		0xfe0
31 #define HISI_PCIE_REG_VERSION		0xfe4
32 #define HISI_PCIE_REG_INFO		0xfe8
33 
34 /* Define command in HISI_PCIE_GLOBAL_CTRL */
35 #define HISI_PCIE_GLOBAL_EN		0x01
36 #define HISI_PCIE_GLOBAL_NONE		0
37 
38 /* Define command in HISI_PCIE_EVENT_CTRL */
39 #define HISI_PCIE_EVENT_EN		BIT_ULL(20)
40 #define HISI_PCIE_RESET_CNT		BIT_ULL(22)
41 #define HISI_PCIE_INIT_SET		BIT_ULL(34)
42 #define HISI_PCIE_THR_EN		BIT_ULL(26)
43 #define HISI_PCIE_TARGET_EN		BIT_ULL(32)
44 #define HISI_PCIE_TRIG_EN		BIT_ULL(52)
45 
46 /* Define offsets in HISI_PCIE_EVENT_CTRL */
47 #define HISI_PCIE_EVENT_M		GENMASK_ULL(15, 0)
48 #define HISI_PCIE_THR_MODE_M		GENMASK_ULL(27, 27)
49 #define HISI_PCIE_THR_M			GENMASK_ULL(31, 28)
50 #define HISI_PCIE_LEN_M			GENMASK_ULL(35, 34)
51 #define HISI_PCIE_TARGET_M		GENMASK_ULL(52, 36)
52 #define HISI_PCIE_TRIG_MODE_M		GENMASK_ULL(53, 53)
53 #define HISI_PCIE_TRIG_M		GENMASK_ULL(59, 56)
54 
55 /* Default config of TLP length mode, will count both TLP headers and payloads */
56 #define HISI_PCIE_LEN_M_DEFAULT		3ULL
57 
58 #define HISI_PCIE_MAX_COUNTERS		8
59 #define HISI_PCIE_REG_STEP		8
60 #define HISI_PCIE_THR_MAX_VAL		10
61 #define HISI_PCIE_TRIG_MAX_VAL		10
62 #define HISI_PCIE_MAX_PERIOD		(GENMASK_ULL(63, 0))
63 #define HISI_PCIE_INIT_VAL		BIT_ULL(63)
64 
65 struct hisi_pcie_pmu {
66 	struct perf_event *hw_events[HISI_PCIE_MAX_COUNTERS];
67 	struct hlist_node node;
68 	struct pci_dev *pdev;
69 	struct pmu pmu;
70 	void __iomem *base;
71 	int irq;
72 	u32 identifier;
73 	/* Minimum and maximum BDF of root ports monitored by PMU */
74 	u16 bdf_min;
75 	u16 bdf_max;
76 	int on_cpu;
77 };
78 
79 struct hisi_pcie_reg_pair {
80 	u16 lo;
81 	u16 hi;
82 };
83 
84 #define to_pcie_pmu(p)  (container_of((p), struct hisi_pcie_pmu, pmu))
85 #define GET_PCI_DEVFN(bdf)  ((bdf) & 0xff)
86 
87 #define HISI_PCIE_PMU_FILTER_ATTR(_name, _config, _hi, _lo)		  \
88 	static u64 hisi_pcie_get_##_name(struct perf_event *event)	  \
89 	{								  \
90 		return FIELD_GET(GENMASK(_hi, _lo), event->attr._config); \
91 	}								  \
92 
93 HISI_PCIE_PMU_FILTER_ATTR(event, config, 16, 0);
94 HISI_PCIE_PMU_FILTER_ATTR(thr_len, config1, 3, 0);
95 HISI_PCIE_PMU_FILTER_ATTR(thr_mode, config1, 4, 4);
96 HISI_PCIE_PMU_FILTER_ATTR(trig_len, config1, 8, 5);
97 HISI_PCIE_PMU_FILTER_ATTR(trig_mode, config1, 9, 9);
98 HISI_PCIE_PMU_FILTER_ATTR(len_mode, config1, 11, 10);
99 HISI_PCIE_PMU_FILTER_ATTR(port, config2, 15, 0);
100 HISI_PCIE_PMU_FILTER_ATTR(bdf, config2, 31, 16);
101 
102 static ssize_t hisi_pcie_format_sysfs_show(struct device *dev, struct device_attribute *attr,
103 					   char *buf)
104 {
105 	struct dev_ext_attribute *eattr;
106 
107 	eattr = container_of(attr, struct dev_ext_attribute, attr);
108 
109 	return sysfs_emit(buf, "%s\n", (char *)eattr->var);
110 }
111 
112 static ssize_t hisi_pcie_event_sysfs_show(struct device *dev, struct device_attribute *attr,
113 					  char *buf)
114 {
115 	struct perf_pmu_events_attr *pmu_attr =
116 		container_of(attr, struct perf_pmu_events_attr, attr);
117 
118 	return sysfs_emit(buf, "config=0x%llx\n", pmu_attr->id);
119 }
120 
121 #define HISI_PCIE_PMU_FORMAT_ATTR(_name, _format)                              \
122 	(&((struct dev_ext_attribute[]){                                       \
123 		{ .attr = __ATTR(_name, 0444, hisi_pcie_format_sysfs_show,     \
124 				 NULL),                                        \
125 		  .var = (void *)_format }                                     \
126 	})[0].attr.attr)
127 
128 #define HISI_PCIE_PMU_EVENT_ATTR(_name, _id)			\
129 	PMU_EVENT_ATTR_ID(_name, hisi_pcie_event_sysfs_show, _id)
130 
131 static ssize_t cpumask_show(struct device *dev, struct device_attribute *attr, char *buf)
132 {
133 	struct hisi_pcie_pmu *pcie_pmu = to_pcie_pmu(dev_get_drvdata(dev));
134 
135 	return cpumap_print_to_pagebuf(true, buf, cpumask_of(pcie_pmu->on_cpu));
136 }
137 static DEVICE_ATTR_RO(cpumask);
138 
139 static ssize_t identifier_show(struct device *dev, struct device_attribute *attr, char *buf)
140 {
141 	struct hisi_pcie_pmu *pcie_pmu = to_pcie_pmu(dev_get_drvdata(dev));
142 
143 	return sysfs_emit(buf, "%#x\n", pcie_pmu->identifier);
144 }
145 static DEVICE_ATTR_RO(identifier);
146 
147 static ssize_t bus_show(struct device *dev, struct device_attribute *attr, char *buf)
148 {
149 	struct hisi_pcie_pmu *pcie_pmu = to_pcie_pmu(dev_get_drvdata(dev));
150 
151 	return sysfs_emit(buf, "%#04x\n", PCI_BUS_NUM(pcie_pmu->bdf_min));
152 }
153 static DEVICE_ATTR_RO(bus);
154 
155 static struct hisi_pcie_reg_pair
156 hisi_pcie_parse_reg_value(struct hisi_pcie_pmu *pcie_pmu, u32 reg_off)
157 {
158 	u32 val = readl_relaxed(pcie_pmu->base + reg_off);
159 	struct hisi_pcie_reg_pair regs = {
160 		.lo = val,
161 		.hi = val >> 16,
162 	};
163 
164 	return regs;
165 }
166 
167 /*
168  * Hardware counter and ext_counter work together for bandwidth, latency, bus
169  * utilization and buffer occupancy events. For example, RX memory write latency
170  * events(index = 0x0010), counter counts total delay cycles and ext_counter
171  * counts RX memory write PCIe packets number.
172  *
173  * As we don't want PMU driver to process these two data, "delay cycles" can
174  * be treated as an independent event(index = 0x0010), "RX memory write packets
175  * number" as another(index = 0x10010). BIT 16 is used to distinguish and 0-15
176  * bits are "real" event index, which can be used to set HISI_PCIE_EVENT_CTRL.
177  */
178 #define EXT_COUNTER_IS_USED(idx)		((idx) & BIT(16))
179 
180 static u32 hisi_pcie_get_real_event(struct perf_event *event)
181 {
182 	return hisi_pcie_get_event(event) & GENMASK(15, 0);
183 }
184 
185 static u32 hisi_pcie_pmu_get_offset(u32 offset, u32 idx)
186 {
187 	return offset + HISI_PCIE_REG_STEP * idx;
188 }
189 
190 static u32 hisi_pcie_pmu_readl(struct hisi_pcie_pmu *pcie_pmu, u32 reg_offset,
191 			       u32 idx)
192 {
193 	u32 offset = hisi_pcie_pmu_get_offset(reg_offset, idx);
194 
195 	return readl_relaxed(pcie_pmu->base + offset);
196 }
197 
198 static void hisi_pcie_pmu_writel(struct hisi_pcie_pmu *pcie_pmu, u32 reg_offset, u32 idx, u32 val)
199 {
200 	u32 offset = hisi_pcie_pmu_get_offset(reg_offset, idx);
201 
202 	writel_relaxed(val, pcie_pmu->base + offset);
203 }
204 
205 static u64 hisi_pcie_pmu_readq(struct hisi_pcie_pmu *pcie_pmu, u32 reg_offset, u32 idx)
206 {
207 	u32 offset = hisi_pcie_pmu_get_offset(reg_offset, idx);
208 
209 	return readq_relaxed(pcie_pmu->base + offset);
210 }
211 
212 static void hisi_pcie_pmu_writeq(struct hisi_pcie_pmu *pcie_pmu, u32 reg_offset, u32 idx, u64 val)
213 {
214 	u32 offset = hisi_pcie_pmu_get_offset(reg_offset, idx);
215 
216 	writeq_relaxed(val, pcie_pmu->base + offset);
217 }
218 
219 static void hisi_pcie_pmu_config_filter(struct perf_event *event)
220 {
221 	struct hisi_pcie_pmu *pcie_pmu = to_pcie_pmu(event->pmu);
222 	struct hw_perf_event *hwc = &event->hw;
223 	u64 port, trig_len, thr_len, len_mode;
224 	u64 reg = HISI_PCIE_INIT_SET;
225 
226 	/* Config HISI_PCIE_EVENT_CTRL according to event. */
227 	reg |= FIELD_PREP(HISI_PCIE_EVENT_M, hisi_pcie_get_real_event(event));
228 
229 	/* Config HISI_PCIE_EVENT_CTRL according to root port or EP device. */
230 	port = hisi_pcie_get_port(event);
231 	if (port)
232 		reg |= FIELD_PREP(HISI_PCIE_TARGET_M, port);
233 	else
234 		reg |= HISI_PCIE_TARGET_EN |
235 		       FIELD_PREP(HISI_PCIE_TARGET_M, hisi_pcie_get_bdf(event));
236 
237 	/* Config HISI_PCIE_EVENT_CTRL according to trigger condition. */
238 	trig_len = hisi_pcie_get_trig_len(event);
239 	if (trig_len) {
240 		reg |= FIELD_PREP(HISI_PCIE_TRIG_M, trig_len);
241 		reg |= FIELD_PREP(HISI_PCIE_TRIG_MODE_M, hisi_pcie_get_trig_mode(event));
242 		reg |= HISI_PCIE_TRIG_EN;
243 	}
244 
245 	/* Config HISI_PCIE_EVENT_CTRL according to threshold condition. */
246 	thr_len = hisi_pcie_get_thr_len(event);
247 	if (thr_len) {
248 		reg |= FIELD_PREP(HISI_PCIE_THR_M, thr_len);
249 		reg |= FIELD_PREP(HISI_PCIE_THR_MODE_M, hisi_pcie_get_thr_mode(event));
250 		reg |= HISI_PCIE_THR_EN;
251 	}
252 
253 	len_mode = hisi_pcie_get_len_mode(event);
254 	if (len_mode)
255 		reg |= FIELD_PREP(HISI_PCIE_LEN_M, len_mode);
256 	else
257 		reg |= FIELD_PREP(HISI_PCIE_LEN_M, HISI_PCIE_LEN_M_DEFAULT);
258 
259 	hisi_pcie_pmu_writeq(pcie_pmu, HISI_PCIE_EVENT_CTRL, hwc->idx, reg);
260 }
261 
262 static void hisi_pcie_pmu_clear_filter(struct perf_event *event)
263 {
264 	struct hisi_pcie_pmu *pcie_pmu = to_pcie_pmu(event->pmu);
265 	struct hw_perf_event *hwc = &event->hw;
266 
267 	hisi_pcie_pmu_writeq(pcie_pmu, HISI_PCIE_EVENT_CTRL, hwc->idx, HISI_PCIE_INIT_SET);
268 }
269 
270 static bool hisi_pcie_pmu_valid_requester_id(struct hisi_pcie_pmu *pcie_pmu, u32 bdf)
271 {
272 	struct pci_dev *root_port, *pdev;
273 	u16 rp_bdf;
274 
275 	pdev = pci_get_domain_bus_and_slot(pci_domain_nr(pcie_pmu->pdev->bus), PCI_BUS_NUM(bdf),
276 					   GET_PCI_DEVFN(bdf));
277 	if (!pdev)
278 		return false;
279 
280 	root_port = pcie_find_root_port(pdev);
281 	if (!root_port) {
282 		pci_dev_put(pdev);
283 		return false;
284 	}
285 
286 	pci_dev_put(pdev);
287 	rp_bdf = pci_dev_id(root_port);
288 	return rp_bdf >= pcie_pmu->bdf_min && rp_bdf <= pcie_pmu->bdf_max;
289 }
290 
291 static bool hisi_pcie_pmu_valid_filter(struct perf_event *event,
292 				       struct hisi_pcie_pmu *pcie_pmu)
293 {
294 	u32 requester_id = hisi_pcie_get_bdf(event);
295 
296 	if (hisi_pcie_get_thr_len(event) > HISI_PCIE_THR_MAX_VAL)
297 		return false;
298 
299 	if (hisi_pcie_get_trig_len(event) > HISI_PCIE_TRIG_MAX_VAL)
300 		return false;
301 
302 	if (requester_id) {
303 		if (!hisi_pcie_pmu_valid_requester_id(pcie_pmu, requester_id))
304 			return false;
305 	}
306 
307 	return true;
308 }
309 
310 static bool hisi_pcie_pmu_cmp_event(struct perf_event *target,
311 					struct perf_event *event)
312 {
313 	return hisi_pcie_get_real_event(target) == hisi_pcie_get_real_event(event);
314 }
315 
316 static bool hisi_pcie_pmu_validate_event_group(struct perf_event *event)
317 {
318 	struct perf_event *sibling, *leader = event->group_leader;
319 	struct perf_event *event_group[HISI_PCIE_MAX_COUNTERS];
320 	int counters = 1;
321 	int num;
322 
323 	event_group[0] = leader;
324 	if (!is_software_event(leader)) {
325 		if (leader->pmu != event->pmu)
326 			return false;
327 
328 		if (leader != event && !hisi_pcie_pmu_cmp_event(leader, event))
329 			event_group[counters++] = event;
330 	}
331 
332 	for_each_sibling_event(sibling, event->group_leader) {
333 		if (is_software_event(sibling))
334 			continue;
335 
336 		if (sibling->pmu != event->pmu)
337 			return false;
338 
339 		for (num = 0; num < counters; num++) {
340 			if (hisi_pcie_pmu_cmp_event(event_group[num], sibling))
341 				break;
342 		}
343 
344 		if (num == counters)
345 			event_group[counters++] = sibling;
346 	}
347 
348 	return counters <= HISI_PCIE_MAX_COUNTERS;
349 }
350 
351 static int hisi_pcie_pmu_event_init(struct perf_event *event)
352 {
353 	struct hisi_pcie_pmu *pcie_pmu = to_pcie_pmu(event->pmu);
354 	struct hw_perf_event *hwc = &event->hw;
355 
356 	event->cpu = pcie_pmu->on_cpu;
357 
358 	if (EXT_COUNTER_IS_USED(hisi_pcie_get_event(event)))
359 		hwc->event_base = HISI_PCIE_EXT_CNT;
360 	else
361 		hwc->event_base = HISI_PCIE_CNT;
362 
363 	if (event->attr.type != event->pmu->type)
364 		return -ENOENT;
365 
366 	/* Sampling is not supported. */
367 	if (is_sampling_event(event) || event->attach_state & PERF_ATTACH_TASK)
368 		return -EOPNOTSUPP;
369 
370 	if (!hisi_pcie_pmu_valid_filter(event, pcie_pmu))
371 		return -EINVAL;
372 
373 	if (!hisi_pcie_pmu_validate_event_group(event))
374 		return -EINVAL;
375 
376 	return 0;
377 }
378 
379 static u64 hisi_pcie_pmu_read_counter(struct perf_event *event)
380 {
381 	struct hisi_pcie_pmu *pcie_pmu = to_pcie_pmu(event->pmu);
382 	u32 idx = event->hw.idx;
383 
384 	return hisi_pcie_pmu_readq(pcie_pmu, event->hw.event_base, idx);
385 }
386 
387 static int hisi_pcie_pmu_find_related_event(struct hisi_pcie_pmu *pcie_pmu,
388 					    struct perf_event *event)
389 {
390 	struct perf_event *sibling;
391 	int idx;
392 
393 	for (idx = 0; idx < HISI_PCIE_MAX_COUNTERS; idx++) {
394 		sibling = pcie_pmu->hw_events[idx];
395 		if (!sibling)
396 			continue;
397 
398 		if (!hisi_pcie_pmu_cmp_event(sibling, event))
399 			continue;
400 
401 		/* Related events must be used in group */
402 		if (sibling->group_leader == event->group_leader)
403 			return idx;
404 		else
405 			return -EINVAL;
406 	}
407 
408 	return idx;
409 }
410 
411 static int hisi_pcie_pmu_get_event_idx(struct hisi_pcie_pmu *pcie_pmu)
412 {
413 	int idx;
414 
415 	for (idx = 0; idx < HISI_PCIE_MAX_COUNTERS; idx++) {
416 		if (!pcie_pmu->hw_events[idx])
417 			return idx;
418 	}
419 
420 	return -EINVAL;
421 }
422 
423 static void hisi_pcie_pmu_event_update(struct perf_event *event)
424 {
425 	struct hw_perf_event *hwc = &event->hw;
426 	u64 new_cnt, prev_cnt, delta;
427 
428 	do {
429 		prev_cnt = local64_read(&hwc->prev_count);
430 		new_cnt = hisi_pcie_pmu_read_counter(event);
431 	} while (local64_cmpxchg(&hwc->prev_count, prev_cnt,
432 				 new_cnt) != prev_cnt);
433 
434 	delta = (new_cnt - prev_cnt) & HISI_PCIE_MAX_PERIOD;
435 	local64_add(delta, &event->count);
436 }
437 
438 static void hisi_pcie_pmu_read(struct perf_event *event)
439 {
440 	hisi_pcie_pmu_event_update(event);
441 }
442 
443 static void hisi_pcie_pmu_set_period(struct perf_event *event)
444 {
445 	struct hisi_pcie_pmu *pcie_pmu = to_pcie_pmu(event->pmu);
446 	struct hw_perf_event *hwc = &event->hw;
447 	int idx = hwc->idx;
448 
449 	local64_set(&hwc->prev_count, HISI_PCIE_INIT_VAL);
450 	hisi_pcie_pmu_writeq(pcie_pmu, HISI_PCIE_CNT, idx, HISI_PCIE_INIT_VAL);
451 	hisi_pcie_pmu_writeq(pcie_pmu, HISI_PCIE_EXT_CNT, idx, HISI_PCIE_INIT_VAL);
452 }
453 
454 static void hisi_pcie_pmu_enable_counter(struct hisi_pcie_pmu *pcie_pmu, struct hw_perf_event *hwc)
455 {
456 	u32 idx = hwc->idx;
457 	u64 val;
458 
459 	val = hisi_pcie_pmu_readq(pcie_pmu, HISI_PCIE_EVENT_CTRL, idx);
460 	val |= HISI_PCIE_EVENT_EN;
461 	hisi_pcie_pmu_writeq(pcie_pmu, HISI_PCIE_EVENT_CTRL, idx, val);
462 }
463 
464 static void hisi_pcie_pmu_disable_counter(struct hisi_pcie_pmu *pcie_pmu, struct hw_perf_event *hwc)
465 {
466 	u32 idx = hwc->idx;
467 	u64 val;
468 
469 	val = hisi_pcie_pmu_readq(pcie_pmu, HISI_PCIE_EVENT_CTRL, idx);
470 	val &= ~HISI_PCIE_EVENT_EN;
471 	hisi_pcie_pmu_writeq(pcie_pmu, HISI_PCIE_EVENT_CTRL, idx, val);
472 }
473 
474 static void hisi_pcie_pmu_enable_int(struct hisi_pcie_pmu *pcie_pmu, struct hw_perf_event *hwc)
475 {
476 	u32 idx = hwc->idx;
477 
478 	hisi_pcie_pmu_writel(pcie_pmu, HISI_PCIE_INT_MASK, idx, 0);
479 }
480 
481 static void hisi_pcie_pmu_disable_int(struct hisi_pcie_pmu *pcie_pmu, struct hw_perf_event *hwc)
482 {
483 	u32 idx = hwc->idx;
484 
485 	hisi_pcie_pmu_writel(pcie_pmu, HISI_PCIE_INT_MASK, idx, 1);
486 }
487 
488 static void hisi_pcie_pmu_reset_counter(struct hisi_pcie_pmu *pcie_pmu, int idx)
489 {
490 	hisi_pcie_pmu_writeq(pcie_pmu, HISI_PCIE_EVENT_CTRL, idx, HISI_PCIE_RESET_CNT);
491 	hisi_pcie_pmu_writeq(pcie_pmu, HISI_PCIE_EVENT_CTRL, idx, HISI_PCIE_INIT_SET);
492 }
493 
494 static void hisi_pcie_pmu_start(struct perf_event *event, int flags)
495 {
496 	struct hisi_pcie_pmu *pcie_pmu = to_pcie_pmu(event->pmu);
497 	struct hw_perf_event *hwc = &event->hw;
498 	int idx = hwc->idx;
499 	u64 prev_cnt;
500 
501 	if (WARN_ON_ONCE(!(hwc->state & PERF_HES_STOPPED)))
502 		return;
503 
504 	WARN_ON_ONCE(!(hwc->state & PERF_HES_UPTODATE));
505 	hwc->state = 0;
506 
507 	hisi_pcie_pmu_config_filter(event);
508 	hisi_pcie_pmu_enable_counter(pcie_pmu, hwc);
509 	hisi_pcie_pmu_enable_int(pcie_pmu, hwc);
510 	hisi_pcie_pmu_set_period(event);
511 
512 	if (flags & PERF_EF_RELOAD) {
513 		prev_cnt = local64_read(&hwc->prev_count);
514 		hisi_pcie_pmu_writeq(pcie_pmu, hwc->event_base, idx, prev_cnt);
515 	}
516 
517 	perf_event_update_userpage(event);
518 }
519 
520 static void hisi_pcie_pmu_stop(struct perf_event *event, int flags)
521 {
522 	struct hisi_pcie_pmu *pcie_pmu = to_pcie_pmu(event->pmu);
523 	struct hw_perf_event *hwc = &event->hw;
524 
525 	hisi_pcie_pmu_event_update(event);
526 	hisi_pcie_pmu_disable_int(pcie_pmu, hwc);
527 	hisi_pcie_pmu_disable_counter(pcie_pmu, hwc);
528 	hisi_pcie_pmu_clear_filter(event);
529 	WARN_ON_ONCE(hwc->state & PERF_HES_STOPPED);
530 	hwc->state |= PERF_HES_STOPPED;
531 
532 	if (hwc->state & PERF_HES_UPTODATE)
533 		return;
534 
535 	hwc->state |= PERF_HES_UPTODATE;
536 }
537 
538 static int hisi_pcie_pmu_add(struct perf_event *event, int flags)
539 {
540 	struct hisi_pcie_pmu *pcie_pmu = to_pcie_pmu(event->pmu);
541 	struct hw_perf_event *hwc = &event->hw;
542 	int idx;
543 
544 	hwc->state = PERF_HES_STOPPED | PERF_HES_UPTODATE;
545 
546 	/* Check all working events to find a related event. */
547 	idx = hisi_pcie_pmu_find_related_event(pcie_pmu, event);
548 	if (idx < 0)
549 		return idx;
550 
551 	/* Current event shares an enabled counter with the related event */
552 	if (idx < HISI_PCIE_MAX_COUNTERS) {
553 		hwc->idx = idx;
554 		goto start_count;
555 	}
556 
557 	idx = hisi_pcie_pmu_get_event_idx(pcie_pmu);
558 	if (idx < 0)
559 		return idx;
560 
561 	hwc->idx = idx;
562 	pcie_pmu->hw_events[idx] = event;
563 	/* Reset Counter to avoid previous statistic interference. */
564 	hisi_pcie_pmu_reset_counter(pcie_pmu, idx);
565 
566 start_count:
567 	if (flags & PERF_EF_START)
568 		hisi_pcie_pmu_start(event, PERF_EF_RELOAD);
569 
570 	return 0;
571 }
572 
573 static void hisi_pcie_pmu_del(struct perf_event *event, int flags)
574 {
575 	struct hisi_pcie_pmu *pcie_pmu = to_pcie_pmu(event->pmu);
576 	struct hw_perf_event *hwc = &event->hw;
577 
578 	hisi_pcie_pmu_stop(event, PERF_EF_UPDATE);
579 	pcie_pmu->hw_events[hwc->idx] = NULL;
580 	perf_event_update_userpage(event);
581 }
582 
583 static void hisi_pcie_pmu_enable(struct pmu *pmu)
584 {
585 	struct hisi_pcie_pmu *pcie_pmu = to_pcie_pmu(pmu);
586 	int num;
587 
588 	for (num = 0; num < HISI_PCIE_MAX_COUNTERS; num++) {
589 		if (pcie_pmu->hw_events[num])
590 			break;
591 	}
592 
593 	if (num == HISI_PCIE_MAX_COUNTERS)
594 		return;
595 
596 	writel(HISI_PCIE_GLOBAL_EN, pcie_pmu->base + HISI_PCIE_GLOBAL_CTRL);
597 }
598 
599 static void hisi_pcie_pmu_disable(struct pmu *pmu)
600 {
601 	struct hisi_pcie_pmu *pcie_pmu = to_pcie_pmu(pmu);
602 
603 	writel(HISI_PCIE_GLOBAL_NONE, pcie_pmu->base + HISI_PCIE_GLOBAL_CTRL);
604 }
605 
606 static irqreturn_t hisi_pcie_pmu_irq(int irq, void *data)
607 {
608 	struct hisi_pcie_pmu *pcie_pmu = data;
609 	irqreturn_t ret = IRQ_NONE;
610 	struct perf_event *event;
611 	u32 overflown;
612 	int idx;
613 
614 	for (idx = 0; idx < HISI_PCIE_MAX_COUNTERS; idx++) {
615 		overflown = hisi_pcie_pmu_readl(pcie_pmu, HISI_PCIE_INT_STAT, idx);
616 		if (!overflown)
617 			continue;
618 
619 		/* Clear status of interrupt. */
620 		hisi_pcie_pmu_writel(pcie_pmu, HISI_PCIE_INT_STAT, idx, 1);
621 		event = pcie_pmu->hw_events[idx];
622 		if (!event)
623 			continue;
624 
625 		hisi_pcie_pmu_event_update(event);
626 		hisi_pcie_pmu_set_period(event);
627 		ret = IRQ_HANDLED;
628 	}
629 
630 	return ret;
631 }
632 
633 static int hisi_pcie_pmu_irq_register(struct pci_dev *pdev, struct hisi_pcie_pmu *pcie_pmu)
634 {
635 	int irq, ret;
636 
637 	ret = pci_alloc_irq_vectors(pdev, 1, 1, PCI_IRQ_MSI);
638 	if (ret < 0) {
639 		pci_err(pdev, "Failed to enable MSI vectors: %d\n", ret);
640 		return ret;
641 	}
642 
643 	irq = pci_irq_vector(pdev, 0);
644 	ret = request_irq(irq, hisi_pcie_pmu_irq, IRQF_NOBALANCING | IRQF_NO_THREAD, DRV_NAME,
645 			  pcie_pmu);
646 	if (ret) {
647 		pci_err(pdev, "Failed to register IRQ: %d\n", ret);
648 		pci_free_irq_vectors(pdev);
649 		return ret;
650 	}
651 
652 	pcie_pmu->irq = irq;
653 
654 	return 0;
655 }
656 
657 static void hisi_pcie_pmu_irq_unregister(struct pci_dev *pdev, struct hisi_pcie_pmu *pcie_pmu)
658 {
659 	free_irq(pcie_pmu->irq, pcie_pmu);
660 	pci_free_irq_vectors(pdev);
661 }
662 
663 static int hisi_pcie_pmu_online_cpu(unsigned int cpu, struct hlist_node *node)
664 {
665 	struct hisi_pcie_pmu *pcie_pmu = hlist_entry_safe(node, struct hisi_pcie_pmu, node);
666 
667 	if (pcie_pmu->on_cpu == -1) {
668 		pcie_pmu->on_cpu = cpu;
669 		WARN_ON(irq_set_affinity(pcie_pmu->irq, cpumask_of(cpu)));
670 	}
671 
672 	return 0;
673 }
674 
675 static int hisi_pcie_pmu_offline_cpu(unsigned int cpu, struct hlist_node *node)
676 {
677 	struct hisi_pcie_pmu *pcie_pmu = hlist_entry_safe(node, struct hisi_pcie_pmu, node);
678 	unsigned int target;
679 
680 	/* Nothing to do if this CPU doesn't own the PMU */
681 	if (pcie_pmu->on_cpu != cpu)
682 		return 0;
683 
684 	pcie_pmu->on_cpu = -1;
685 	/* Choose a new CPU from all online cpus. */
686 	target = cpumask_any_but(cpu_online_mask, cpu);
687 	if (target >= nr_cpu_ids) {
688 		pci_err(pcie_pmu->pdev, "There is no CPU to set\n");
689 		return 0;
690 	}
691 
692 	perf_pmu_migrate_context(&pcie_pmu->pmu, cpu, target);
693 	/* Use this CPU for event counting */
694 	pcie_pmu->on_cpu = target;
695 	WARN_ON(irq_set_affinity(pcie_pmu->irq, cpumask_of(target)));
696 
697 	return 0;
698 }
699 
700 static struct attribute *hisi_pcie_pmu_events_attr[] = {
701 	HISI_PCIE_PMU_EVENT_ATTR(rx_mwr_latency, 0x0010),
702 	HISI_PCIE_PMU_EVENT_ATTR(rx_mwr_cnt, 0x10010),
703 	HISI_PCIE_PMU_EVENT_ATTR(rx_mrd_latency, 0x0210),
704 	HISI_PCIE_PMU_EVENT_ATTR(rx_mrd_cnt, 0x10210),
705 	HISI_PCIE_PMU_EVENT_ATTR(tx_mrd_latency, 0x0011),
706 	HISI_PCIE_PMU_EVENT_ATTR(tx_mrd_cnt, 0x10011),
707 	HISI_PCIE_PMU_EVENT_ATTR(rx_mrd_flux, 0x0804),
708 	HISI_PCIE_PMU_EVENT_ATTR(rx_mrd_time, 0x10804),
709 	HISI_PCIE_PMU_EVENT_ATTR(tx_mrd_flux, 0x0405),
710 	HISI_PCIE_PMU_EVENT_ATTR(tx_mrd_time, 0x10405),
711 	NULL
712 };
713 
714 static struct attribute_group hisi_pcie_pmu_events_group = {
715 	.name = "events",
716 	.attrs = hisi_pcie_pmu_events_attr,
717 };
718 
719 static struct attribute *hisi_pcie_pmu_format_attr[] = {
720 	HISI_PCIE_PMU_FORMAT_ATTR(event, "config:0-16"),
721 	HISI_PCIE_PMU_FORMAT_ATTR(thr_len, "config1:0-3"),
722 	HISI_PCIE_PMU_FORMAT_ATTR(thr_mode, "config1:4"),
723 	HISI_PCIE_PMU_FORMAT_ATTR(trig_len, "config1:5-8"),
724 	HISI_PCIE_PMU_FORMAT_ATTR(trig_mode, "config1:9"),
725 	HISI_PCIE_PMU_FORMAT_ATTR(len_mode, "config1:10-11"),
726 	HISI_PCIE_PMU_FORMAT_ATTR(port, "config2:0-15"),
727 	HISI_PCIE_PMU_FORMAT_ATTR(bdf, "config2:16-31"),
728 	NULL
729 };
730 
731 static const struct attribute_group hisi_pcie_pmu_format_group = {
732 	.name = "format",
733 	.attrs = hisi_pcie_pmu_format_attr,
734 };
735 
736 static struct attribute *hisi_pcie_pmu_bus_attrs[] = {
737 	&dev_attr_bus.attr,
738 	NULL
739 };
740 
741 static const struct attribute_group hisi_pcie_pmu_bus_attr_group = {
742 	.attrs = hisi_pcie_pmu_bus_attrs,
743 };
744 
745 static struct attribute *hisi_pcie_pmu_cpumask_attrs[] = {
746 	&dev_attr_cpumask.attr,
747 	NULL
748 };
749 
750 static const struct attribute_group hisi_pcie_pmu_cpumask_attr_group = {
751 	.attrs = hisi_pcie_pmu_cpumask_attrs,
752 };
753 
754 static struct attribute *hisi_pcie_pmu_identifier_attrs[] = {
755 	&dev_attr_identifier.attr,
756 	NULL
757 };
758 
759 static const struct attribute_group hisi_pcie_pmu_identifier_attr_group = {
760 	.attrs = hisi_pcie_pmu_identifier_attrs,
761 };
762 
763 static const struct attribute_group *hisi_pcie_pmu_attr_groups[] = {
764 	&hisi_pcie_pmu_events_group,
765 	&hisi_pcie_pmu_format_group,
766 	&hisi_pcie_pmu_bus_attr_group,
767 	&hisi_pcie_pmu_cpumask_attr_group,
768 	&hisi_pcie_pmu_identifier_attr_group,
769 	NULL
770 };
771 
772 static int hisi_pcie_alloc_pmu(struct pci_dev *pdev, struct hisi_pcie_pmu *pcie_pmu)
773 {
774 	struct hisi_pcie_reg_pair regs;
775 	u16 sicl_id, core_id;
776 	char *name;
777 
778 	regs = hisi_pcie_parse_reg_value(pcie_pmu, HISI_PCIE_REG_BDF);
779 	pcie_pmu->bdf_min = regs.lo;
780 	pcie_pmu->bdf_max = regs.hi;
781 
782 	regs = hisi_pcie_parse_reg_value(pcie_pmu, HISI_PCIE_REG_INFO);
783 	sicl_id = regs.hi;
784 	core_id = regs.lo;
785 
786 	name = devm_kasprintf(&pdev->dev, GFP_KERNEL, "hisi_pcie%u_core%u", sicl_id, core_id);
787 	if (!name)
788 		return -ENOMEM;
789 
790 	pcie_pmu->pdev = pdev;
791 	pcie_pmu->on_cpu = -1;
792 	pcie_pmu->identifier = readl(pcie_pmu->base + HISI_PCIE_REG_VERSION);
793 	pcie_pmu->pmu = (struct pmu) {
794 		.name		= name,
795 		.module		= THIS_MODULE,
796 		.event_init	= hisi_pcie_pmu_event_init,
797 		.pmu_enable	= hisi_pcie_pmu_enable,
798 		.pmu_disable	= hisi_pcie_pmu_disable,
799 		.add		= hisi_pcie_pmu_add,
800 		.del		= hisi_pcie_pmu_del,
801 		.start		= hisi_pcie_pmu_start,
802 		.stop		= hisi_pcie_pmu_stop,
803 		.read		= hisi_pcie_pmu_read,
804 		.task_ctx_nr	= perf_invalid_context,
805 		.attr_groups	= hisi_pcie_pmu_attr_groups,
806 		.capabilities	= PERF_PMU_CAP_NO_EXCLUDE,
807 	};
808 
809 	return 0;
810 }
811 
812 static int hisi_pcie_init_pmu(struct pci_dev *pdev, struct hisi_pcie_pmu *pcie_pmu)
813 {
814 	int ret;
815 
816 	pcie_pmu->base = pci_ioremap_bar(pdev, 2);
817 	if (!pcie_pmu->base) {
818 		pci_err(pdev, "Ioremap failed for pcie_pmu resource\n");
819 		return -ENOMEM;
820 	}
821 
822 	ret = hisi_pcie_alloc_pmu(pdev, pcie_pmu);
823 	if (ret)
824 		goto err_iounmap;
825 
826 	ret = hisi_pcie_pmu_irq_register(pdev, pcie_pmu);
827 	if (ret)
828 		goto err_iounmap;
829 
830 	ret = cpuhp_state_add_instance(CPUHP_AP_PERF_ARM_HISI_PCIE_PMU_ONLINE, &pcie_pmu->node);
831 	if (ret) {
832 		pci_err(pdev, "Failed to register hotplug: %d\n", ret);
833 		goto err_irq_unregister;
834 	}
835 
836 	ret = perf_pmu_register(&pcie_pmu->pmu, pcie_pmu->pmu.name, -1);
837 	if (ret) {
838 		pci_err(pdev, "Failed to register PCIe PMU: %d\n", ret);
839 		goto err_hotplug_unregister;
840 	}
841 
842 	return ret;
843 
844 err_hotplug_unregister:
845 	cpuhp_state_remove_instance_nocalls(
846 		CPUHP_AP_PERF_ARM_HISI_PCIE_PMU_ONLINE, &pcie_pmu->node);
847 
848 err_irq_unregister:
849 	hisi_pcie_pmu_irq_unregister(pdev, pcie_pmu);
850 
851 err_iounmap:
852 	iounmap(pcie_pmu->base);
853 
854 	return ret;
855 }
856 
857 static void hisi_pcie_uninit_pmu(struct pci_dev *pdev)
858 {
859 	struct hisi_pcie_pmu *pcie_pmu = pci_get_drvdata(pdev);
860 
861 	perf_pmu_unregister(&pcie_pmu->pmu);
862 	cpuhp_state_remove_instance_nocalls(
863 		CPUHP_AP_PERF_ARM_HISI_PCIE_PMU_ONLINE, &pcie_pmu->node);
864 	hisi_pcie_pmu_irq_unregister(pdev, pcie_pmu);
865 	iounmap(pcie_pmu->base);
866 }
867 
868 static int hisi_pcie_init_dev(struct pci_dev *pdev)
869 {
870 	int ret;
871 
872 	ret = pcim_enable_device(pdev);
873 	if (ret) {
874 		pci_err(pdev, "Failed to enable PCI device: %d\n", ret);
875 		return ret;
876 	}
877 
878 	ret = pcim_iomap_regions(pdev, BIT(2), DRV_NAME);
879 	if (ret < 0) {
880 		pci_err(pdev, "Failed to request PCI mem regions: %d\n", ret);
881 		return ret;
882 	}
883 
884 	pci_set_master(pdev);
885 
886 	return 0;
887 }
888 
889 static int hisi_pcie_pmu_probe(struct pci_dev *pdev, const struct pci_device_id *id)
890 {
891 	struct hisi_pcie_pmu *pcie_pmu;
892 	int ret;
893 
894 	pcie_pmu = devm_kzalloc(&pdev->dev, sizeof(*pcie_pmu), GFP_KERNEL);
895 	if (!pcie_pmu)
896 		return -ENOMEM;
897 
898 	ret = hisi_pcie_init_dev(pdev);
899 	if (ret)
900 		return ret;
901 
902 	ret = hisi_pcie_init_pmu(pdev, pcie_pmu);
903 	if (ret)
904 		return ret;
905 
906 	pci_set_drvdata(pdev, pcie_pmu);
907 
908 	return ret;
909 }
910 
911 static void hisi_pcie_pmu_remove(struct pci_dev *pdev)
912 {
913 	hisi_pcie_uninit_pmu(pdev);
914 	pci_set_drvdata(pdev, NULL);
915 }
916 
917 static const struct pci_device_id hisi_pcie_pmu_ids[] = {
918 	{ PCI_DEVICE(PCI_VENDOR_ID_HUAWEI, 0xa12d) },
919 	{ 0, }
920 };
921 MODULE_DEVICE_TABLE(pci, hisi_pcie_pmu_ids);
922 
923 static struct pci_driver hisi_pcie_pmu_driver = {
924 	.name = DRV_NAME,
925 	.id_table = hisi_pcie_pmu_ids,
926 	.probe = hisi_pcie_pmu_probe,
927 	.remove = hisi_pcie_pmu_remove,
928 };
929 
930 static int __init hisi_pcie_module_init(void)
931 {
932 	int ret;
933 
934 	ret = cpuhp_setup_state_multi(CPUHP_AP_PERF_ARM_HISI_PCIE_PMU_ONLINE,
935 				      "AP_PERF_ARM_HISI_PCIE_PMU_ONLINE",
936 				      hisi_pcie_pmu_online_cpu,
937 				      hisi_pcie_pmu_offline_cpu);
938 	if (ret) {
939 		pr_err("Failed to setup PCIe PMU hotplug: %d\n", ret);
940 		return ret;
941 	}
942 
943 	ret = pci_register_driver(&hisi_pcie_pmu_driver);
944 	if (ret)
945 		cpuhp_remove_multi_state(CPUHP_AP_PERF_ARM_HISI_PCIE_PMU_ONLINE);
946 
947 	return ret;
948 }
949 module_init(hisi_pcie_module_init);
950 
951 static void __exit hisi_pcie_module_exit(void)
952 {
953 	pci_unregister_driver(&hisi_pcie_pmu_driver);
954 	cpuhp_remove_multi_state(CPUHP_AP_PERF_ARM_HISI_PCIE_PMU_ONLINE);
955 }
956 module_exit(hisi_pcie_module_exit);
957 
958 MODULE_DESCRIPTION("HiSilicon PCIe PMU driver");
959 MODULE_LICENSE("GPL v2");
960 MODULE_AUTHOR("Qi Liu <liuqi115@huawei.com>");
961