1 // SPDX-License-Identifier: GPL-2.0
2 /* Copyright(c) 2017 - 2019 Pensando Systems, Inc */
3 
4 #include <linux/ethtool.h>
5 #include <linux/kernel.h>
6 #include <linux/mutex.h>
7 #include <linux/netdevice.h>
8 
9 #include "ionic.h"
10 #include "ionic_lif.h"
11 #include "ionic_stats.h"
12 
13 static const struct ionic_stat_desc ionic_lif_stats_desc[] = {
14 	IONIC_LIF_STAT_DESC(tx_packets),
15 	IONIC_LIF_STAT_DESC(tx_bytes),
16 	IONIC_LIF_STAT_DESC(rx_packets),
17 	IONIC_LIF_STAT_DESC(rx_bytes),
18 	IONIC_LIF_STAT_DESC(tx_tso),
19 	IONIC_LIF_STAT_DESC(tx_tso_bytes),
20 	IONIC_LIF_STAT_DESC(tx_csum_none),
21 	IONIC_LIF_STAT_DESC(tx_csum),
22 	IONIC_LIF_STAT_DESC(rx_csum_none),
23 	IONIC_LIF_STAT_DESC(rx_csum_complete),
24 	IONIC_LIF_STAT_DESC(rx_csum_error),
25 	IONIC_LIF_STAT_DESC(hw_tx_dropped),
26 	IONIC_LIF_STAT_DESC(hw_rx_dropped),
27 	IONIC_LIF_STAT_DESC(hw_rx_over_errors),
28 	IONIC_LIF_STAT_DESC(hw_rx_missed_errors),
29 	IONIC_LIF_STAT_DESC(hw_tx_aborted_errors),
30 };
31 
32 static const struct ionic_stat_desc ionic_port_stats_desc[] = {
33 	IONIC_PORT_STAT_DESC(frames_rx_ok),
34 	IONIC_PORT_STAT_DESC(frames_rx_all),
35 	IONIC_PORT_STAT_DESC(frames_rx_bad_fcs),
36 	IONIC_PORT_STAT_DESC(frames_rx_bad_all),
37 	IONIC_PORT_STAT_DESC(octets_rx_ok),
38 	IONIC_PORT_STAT_DESC(octets_rx_all),
39 	IONIC_PORT_STAT_DESC(frames_rx_unicast),
40 	IONIC_PORT_STAT_DESC(frames_rx_multicast),
41 	IONIC_PORT_STAT_DESC(frames_rx_broadcast),
42 	IONIC_PORT_STAT_DESC(frames_rx_pause),
43 	IONIC_PORT_STAT_DESC(frames_rx_bad_length),
44 	IONIC_PORT_STAT_DESC(frames_rx_undersized),
45 	IONIC_PORT_STAT_DESC(frames_rx_oversized),
46 	IONIC_PORT_STAT_DESC(frames_rx_fragments),
47 	IONIC_PORT_STAT_DESC(frames_rx_jabber),
48 	IONIC_PORT_STAT_DESC(frames_rx_pripause),
49 	IONIC_PORT_STAT_DESC(frames_rx_stomped_crc),
50 	IONIC_PORT_STAT_DESC(frames_rx_too_long),
51 	IONIC_PORT_STAT_DESC(frames_rx_vlan_good),
52 	IONIC_PORT_STAT_DESC(frames_rx_dropped),
53 	IONIC_PORT_STAT_DESC(frames_rx_less_than_64b),
54 	IONIC_PORT_STAT_DESC(frames_rx_64b),
55 	IONIC_PORT_STAT_DESC(frames_rx_65b_127b),
56 	IONIC_PORT_STAT_DESC(frames_rx_128b_255b),
57 	IONIC_PORT_STAT_DESC(frames_rx_256b_511b),
58 	IONIC_PORT_STAT_DESC(frames_rx_512b_1023b),
59 	IONIC_PORT_STAT_DESC(frames_rx_1024b_1518b),
60 	IONIC_PORT_STAT_DESC(frames_rx_1519b_2047b),
61 	IONIC_PORT_STAT_DESC(frames_rx_2048b_4095b),
62 	IONIC_PORT_STAT_DESC(frames_rx_4096b_8191b),
63 	IONIC_PORT_STAT_DESC(frames_rx_8192b_9215b),
64 	IONIC_PORT_STAT_DESC(frames_rx_other),
65 	IONIC_PORT_STAT_DESC(frames_tx_ok),
66 	IONIC_PORT_STAT_DESC(frames_tx_all),
67 	IONIC_PORT_STAT_DESC(frames_tx_bad),
68 	IONIC_PORT_STAT_DESC(octets_tx_ok),
69 	IONIC_PORT_STAT_DESC(octets_tx_total),
70 	IONIC_PORT_STAT_DESC(frames_tx_unicast),
71 	IONIC_PORT_STAT_DESC(frames_tx_multicast),
72 	IONIC_PORT_STAT_DESC(frames_tx_broadcast),
73 	IONIC_PORT_STAT_DESC(frames_tx_pause),
74 	IONIC_PORT_STAT_DESC(frames_tx_pripause),
75 	IONIC_PORT_STAT_DESC(frames_tx_vlan),
76 	IONIC_PORT_STAT_DESC(frames_tx_less_than_64b),
77 	IONIC_PORT_STAT_DESC(frames_tx_64b),
78 	IONIC_PORT_STAT_DESC(frames_tx_65b_127b),
79 	IONIC_PORT_STAT_DESC(frames_tx_128b_255b),
80 	IONIC_PORT_STAT_DESC(frames_tx_256b_511b),
81 	IONIC_PORT_STAT_DESC(frames_tx_512b_1023b),
82 	IONIC_PORT_STAT_DESC(frames_tx_1024b_1518b),
83 	IONIC_PORT_STAT_DESC(frames_tx_1519b_2047b),
84 	IONIC_PORT_STAT_DESC(frames_tx_2048b_4095b),
85 	IONIC_PORT_STAT_DESC(frames_tx_4096b_8191b),
86 	IONIC_PORT_STAT_DESC(frames_tx_8192b_9215b),
87 	IONIC_PORT_STAT_DESC(frames_tx_other),
88 	IONIC_PORT_STAT_DESC(frames_tx_pri_0),
89 	IONIC_PORT_STAT_DESC(frames_tx_pri_1),
90 	IONIC_PORT_STAT_DESC(frames_tx_pri_2),
91 	IONIC_PORT_STAT_DESC(frames_tx_pri_3),
92 	IONIC_PORT_STAT_DESC(frames_tx_pri_4),
93 	IONIC_PORT_STAT_DESC(frames_tx_pri_5),
94 	IONIC_PORT_STAT_DESC(frames_tx_pri_6),
95 	IONIC_PORT_STAT_DESC(frames_tx_pri_7),
96 	IONIC_PORT_STAT_DESC(frames_rx_pri_0),
97 	IONIC_PORT_STAT_DESC(frames_rx_pri_1),
98 	IONIC_PORT_STAT_DESC(frames_rx_pri_2),
99 	IONIC_PORT_STAT_DESC(frames_rx_pri_3),
100 	IONIC_PORT_STAT_DESC(frames_rx_pri_4),
101 	IONIC_PORT_STAT_DESC(frames_rx_pri_5),
102 	IONIC_PORT_STAT_DESC(frames_rx_pri_6),
103 	IONIC_PORT_STAT_DESC(frames_rx_pri_7),
104 	IONIC_PORT_STAT_DESC(tx_pripause_0_1us_count),
105 	IONIC_PORT_STAT_DESC(tx_pripause_1_1us_count),
106 	IONIC_PORT_STAT_DESC(tx_pripause_2_1us_count),
107 	IONIC_PORT_STAT_DESC(tx_pripause_3_1us_count),
108 	IONIC_PORT_STAT_DESC(tx_pripause_4_1us_count),
109 	IONIC_PORT_STAT_DESC(tx_pripause_5_1us_count),
110 	IONIC_PORT_STAT_DESC(tx_pripause_6_1us_count),
111 	IONIC_PORT_STAT_DESC(tx_pripause_7_1us_count),
112 	IONIC_PORT_STAT_DESC(rx_pripause_0_1us_count),
113 	IONIC_PORT_STAT_DESC(rx_pripause_1_1us_count),
114 	IONIC_PORT_STAT_DESC(rx_pripause_2_1us_count),
115 	IONIC_PORT_STAT_DESC(rx_pripause_3_1us_count),
116 	IONIC_PORT_STAT_DESC(rx_pripause_4_1us_count),
117 	IONIC_PORT_STAT_DESC(rx_pripause_5_1us_count),
118 	IONIC_PORT_STAT_DESC(rx_pripause_6_1us_count),
119 	IONIC_PORT_STAT_DESC(rx_pripause_7_1us_count),
120 	IONIC_PORT_STAT_DESC(rx_pause_1us_count),
121 	IONIC_PORT_STAT_DESC(frames_tx_truncated),
122 };
123 
124 static const struct ionic_stat_desc ionic_tx_stats_desc[] = {
125 	IONIC_TX_STAT_DESC(pkts),
126 	IONIC_TX_STAT_DESC(bytes),
127 	IONIC_TX_STAT_DESC(clean),
128 	IONIC_TX_STAT_DESC(dma_map_err),
129 	IONIC_TX_STAT_DESC(linearize),
130 	IONIC_TX_STAT_DESC(frags),
131 	IONIC_TX_STAT_DESC(tso),
132 	IONIC_TX_STAT_DESC(tso_bytes),
133 	IONIC_TX_STAT_DESC(csum_none),
134 	IONIC_TX_STAT_DESC(csum),
135 	IONIC_TX_STAT_DESC(vlan_inserted),
136 };
137 
138 static const struct ionic_stat_desc ionic_rx_stats_desc[] = {
139 	IONIC_RX_STAT_DESC(pkts),
140 	IONIC_RX_STAT_DESC(bytes),
141 	IONIC_RX_STAT_DESC(dma_map_err),
142 	IONIC_RX_STAT_DESC(alloc_err),
143 	IONIC_RX_STAT_DESC(csum_none),
144 	IONIC_RX_STAT_DESC(csum_complete),
145 	IONIC_RX_STAT_DESC(csum_error),
146 	IONIC_RX_STAT_DESC(dropped),
147 	IONIC_RX_STAT_DESC(vlan_stripped),
148 };
149 
150 static const struct ionic_stat_desc ionic_txq_stats_desc[] = {
151 	IONIC_TX_Q_STAT_DESC(stop),
152 	IONIC_TX_Q_STAT_DESC(wake),
153 	IONIC_TX_Q_STAT_DESC(drop),
154 	IONIC_TX_Q_STAT_DESC(dbell_count),
155 };
156 
157 static const struct ionic_stat_desc ionic_dbg_cq_stats_desc[] = {
158 	IONIC_CQ_STAT_DESC(compl_count),
159 };
160 
161 static const struct ionic_stat_desc ionic_dbg_intr_stats_desc[] = {
162 	IONIC_INTR_STAT_DESC(rearm_count),
163 };
164 
165 static const struct ionic_stat_desc ionic_dbg_napi_stats_desc[] = {
166 	IONIC_NAPI_STAT_DESC(poll_count),
167 };
168 
169 #define IONIC_NUM_LIF_STATS ARRAY_SIZE(ionic_lif_stats_desc)
170 #define IONIC_NUM_PORT_STATS ARRAY_SIZE(ionic_port_stats_desc)
171 #define IONIC_NUM_TX_STATS ARRAY_SIZE(ionic_tx_stats_desc)
172 #define IONIC_NUM_RX_STATS ARRAY_SIZE(ionic_rx_stats_desc)
173 #define IONIC_NUM_TX_Q_STATS ARRAY_SIZE(ionic_txq_stats_desc)
174 #define IONIC_NUM_DBG_CQ_STATS ARRAY_SIZE(ionic_dbg_cq_stats_desc)
175 #define IONIC_NUM_DBG_INTR_STATS ARRAY_SIZE(ionic_dbg_intr_stats_desc)
176 #define IONIC_NUM_DBG_NAPI_STATS ARRAY_SIZE(ionic_dbg_napi_stats_desc)
177 
178 #define MAX_Q(lif)   ((lif)->netdev->real_num_tx_queues)
179 
180 static void ionic_get_lif_stats(struct ionic_lif *lif,
181 				struct ionic_lif_sw_stats *stats)
182 {
183 	struct ionic_tx_stats *txstats;
184 	struct ionic_rx_stats *rxstats;
185 	struct rtnl_link_stats64 ns;
186 	int q_num;
187 
188 	memset(stats, 0, sizeof(*stats));
189 
190 	for (q_num = 0; q_num < MAX_Q(lif); q_num++) {
191 		txstats = &lif->txqstats[q_num];
192 		stats->tx_packets += txstats->pkts;
193 		stats->tx_bytes += txstats->bytes;
194 		stats->tx_tso += txstats->tso;
195 		stats->tx_tso_bytes += txstats->tso_bytes;
196 		stats->tx_csum_none += txstats->csum_none;
197 		stats->tx_csum += txstats->csum;
198 
199 		rxstats = &lif->rxqstats[q_num];
200 		stats->rx_packets += rxstats->pkts;
201 		stats->rx_bytes += rxstats->bytes;
202 		stats->rx_csum_none += rxstats->csum_none;
203 		stats->rx_csum_complete += rxstats->csum_complete;
204 		stats->rx_csum_error += rxstats->csum_error;
205 	}
206 
207 	ionic_get_stats64(lif->netdev, &ns);
208 	stats->hw_tx_dropped = ns.tx_dropped;
209 	stats->hw_rx_dropped = ns.rx_dropped;
210 	stats->hw_rx_over_errors = ns.rx_over_errors;
211 	stats->hw_rx_missed_errors = ns.rx_missed_errors;
212 	stats->hw_tx_aborted_errors = ns.tx_aborted_errors;
213 }
214 
215 static u64 ionic_sw_stats_get_count(struct ionic_lif *lif)
216 {
217 	u64 total = 0;
218 
219 	/* lif stats */
220 	total += IONIC_NUM_LIF_STATS;
221 
222 	/* tx stats */
223 	total += MAX_Q(lif) * IONIC_NUM_TX_STATS;
224 
225 	/* rx stats */
226 	total += MAX_Q(lif) * IONIC_NUM_RX_STATS;
227 
228 	/* port stats */
229 	total += IONIC_NUM_PORT_STATS;
230 
231 	if (test_bit(IONIC_LIF_F_UP, lif->state) &&
232 	    test_bit(IONIC_LIF_F_SW_DEBUG_STATS, lif->state)) {
233 		/* tx debug stats */
234 		total += MAX_Q(lif) * (IONIC_NUM_DBG_CQ_STATS +
235 				      IONIC_NUM_TX_Q_STATS +
236 				      IONIC_NUM_DBG_INTR_STATS +
237 				      IONIC_MAX_NUM_SG_CNTR);
238 
239 		/* rx debug stats */
240 		total += MAX_Q(lif) * (IONIC_NUM_DBG_CQ_STATS +
241 				      IONIC_NUM_DBG_INTR_STATS +
242 				      IONIC_NUM_DBG_NAPI_STATS +
243 				      IONIC_MAX_NUM_NAPI_CNTR);
244 	}
245 
246 	return total;
247 }
248 
249 static void ionic_sw_stats_get_strings(struct ionic_lif *lif, u8 **buf)
250 {
251 	int i, q_num;
252 
253 	for (i = 0; i < IONIC_NUM_LIF_STATS; i++) {
254 		snprintf(*buf, ETH_GSTRING_LEN, ionic_lif_stats_desc[i].name);
255 		*buf += ETH_GSTRING_LEN;
256 	}
257 
258 	for (i = 0; i < IONIC_NUM_PORT_STATS; i++) {
259 		snprintf(*buf, ETH_GSTRING_LEN,
260 			 ionic_port_stats_desc[i].name);
261 		*buf += ETH_GSTRING_LEN;
262 	}
263 
264 	for (q_num = 0; q_num < MAX_Q(lif); q_num++) {
265 		for (i = 0; i < IONIC_NUM_TX_STATS; i++) {
266 			snprintf(*buf, ETH_GSTRING_LEN, "tx_%d_%s",
267 				 q_num, ionic_tx_stats_desc[i].name);
268 			*buf += ETH_GSTRING_LEN;
269 		}
270 
271 		if (test_bit(IONIC_LIF_F_UP, lif->state) &&
272 		    test_bit(IONIC_LIF_F_SW_DEBUG_STATS, lif->state)) {
273 			for (i = 0; i < IONIC_NUM_TX_Q_STATS; i++) {
274 				snprintf(*buf, ETH_GSTRING_LEN,
275 					 "txq_%d_%s",
276 					 q_num,
277 					 ionic_txq_stats_desc[i].name);
278 				*buf += ETH_GSTRING_LEN;
279 			}
280 			for (i = 0; i < IONIC_NUM_DBG_CQ_STATS; i++) {
281 				snprintf(*buf, ETH_GSTRING_LEN,
282 					 "txq_%d_cq_%s",
283 					 q_num,
284 					 ionic_dbg_cq_stats_desc[i].name);
285 				*buf += ETH_GSTRING_LEN;
286 			}
287 			for (i = 0; i < IONIC_NUM_DBG_INTR_STATS; i++) {
288 				snprintf(*buf, ETH_GSTRING_LEN,
289 					 "txq_%d_intr_%s",
290 					 q_num,
291 					 ionic_dbg_intr_stats_desc[i].name);
292 				*buf += ETH_GSTRING_LEN;
293 			}
294 			for (i = 0; i < IONIC_MAX_NUM_SG_CNTR; i++) {
295 				snprintf(*buf, ETH_GSTRING_LEN,
296 					 "txq_%d_sg_cntr_%d",
297 					 q_num, i);
298 				*buf += ETH_GSTRING_LEN;
299 			}
300 		}
301 	}
302 	for (q_num = 0; q_num < MAX_Q(lif); q_num++) {
303 		for (i = 0; i < IONIC_NUM_RX_STATS; i++) {
304 			snprintf(*buf, ETH_GSTRING_LEN,
305 				 "rx_%d_%s",
306 				 q_num, ionic_rx_stats_desc[i].name);
307 			*buf += ETH_GSTRING_LEN;
308 		}
309 
310 		if (test_bit(IONIC_LIF_F_UP, lif->state) &&
311 		    test_bit(IONIC_LIF_F_SW_DEBUG_STATS, lif->state)) {
312 			for (i = 0; i < IONIC_NUM_DBG_CQ_STATS; i++) {
313 				snprintf(*buf, ETH_GSTRING_LEN,
314 					 "rxq_%d_cq_%s",
315 					 q_num,
316 					 ionic_dbg_cq_stats_desc[i].name);
317 				*buf += ETH_GSTRING_LEN;
318 			}
319 			for (i = 0; i < IONIC_NUM_DBG_INTR_STATS; i++) {
320 				snprintf(*buf, ETH_GSTRING_LEN,
321 					 "rxq_%d_intr_%s",
322 					 q_num,
323 					 ionic_dbg_intr_stats_desc[i].name);
324 				*buf += ETH_GSTRING_LEN;
325 			}
326 			for (i = 0; i < IONIC_NUM_DBG_NAPI_STATS; i++) {
327 				snprintf(*buf, ETH_GSTRING_LEN,
328 					 "rxq_%d_napi_%s",
329 					 q_num,
330 					 ionic_dbg_napi_stats_desc[i].name);
331 				*buf += ETH_GSTRING_LEN;
332 			}
333 			for (i = 0; i < IONIC_MAX_NUM_NAPI_CNTR; i++) {
334 				snprintf(*buf, ETH_GSTRING_LEN,
335 					 "rxq_%d_napi_work_done_%d",
336 					 q_num, i);
337 				*buf += ETH_GSTRING_LEN;
338 			}
339 		}
340 	}
341 }
342 
343 static void ionic_sw_stats_get_values(struct ionic_lif *lif, u64 **buf)
344 {
345 	struct ionic_port_stats *port_stats;
346 	struct ionic_lif_sw_stats lif_stats;
347 	struct ionic_qcq *txqcq, *rxqcq;
348 	struct ionic_tx_stats *txstats;
349 	struct ionic_rx_stats *rxstats;
350 	int i, q_num;
351 
352 	ionic_get_lif_stats(lif, &lif_stats);
353 
354 	for (i = 0; i < IONIC_NUM_LIF_STATS; i++) {
355 		**buf = IONIC_READ_STAT64(&lif_stats, &ionic_lif_stats_desc[i]);
356 		(*buf)++;
357 	}
358 
359 	port_stats = &lif->ionic->idev.port_info->stats;
360 	for (i = 0; i < IONIC_NUM_PORT_STATS; i++) {
361 		**buf = IONIC_READ_STAT_LE64(port_stats,
362 					     &ionic_port_stats_desc[i]);
363 		(*buf)++;
364 	}
365 
366 	for (q_num = 0; q_num < MAX_Q(lif); q_num++) {
367 		txstats = &lif->txqstats[q_num];
368 
369 		for (i = 0; i < IONIC_NUM_TX_STATS; i++) {
370 			**buf = IONIC_READ_STAT64(txstats,
371 						  &ionic_tx_stats_desc[i]);
372 			(*buf)++;
373 		}
374 
375 		if (test_bit(IONIC_LIF_F_UP, lif->state) &&
376 		    test_bit(IONIC_LIF_F_SW_DEBUG_STATS, lif->state)) {
377 			txqcq = lif->txqcqs[q_num];
378 			for (i = 0; i < IONIC_NUM_TX_Q_STATS; i++) {
379 				**buf = IONIC_READ_STAT64(&txqcq->q,
380 						      &ionic_txq_stats_desc[i]);
381 				(*buf)++;
382 			}
383 			for (i = 0; i < IONIC_NUM_DBG_CQ_STATS; i++) {
384 				**buf = IONIC_READ_STAT64(&txqcq->cq,
385 						   &ionic_dbg_cq_stats_desc[i]);
386 				(*buf)++;
387 			}
388 			for (i = 0; i < IONIC_NUM_DBG_INTR_STATS; i++) {
389 				**buf = IONIC_READ_STAT64(&txqcq->intr,
390 						 &ionic_dbg_intr_stats_desc[i]);
391 				(*buf)++;
392 			}
393 			for (i = 0; i < IONIC_MAX_NUM_SG_CNTR; i++) {
394 				**buf = txstats->sg_cntr[i];
395 				(*buf)++;
396 			}
397 		}
398 	}
399 
400 	for (q_num = 0; q_num < MAX_Q(lif); q_num++) {
401 		rxstats = &lif->rxqstats[q_num];
402 
403 		for (i = 0; i < IONIC_NUM_RX_STATS; i++) {
404 			**buf = IONIC_READ_STAT64(rxstats,
405 						  &ionic_rx_stats_desc[i]);
406 			(*buf)++;
407 		}
408 
409 		if (test_bit(IONIC_LIF_F_UP, lif->state) &&
410 		    test_bit(IONIC_LIF_F_SW_DEBUG_STATS, lif->state)) {
411 			rxqcq = lif->rxqcqs[q_num];
412 			for (i = 0; i < IONIC_NUM_DBG_CQ_STATS; i++) {
413 				**buf = IONIC_READ_STAT64(&rxqcq->cq,
414 						   &ionic_dbg_cq_stats_desc[i]);
415 				(*buf)++;
416 			}
417 			for (i = 0; i < IONIC_NUM_DBG_INTR_STATS; i++) {
418 				**buf = IONIC_READ_STAT64(&rxqcq->intr,
419 						 &ionic_dbg_intr_stats_desc[i]);
420 				(*buf)++;
421 			}
422 			for (i = 0; i < IONIC_NUM_DBG_NAPI_STATS; i++) {
423 				**buf = IONIC_READ_STAT64(&rxqcq->napi_stats,
424 						 &ionic_dbg_napi_stats_desc[i]);
425 				(*buf)++;
426 			}
427 			for (i = 0; i < IONIC_MAX_NUM_NAPI_CNTR; i++) {
428 				**buf = rxqcq->napi_stats.work_done_cntr[i];
429 				(*buf)++;
430 			}
431 		}
432 	}
433 }
434 
435 const struct ionic_stats_group_intf ionic_stats_groups[] = {
436 	/* SW Stats group */
437 	{
438 		.get_strings = ionic_sw_stats_get_strings,
439 		.get_values = ionic_sw_stats_get_values,
440 		.get_count = ionic_sw_stats_get_count,
441 	},
442 	/* Add more stat groups here */
443 };
444 
445 const int ionic_num_stats_grps = ARRAY_SIZE(ionic_stats_groups);
446