1 // SPDX-License-Identifier: BSD-3-Clause OR GPL-2.0
2 /* Copyright (c) 2019-2020 Marvell International Ltd. All rights reserved */
3 
4 #include <linux/bitfield.h>
5 #include <linux/circ_buf.h>
6 #include <linux/device.h>
7 #include <linux/firmware.h>
8 #include <linux/iopoll.h>
9 #include <linux/kernel.h>
10 #include <linux/module.h>
11 #include <linux/pci.h>
12 
13 #include "prestera.h"
14 
15 #define PRESTERA_MSG_MAX_SIZE 1500
16 
17 #define PRESTERA_SUPP_FW_MAJ_VER	4
18 #define PRESTERA_SUPP_FW_MIN_VER	0
19 
20 #define PRESTERA_PREV_FW_MAJ_VER	4
21 #define PRESTERA_PREV_FW_MIN_VER	0
22 
23 #define PRESTERA_FW_PATH_FMT	"mrvl/prestera/mvsw_prestera_fw-v%u.%u.img"
24 
25 #define PRESTERA_FW_HDR_MAGIC		0x351D9D06
26 #define PRESTERA_FW_DL_TIMEOUT_MS	50000
27 #define PRESTERA_FW_BLK_SZ		1024
28 
29 #define PRESTERA_FW_VER_MAJ_MUL 1000000
30 #define PRESTERA_FW_VER_MIN_MUL 1000
31 
32 #define PRESTERA_FW_VER_MAJ(v)	((v) / PRESTERA_FW_VER_MAJ_MUL)
33 
34 #define PRESTERA_FW_VER_MIN(v) \
35 	(((v) - (PRESTERA_FW_VER_MAJ(v) * PRESTERA_FW_VER_MAJ_MUL)) / \
36 			PRESTERA_FW_VER_MIN_MUL)
37 
38 #define PRESTERA_FW_VER_PATCH(v) \
39 	((v) - (PRESTERA_FW_VER_MAJ(v) * PRESTERA_FW_VER_MAJ_MUL) - \
40 			(PRESTERA_FW_VER_MIN(v) * PRESTERA_FW_VER_MIN_MUL))
41 
42 enum prestera_pci_bar_t {
43 	PRESTERA_PCI_BAR_FW = 2,
44 	PRESTERA_PCI_BAR_PP = 4,
45 };
46 
47 struct prestera_fw_header {
48 	__be32 magic_number;
49 	__be32 version_value;
50 	u8 reserved[8];
51 };
52 
53 struct prestera_ldr_regs {
54 	u32 ldr_ready;
55 	u32 pad1;
56 
57 	u32 ldr_img_size;
58 	u32 ldr_ctl_flags;
59 
60 	u32 ldr_buf_offs;
61 	u32 ldr_buf_size;
62 
63 	u32 ldr_buf_rd;
64 	u32 pad2;
65 	u32 ldr_buf_wr;
66 
67 	u32 ldr_status;
68 };
69 
70 #define PRESTERA_LDR_REG_OFFSET(f)	offsetof(struct prestera_ldr_regs, f)
71 
72 #define PRESTERA_LDR_READY_MAGIC	0xf00dfeed
73 
74 #define PRESTERA_LDR_STATUS_IMG_DL	BIT(0)
75 #define PRESTERA_LDR_STATUS_START_FW	BIT(1)
76 #define PRESTERA_LDR_STATUS_INVALID_IMG	BIT(2)
77 #define PRESTERA_LDR_STATUS_NOMEM	BIT(3)
78 
79 #define PRESTERA_LDR_REG_BASE(fw)	((fw)->ldr_regs)
80 #define PRESTERA_LDR_REG_ADDR(fw, reg)	(PRESTERA_LDR_REG_BASE(fw) + (reg))
81 
82 /* fw loader registers */
83 #define PRESTERA_LDR_READY_REG		PRESTERA_LDR_REG_OFFSET(ldr_ready)
84 #define PRESTERA_LDR_IMG_SIZE_REG	PRESTERA_LDR_REG_OFFSET(ldr_img_size)
85 #define PRESTERA_LDR_CTL_REG		PRESTERA_LDR_REG_OFFSET(ldr_ctl_flags)
86 #define PRESTERA_LDR_BUF_SIZE_REG	PRESTERA_LDR_REG_OFFSET(ldr_buf_size)
87 #define PRESTERA_LDR_BUF_OFFS_REG	PRESTERA_LDR_REG_OFFSET(ldr_buf_offs)
88 #define PRESTERA_LDR_BUF_RD_REG		PRESTERA_LDR_REG_OFFSET(ldr_buf_rd)
89 #define PRESTERA_LDR_BUF_WR_REG		PRESTERA_LDR_REG_OFFSET(ldr_buf_wr)
90 #define PRESTERA_LDR_STATUS_REG		PRESTERA_LDR_REG_OFFSET(ldr_status)
91 
92 #define PRESTERA_LDR_CTL_DL_START	BIT(0)
93 
94 #define PRESTERA_EVT_QNUM_MAX	4
95 
96 struct prestera_fw_evtq_regs {
97 	u32 rd_idx;
98 	u32 pad1;
99 	u32 wr_idx;
100 	u32 pad2;
101 	u32 offs;
102 	u32 len;
103 };
104 
105 #define PRESTERA_CMD_QNUM_MAX	4
106 
107 struct prestera_fw_cmdq_regs {
108 	u32 req_ctl;
109 	u32 req_len;
110 	u32 rcv_ctl;
111 	u32 rcv_len;
112 	u32 offs;
113 	u32 len;
114 };
115 
116 struct prestera_fw_regs {
117 	u32 fw_ready;
118 	u32 cmd_offs;
119 	u32 cmd_len;
120 	u32 cmd_qnum;
121 	u32 evt_offs;
122 	u32 evt_qnum;
123 
124 	u32 fw_status;
125 	u32 rx_status;
126 
127 	struct prestera_fw_cmdq_regs cmdq_list[PRESTERA_EVT_QNUM_MAX];
128 	struct prestera_fw_evtq_regs evtq_list[PRESTERA_CMD_QNUM_MAX];
129 };
130 
131 #define PRESTERA_FW_REG_OFFSET(f)	offsetof(struct prestera_fw_regs, f)
132 
133 #define PRESTERA_FW_READY_MAGIC		0xcafebabe
134 
135 /* fw registers */
136 #define PRESTERA_FW_READY_REG		PRESTERA_FW_REG_OFFSET(fw_ready)
137 
138 #define PRESTERA_CMD_BUF_OFFS_REG	PRESTERA_FW_REG_OFFSET(cmd_offs)
139 #define PRESTERA_CMD_BUF_LEN_REG	PRESTERA_FW_REG_OFFSET(cmd_len)
140 #define PRESTERA_CMD_QNUM_REG		PRESTERA_FW_REG_OFFSET(cmd_qnum)
141 #define PRESTERA_EVT_BUF_OFFS_REG	PRESTERA_FW_REG_OFFSET(evt_offs)
142 #define PRESTERA_EVT_QNUM_REG		PRESTERA_FW_REG_OFFSET(evt_qnum)
143 
144 #define PRESTERA_CMDQ_REG_OFFSET(q, f)			\
145 	(PRESTERA_FW_REG_OFFSET(cmdq_list) +		\
146 	 (q) * sizeof(struct prestera_fw_cmdq_regs) +	\
147 	 offsetof(struct prestera_fw_cmdq_regs, f))
148 
149 #define PRESTERA_CMDQ_REQ_CTL_REG(q)	PRESTERA_CMDQ_REG_OFFSET(q, req_ctl)
150 #define PRESTERA_CMDQ_REQ_LEN_REG(q)	PRESTERA_CMDQ_REG_OFFSET(q, req_len)
151 #define PRESTERA_CMDQ_RCV_CTL_REG(q)	PRESTERA_CMDQ_REG_OFFSET(q, rcv_ctl)
152 #define PRESTERA_CMDQ_RCV_LEN_REG(q)	PRESTERA_CMDQ_REG_OFFSET(q, rcv_len)
153 #define PRESTERA_CMDQ_OFFS_REG(q)	PRESTERA_CMDQ_REG_OFFSET(q, offs)
154 #define PRESTERA_CMDQ_LEN_REG(q)	PRESTERA_CMDQ_REG_OFFSET(q, len)
155 
156 #define PRESTERA_FW_STATUS_REG		PRESTERA_FW_REG_OFFSET(fw_status)
157 #define PRESTERA_RX_STATUS_REG		PRESTERA_FW_REG_OFFSET(rx_status)
158 
159 /* PRESTERA_CMD_REQ_CTL_REG flags */
160 #define PRESTERA_CMD_F_REQ_SENT		BIT(0)
161 #define PRESTERA_CMD_F_REPL_RCVD	BIT(1)
162 
163 /* PRESTERA_CMD_RCV_CTL_REG flags */
164 #define PRESTERA_CMD_F_REPL_SENT	BIT(0)
165 
166 #define PRESTERA_FW_EVT_CTL_STATUS_MASK	GENMASK(1, 0)
167 
168 #define PRESTERA_FW_EVT_CTL_STATUS_ON	0
169 #define PRESTERA_FW_EVT_CTL_STATUS_OFF	1
170 
171 #define PRESTERA_EVTQ_REG_OFFSET(q, f)			\
172 	(PRESTERA_FW_REG_OFFSET(evtq_list) +		\
173 	 (q) * sizeof(struct prestera_fw_evtq_regs) +	\
174 	 offsetof(struct prestera_fw_evtq_regs, f))
175 
176 #define PRESTERA_EVTQ_RD_IDX_REG(q)	PRESTERA_EVTQ_REG_OFFSET(q, rd_idx)
177 #define PRESTERA_EVTQ_WR_IDX_REG(q)	PRESTERA_EVTQ_REG_OFFSET(q, wr_idx)
178 #define PRESTERA_EVTQ_OFFS_REG(q)	PRESTERA_EVTQ_REG_OFFSET(q, offs)
179 #define PRESTERA_EVTQ_LEN_REG(q)	PRESTERA_EVTQ_REG_OFFSET(q, len)
180 
181 #define PRESTERA_FW_REG_BASE(fw)	((fw)->dev.ctl_regs)
182 #define PRESTERA_FW_REG_ADDR(fw, reg)	PRESTERA_FW_REG_BASE((fw)) + (reg)
183 
184 #define PRESTERA_FW_CMD_DEFAULT_WAIT_MS	30000
185 #define PRESTERA_FW_READY_WAIT_MS	20000
186 
187 #define PRESTERA_DEV_ID_AC3X_98DX_55	0xC804
188 #define PRESTERA_DEV_ID_AC3X_98DX_65	0xC80C
189 #define PRESTERA_DEV_ID_ALDRIN2		0xCC1E
190 
191 struct prestera_fw_evtq {
192 	u8 __iomem *addr;
193 	size_t len;
194 };
195 
196 struct prestera_fw_cmdq {
197 	/* serialize access to dev->send_req */
198 	struct mutex cmd_mtx;
199 	u8 __iomem *addr;
200 	size_t len;
201 };
202 
203 struct prestera_fw {
204 	struct prestera_fw_rev rev_supp;
205 	const struct firmware *bin;
206 	struct workqueue_struct *wq;
207 	struct prestera_device dev;
208 	u8 __iomem *ldr_regs;
209 	u8 __iomem *ldr_ring_buf;
210 	u32 ldr_buf_len;
211 	u32 ldr_wr_idx;
212 	size_t cmd_mbox_len;
213 	u8 __iomem *cmd_mbox;
214 	struct prestera_fw_cmdq cmd_queue[PRESTERA_CMD_QNUM_MAX];
215 	u8 cmd_qnum;
216 	struct prestera_fw_evtq evt_queue[PRESTERA_EVT_QNUM_MAX];
217 	u8 evt_qnum;
218 	struct work_struct evt_work;
219 	u8 __iomem *evt_buf;
220 	u8 *evt_msg;
221 };
222 
223 static int prestera_fw_load(struct prestera_fw *fw);
224 
225 static void prestera_fw_write(struct prestera_fw *fw, u32 reg, u32 val)
226 {
227 	writel(val, PRESTERA_FW_REG_ADDR(fw, reg));
228 }
229 
230 static u32 prestera_fw_read(struct prestera_fw *fw, u32 reg)
231 {
232 	return readl(PRESTERA_FW_REG_ADDR(fw, reg));
233 }
234 
235 static u32 prestera_fw_evtq_len(struct prestera_fw *fw, u8 qid)
236 {
237 	return fw->evt_queue[qid].len;
238 }
239 
240 static u32 prestera_fw_evtq_avail(struct prestera_fw *fw, u8 qid)
241 {
242 	u32 wr_idx = prestera_fw_read(fw, PRESTERA_EVTQ_WR_IDX_REG(qid));
243 	u32 rd_idx = prestera_fw_read(fw, PRESTERA_EVTQ_RD_IDX_REG(qid));
244 
245 	return CIRC_CNT(wr_idx, rd_idx, prestera_fw_evtq_len(fw, qid));
246 }
247 
248 static void prestera_fw_evtq_rd_set(struct prestera_fw *fw,
249 				    u8 qid, u32 idx)
250 {
251 	u32 rd_idx = idx & (prestera_fw_evtq_len(fw, qid) - 1);
252 
253 	prestera_fw_write(fw, PRESTERA_EVTQ_RD_IDX_REG(qid), rd_idx);
254 }
255 
256 static u8 __iomem *prestera_fw_evtq_buf(struct prestera_fw *fw, u8 qid)
257 {
258 	return fw->evt_queue[qid].addr;
259 }
260 
261 static u32 prestera_fw_evtq_read32(struct prestera_fw *fw, u8 qid)
262 {
263 	u32 rd_idx = prestera_fw_read(fw, PRESTERA_EVTQ_RD_IDX_REG(qid));
264 	u32 val;
265 
266 	val = readl(prestera_fw_evtq_buf(fw, qid) + rd_idx);
267 	prestera_fw_evtq_rd_set(fw, qid, rd_idx + 4);
268 	return val;
269 }
270 
271 static ssize_t prestera_fw_evtq_read_buf(struct prestera_fw *fw,
272 					 u8 qid, void *buf, size_t len)
273 {
274 	u32 idx = prestera_fw_read(fw, PRESTERA_EVTQ_RD_IDX_REG(qid));
275 	u8 __iomem *evtq_addr = prestera_fw_evtq_buf(fw, qid);
276 	u32 *buf32 = buf;
277 	int i;
278 
279 	for (i = 0; i < len / 4; buf32++, i++) {
280 		*buf32 = readl_relaxed(evtq_addr + idx);
281 		idx = (idx + 4) & (prestera_fw_evtq_len(fw, qid) - 1);
282 	}
283 
284 	prestera_fw_evtq_rd_set(fw, qid, idx);
285 
286 	return i;
287 }
288 
289 static u8 prestera_fw_evtq_pick(struct prestera_fw *fw)
290 {
291 	int qid;
292 
293 	for (qid = 0; qid < fw->evt_qnum; qid++) {
294 		if (prestera_fw_evtq_avail(fw, qid) >= 4)
295 			return qid;
296 	}
297 
298 	return PRESTERA_EVT_QNUM_MAX;
299 }
300 
301 static void prestera_fw_evt_ctl_status_set(struct prestera_fw *fw, u32 val)
302 {
303 	u32 status = prestera_fw_read(fw, PRESTERA_FW_STATUS_REG);
304 
305 	u32p_replace_bits(&status, val, PRESTERA_FW_EVT_CTL_STATUS_MASK);
306 
307 	prestera_fw_write(fw, PRESTERA_FW_STATUS_REG, status);
308 }
309 
310 static void prestera_fw_evt_work_fn(struct work_struct *work)
311 {
312 	struct prestera_fw *fw;
313 	void *msg;
314 	u8 qid;
315 
316 	fw = container_of(work, struct prestera_fw, evt_work);
317 	msg = fw->evt_msg;
318 
319 	prestera_fw_evt_ctl_status_set(fw, PRESTERA_FW_EVT_CTL_STATUS_OFF);
320 
321 	while ((qid = prestera_fw_evtq_pick(fw)) < PRESTERA_EVT_QNUM_MAX) {
322 		u32 idx;
323 		u32 len;
324 
325 		len = prestera_fw_evtq_read32(fw, qid);
326 		idx = prestera_fw_read(fw, PRESTERA_EVTQ_RD_IDX_REG(qid));
327 
328 		WARN_ON(prestera_fw_evtq_avail(fw, qid) < len);
329 
330 		if (WARN_ON(len > PRESTERA_MSG_MAX_SIZE)) {
331 			prestera_fw_evtq_rd_set(fw, qid, idx + len);
332 			continue;
333 		}
334 
335 		prestera_fw_evtq_read_buf(fw, qid, msg, len);
336 
337 		if (fw->dev.recv_msg)
338 			fw->dev.recv_msg(&fw->dev, msg, len);
339 	}
340 
341 	prestera_fw_evt_ctl_status_set(fw, PRESTERA_FW_EVT_CTL_STATUS_ON);
342 }
343 
344 static int prestera_fw_wait_reg32(struct prestera_fw *fw, u32 reg, u32 cmp,
345 				  unsigned int waitms)
346 {
347 	u8 __iomem *addr = PRESTERA_FW_REG_ADDR(fw, reg);
348 	u32 val;
349 
350 	return readl_poll_timeout(addr, val, cmp == val,
351 				  1 * USEC_PER_MSEC, waitms * USEC_PER_MSEC);
352 }
353 
354 static void prestera_fw_cmdq_lock(struct prestera_fw *fw, u8 qid)
355 {
356 	mutex_lock(&fw->cmd_queue[qid].cmd_mtx);
357 }
358 
359 static void prestera_fw_cmdq_unlock(struct prestera_fw *fw, u8 qid)
360 {
361 	mutex_unlock(&fw->cmd_queue[qid].cmd_mtx);
362 }
363 
364 static u32 prestera_fw_cmdq_len(struct prestera_fw *fw, u8 qid)
365 {
366 	return fw->cmd_queue[qid].len;
367 }
368 
369 static u8 __iomem *prestera_fw_cmdq_buf(struct prestera_fw *fw, u8 qid)
370 {
371 	return fw->cmd_queue[qid].addr;
372 }
373 
374 static int prestera_fw_cmd_send(struct prestera_fw *fw, int qid,
375 				void *in_msg, size_t in_size,
376 				void *out_msg, size_t out_size,
377 				unsigned int waitms)
378 {
379 	u32 ret_size;
380 	int err;
381 
382 	if (!waitms)
383 		waitms = PRESTERA_FW_CMD_DEFAULT_WAIT_MS;
384 
385 	if (ALIGN(in_size, 4) > prestera_fw_cmdq_len(fw, qid))
386 		return -EMSGSIZE;
387 
388 	/* wait for finish previous reply from FW */
389 	err = prestera_fw_wait_reg32(fw, PRESTERA_CMDQ_RCV_CTL_REG(qid), 0, 30);
390 	if (err) {
391 		dev_err(fw->dev.dev, "finish reply from FW is timed out\n");
392 		return err;
393 	}
394 
395 	prestera_fw_write(fw, PRESTERA_CMDQ_REQ_LEN_REG(qid), in_size);
396 
397 	memcpy_toio(prestera_fw_cmdq_buf(fw, qid), in_msg, in_size);
398 
399 	prestera_fw_write(fw, PRESTERA_CMDQ_REQ_CTL_REG(qid),
400 			  PRESTERA_CMD_F_REQ_SENT);
401 
402 	/* wait for reply from FW */
403 	err = prestera_fw_wait_reg32(fw, PRESTERA_CMDQ_RCV_CTL_REG(qid),
404 				     PRESTERA_CMD_F_REPL_SENT, waitms);
405 	if (err) {
406 		dev_err(fw->dev.dev, "reply from FW is timed out\n");
407 		goto cmd_exit;
408 	}
409 
410 	ret_size = prestera_fw_read(fw, PRESTERA_CMDQ_RCV_LEN_REG(qid));
411 	if (ret_size > out_size) {
412 		dev_err(fw->dev.dev, "ret_size (%u) > out_len(%zu)\n",
413 			ret_size, out_size);
414 		err = -EMSGSIZE;
415 		goto cmd_exit;
416 	}
417 
418 	memcpy_fromio(out_msg,
419 		      prestera_fw_cmdq_buf(fw, qid) + in_size, ret_size);
420 
421 cmd_exit:
422 	prestera_fw_write(fw, PRESTERA_CMDQ_REQ_CTL_REG(qid),
423 			  PRESTERA_CMD_F_REPL_RCVD);
424 	return err;
425 }
426 
427 static int prestera_fw_send_req(struct prestera_device *dev, int qid,
428 				void *in_msg, size_t in_size, void *out_msg,
429 				size_t out_size, unsigned int waitms)
430 {
431 	struct prestera_fw *fw;
432 	ssize_t ret;
433 
434 	fw = container_of(dev, struct prestera_fw, dev);
435 
436 	prestera_fw_cmdq_lock(fw, qid);
437 	ret = prestera_fw_cmd_send(fw, qid, in_msg, in_size, out_msg, out_size,
438 				   waitms);
439 	prestera_fw_cmdq_unlock(fw, qid);
440 
441 	return ret;
442 }
443 
444 static int prestera_fw_init(struct prestera_fw *fw)
445 {
446 	u8 __iomem *base;
447 	int err;
448 	u8 qid;
449 
450 	fw->dev.send_req = prestera_fw_send_req;
451 	fw->ldr_regs = fw->dev.ctl_regs;
452 
453 	err = prestera_fw_load(fw);
454 	if (err)
455 		return err;
456 
457 	err = prestera_fw_wait_reg32(fw, PRESTERA_FW_READY_REG,
458 				     PRESTERA_FW_READY_MAGIC,
459 				     PRESTERA_FW_READY_WAIT_MS);
460 	if (err) {
461 		dev_err(fw->dev.dev, "FW failed to start\n");
462 		return err;
463 	}
464 
465 	base = fw->dev.ctl_regs;
466 
467 	fw->cmd_mbox = base + prestera_fw_read(fw, PRESTERA_CMD_BUF_OFFS_REG);
468 	fw->cmd_mbox_len = prestera_fw_read(fw, PRESTERA_CMD_BUF_LEN_REG);
469 	fw->cmd_qnum = prestera_fw_read(fw, PRESTERA_CMD_QNUM_REG);
470 
471 	for (qid = 0; qid < fw->cmd_qnum; qid++) {
472 		u32 offs = prestera_fw_read(fw, PRESTERA_CMDQ_OFFS_REG(qid));
473 		struct prestera_fw_cmdq *cmdq = &fw->cmd_queue[qid];
474 
475 		cmdq->len = prestera_fw_read(fw, PRESTERA_CMDQ_LEN_REG(qid));
476 		cmdq->addr = fw->cmd_mbox + offs;
477 		mutex_init(&cmdq->cmd_mtx);
478 	}
479 
480 	fw->evt_buf = base + prestera_fw_read(fw, PRESTERA_EVT_BUF_OFFS_REG);
481 	fw->evt_qnum = prestera_fw_read(fw, PRESTERA_EVT_QNUM_REG);
482 	fw->evt_msg = kmalloc(PRESTERA_MSG_MAX_SIZE, GFP_KERNEL);
483 	if (!fw->evt_msg)
484 		return -ENOMEM;
485 
486 	for (qid = 0; qid < fw->evt_qnum; qid++) {
487 		u32 offs = prestera_fw_read(fw, PRESTERA_EVTQ_OFFS_REG(qid));
488 		struct prestera_fw_evtq *evtq = &fw->evt_queue[qid];
489 
490 		evtq->len = prestera_fw_read(fw, PRESTERA_EVTQ_LEN_REG(qid));
491 		evtq->addr = fw->evt_buf + offs;
492 	}
493 
494 	return 0;
495 }
496 
497 static void prestera_fw_uninit(struct prestera_fw *fw)
498 {
499 	kfree(fw->evt_msg);
500 }
501 
502 static irqreturn_t prestera_pci_irq_handler(int irq, void *dev_id)
503 {
504 	struct prestera_fw *fw = dev_id;
505 
506 	if (prestera_fw_read(fw, PRESTERA_RX_STATUS_REG)) {
507 		prestera_fw_write(fw, PRESTERA_RX_STATUS_REG, 0);
508 
509 		if (fw->dev.recv_pkt)
510 			fw->dev.recv_pkt(&fw->dev);
511 	}
512 
513 	queue_work(fw->wq, &fw->evt_work);
514 
515 	return IRQ_HANDLED;
516 }
517 
518 static void prestera_ldr_write(struct prestera_fw *fw, u32 reg, u32 val)
519 {
520 	writel(val, PRESTERA_LDR_REG_ADDR(fw, reg));
521 }
522 
523 static u32 prestera_ldr_read(struct prestera_fw *fw, u32 reg)
524 {
525 	return readl(PRESTERA_LDR_REG_ADDR(fw, reg));
526 }
527 
528 static int prestera_ldr_wait_reg32(struct prestera_fw *fw,
529 				   u32 reg, u32 cmp, unsigned int waitms)
530 {
531 	u8 __iomem *addr = PRESTERA_LDR_REG_ADDR(fw, reg);
532 	u32 val;
533 
534 	return readl_poll_timeout(addr, val, cmp == val,
535 				  10 * USEC_PER_MSEC, waitms * USEC_PER_MSEC);
536 }
537 
538 static u32 prestera_ldr_wait_buf(struct prestera_fw *fw, size_t len)
539 {
540 	u8 __iomem *addr = PRESTERA_LDR_REG_ADDR(fw, PRESTERA_LDR_BUF_RD_REG);
541 	u32 buf_len = fw->ldr_buf_len;
542 	u32 wr_idx = fw->ldr_wr_idx;
543 	u32 rd_idx;
544 
545 	return readl_poll_timeout(addr, rd_idx,
546 				 CIRC_SPACE(wr_idx, rd_idx, buf_len) >= len,
547 				 1 * USEC_PER_MSEC, 100 * USEC_PER_MSEC);
548 }
549 
550 static int prestera_ldr_wait_dl_finish(struct prestera_fw *fw)
551 {
552 	u8 __iomem *addr = PRESTERA_LDR_REG_ADDR(fw, PRESTERA_LDR_STATUS_REG);
553 	unsigned long mask = ~(PRESTERA_LDR_STATUS_IMG_DL);
554 	u32 val;
555 	int err;
556 
557 	err = readl_poll_timeout(addr, val, val & mask, 10 * USEC_PER_MSEC,
558 				 PRESTERA_FW_DL_TIMEOUT_MS * USEC_PER_MSEC);
559 	if (err) {
560 		dev_err(fw->dev.dev, "Timeout to load FW img [state=%d]",
561 			prestera_ldr_read(fw, PRESTERA_LDR_STATUS_REG));
562 		return err;
563 	}
564 
565 	return 0;
566 }
567 
568 static void prestera_ldr_wr_idx_move(struct prestera_fw *fw, unsigned int n)
569 {
570 	fw->ldr_wr_idx = (fw->ldr_wr_idx + (n)) & (fw->ldr_buf_len - 1);
571 }
572 
573 static void prestera_ldr_wr_idx_commit(struct prestera_fw *fw)
574 {
575 	prestera_ldr_write(fw, PRESTERA_LDR_BUF_WR_REG, fw->ldr_wr_idx);
576 }
577 
578 static u8 __iomem *prestera_ldr_wr_ptr(struct prestera_fw *fw)
579 {
580 	return fw->ldr_ring_buf + fw->ldr_wr_idx;
581 }
582 
583 static int prestera_ldr_send(struct prestera_fw *fw, const u8 *buf, size_t len)
584 {
585 	int err;
586 	int i;
587 
588 	err = prestera_ldr_wait_buf(fw, len);
589 	if (err) {
590 		dev_err(fw->dev.dev, "failed wait for sending firmware\n");
591 		return err;
592 	}
593 
594 	for (i = 0; i < len; i += 4) {
595 		writel_relaxed(*(u32 *)(buf + i), prestera_ldr_wr_ptr(fw));
596 		prestera_ldr_wr_idx_move(fw, 4);
597 	}
598 
599 	prestera_ldr_wr_idx_commit(fw);
600 	return 0;
601 }
602 
603 static int prestera_ldr_fw_send(struct prestera_fw *fw,
604 				const char *img, u32 fw_size)
605 {
606 	u32 status;
607 	u32 pos;
608 	int err;
609 
610 	err = prestera_ldr_wait_reg32(fw, PRESTERA_LDR_STATUS_REG,
611 				      PRESTERA_LDR_STATUS_IMG_DL,
612 				      5 * MSEC_PER_SEC);
613 	if (err) {
614 		dev_err(fw->dev.dev, "Loader is not ready to load image\n");
615 		return err;
616 	}
617 
618 	for (pos = 0; pos < fw_size; pos += PRESTERA_FW_BLK_SZ) {
619 		if (pos + PRESTERA_FW_BLK_SZ > fw_size)
620 			break;
621 
622 		err = prestera_ldr_send(fw, img + pos, PRESTERA_FW_BLK_SZ);
623 		if (err)
624 			return err;
625 	}
626 
627 	if (pos < fw_size) {
628 		err = prestera_ldr_send(fw, img + pos, fw_size - pos);
629 		if (err)
630 			return err;
631 	}
632 
633 	err = prestera_ldr_wait_dl_finish(fw);
634 	if (err)
635 		return err;
636 
637 	status = prestera_ldr_read(fw, PRESTERA_LDR_STATUS_REG);
638 
639 	switch (status) {
640 	case PRESTERA_LDR_STATUS_INVALID_IMG:
641 		dev_err(fw->dev.dev, "FW img has bad CRC\n");
642 		return -EINVAL;
643 	case PRESTERA_LDR_STATUS_NOMEM:
644 		dev_err(fw->dev.dev, "Loader has no enough mem\n");
645 		return -ENOMEM;
646 	}
647 
648 	return 0;
649 }
650 
651 static void prestera_fw_rev_parse(const struct prestera_fw_header *hdr,
652 				  struct prestera_fw_rev *rev)
653 {
654 	u32 version = be32_to_cpu(hdr->version_value);
655 
656 	rev->maj = PRESTERA_FW_VER_MAJ(version);
657 	rev->min = PRESTERA_FW_VER_MIN(version);
658 	rev->sub = PRESTERA_FW_VER_PATCH(version);
659 }
660 
661 static int prestera_fw_rev_check(struct prestera_fw *fw)
662 {
663 	struct prestera_fw_rev *rev = &fw->dev.fw_rev;
664 
665 	if (rev->maj == fw->rev_supp.maj && rev->min >= fw->rev_supp.min)
666 		return 0;
667 
668 	dev_err(fw->dev.dev, "Driver supports FW version only '%u.%u.x'",
669 		fw->rev_supp.maj, fw->rev_supp.min);
670 
671 	return -EINVAL;
672 }
673 
674 static int prestera_fw_hdr_parse(struct prestera_fw *fw)
675 {
676 	struct prestera_fw_rev *rev = &fw->dev.fw_rev;
677 	struct prestera_fw_header *hdr;
678 	u32 magic;
679 
680 	hdr = (struct prestera_fw_header *)fw->bin->data;
681 
682 	magic = be32_to_cpu(hdr->magic_number);
683 	if (magic != PRESTERA_FW_HDR_MAGIC) {
684 		dev_err(fw->dev.dev, "FW img hdr magic is invalid");
685 		return -EINVAL;
686 	}
687 
688 	prestera_fw_rev_parse(hdr, rev);
689 
690 	dev_info(fw->dev.dev, "FW version '%u.%u.%u'\n",
691 		 rev->maj, rev->min, rev->sub);
692 
693 	return prestera_fw_rev_check(fw);
694 }
695 
696 static int prestera_fw_get(struct prestera_fw *fw)
697 {
698 	int ver_maj = PRESTERA_SUPP_FW_MAJ_VER;
699 	int ver_min = PRESTERA_SUPP_FW_MIN_VER;
700 	char fw_path[128];
701 	int err;
702 
703 pick_fw_ver:
704 	snprintf(fw_path, sizeof(fw_path), PRESTERA_FW_PATH_FMT,
705 		 ver_maj, ver_min);
706 
707 	err = request_firmware_direct(&fw->bin, fw_path, fw->dev.dev);
708 	if (err) {
709 		if (ver_maj == PRESTERA_SUPP_FW_MAJ_VER) {
710 			ver_maj = PRESTERA_PREV_FW_MAJ_VER;
711 			ver_min = PRESTERA_PREV_FW_MIN_VER;
712 
713 			dev_warn(fw->dev.dev,
714 				 "missing latest %s firmware, fall-back to previous %u.%u version\n",
715 				 fw_path, ver_maj, ver_min);
716 
717 			goto pick_fw_ver;
718 		} else {
719 			dev_err(fw->dev.dev, "failed to request previous firmware: %s\n",
720 				fw_path);
721 			return err;
722 		}
723 	}
724 
725 	dev_info(fw->dev.dev, "Loading %s ...", fw_path);
726 
727 	fw->rev_supp.maj = ver_maj;
728 	fw->rev_supp.min = ver_min;
729 	fw->rev_supp.sub = 0;
730 
731 	return 0;
732 }
733 
734 static void prestera_fw_put(struct prestera_fw *fw)
735 {
736 	release_firmware(fw->bin);
737 }
738 
739 static int prestera_fw_load(struct prestera_fw *fw)
740 {
741 	size_t hlen = sizeof(struct prestera_fw_header);
742 	int err;
743 
744 	err = prestera_ldr_wait_reg32(fw, PRESTERA_LDR_READY_REG,
745 				      PRESTERA_LDR_READY_MAGIC,
746 				      5 * MSEC_PER_SEC);
747 	if (err) {
748 		dev_err(fw->dev.dev, "waiting for FW loader is timed out");
749 		return err;
750 	}
751 
752 	fw->ldr_ring_buf = fw->ldr_regs +
753 		prestera_ldr_read(fw, PRESTERA_LDR_BUF_OFFS_REG);
754 
755 	fw->ldr_buf_len =
756 		prestera_ldr_read(fw, PRESTERA_LDR_BUF_SIZE_REG);
757 
758 	fw->ldr_wr_idx = 0;
759 
760 	err = prestera_fw_get(fw);
761 	if (err)
762 		return err;
763 
764 	err = prestera_fw_hdr_parse(fw);
765 	if (err) {
766 		dev_err(fw->dev.dev, "FW image header is invalid\n");
767 		goto out_release;
768 	}
769 
770 	prestera_ldr_write(fw, PRESTERA_LDR_IMG_SIZE_REG, fw->bin->size - hlen);
771 	prestera_ldr_write(fw, PRESTERA_LDR_CTL_REG, PRESTERA_LDR_CTL_DL_START);
772 
773 	err = prestera_ldr_fw_send(fw, fw->bin->data + hlen,
774 				   fw->bin->size - hlen);
775 
776 out_release:
777 	prestera_fw_put(fw);
778 	return err;
779 }
780 
781 static int prestera_pci_probe(struct pci_dev *pdev,
782 			      const struct pci_device_id *id)
783 {
784 	const char *driver_name = dev_driver_string(&pdev->dev);
785 	struct prestera_fw *fw;
786 	int err;
787 
788 	err = pcim_enable_device(pdev);
789 	if (err)
790 		return err;
791 
792 	err = pcim_iomap_regions(pdev, BIT(PRESTERA_PCI_BAR_FW) |
793 				 BIT(PRESTERA_PCI_BAR_PP),
794 				 pci_name(pdev));
795 	if (err)
796 		return err;
797 
798 	err = dma_set_mask_and_coherent(&pdev->dev, DMA_BIT_MASK(30));
799 	if (err) {
800 		dev_err(&pdev->dev, "fail to set DMA mask\n");
801 		goto err_dma_mask;
802 	}
803 
804 	pci_set_master(pdev);
805 
806 	fw = devm_kzalloc(&pdev->dev, sizeof(*fw), GFP_KERNEL);
807 	if (!fw) {
808 		err = -ENOMEM;
809 		goto err_pci_dev_alloc;
810 	}
811 
812 	fw->dev.ctl_regs = pcim_iomap_table(pdev)[PRESTERA_PCI_BAR_FW];
813 	fw->dev.pp_regs = pcim_iomap_table(pdev)[PRESTERA_PCI_BAR_PP];
814 	fw->dev.dev = &pdev->dev;
815 
816 	pci_set_drvdata(pdev, fw);
817 
818 	err = prestera_fw_init(fw);
819 	if (err)
820 		goto err_prestera_fw_init;
821 
822 	dev_info(fw->dev.dev, "Prestera FW is ready\n");
823 
824 	fw->wq = alloc_workqueue("prestera_fw_wq", WQ_HIGHPRI, 1);
825 	if (!fw->wq) {
826 		err = -ENOMEM;
827 		goto err_wq_alloc;
828 	}
829 
830 	INIT_WORK(&fw->evt_work, prestera_fw_evt_work_fn);
831 
832 	err = pci_alloc_irq_vectors(pdev, 1, 1, PCI_IRQ_MSI);
833 	if (err < 0) {
834 		dev_err(&pdev->dev, "MSI IRQ init failed\n");
835 		goto err_irq_alloc;
836 	}
837 
838 	err = request_irq(pci_irq_vector(pdev, 0), prestera_pci_irq_handler,
839 			  0, driver_name, fw);
840 	if (err) {
841 		dev_err(&pdev->dev, "fail to request IRQ\n");
842 		goto err_request_irq;
843 	}
844 
845 	err = prestera_device_register(&fw->dev);
846 	if (err)
847 		goto err_prestera_dev_register;
848 
849 	return 0;
850 
851 err_prestera_dev_register:
852 	free_irq(pci_irq_vector(pdev, 0), fw);
853 err_request_irq:
854 	pci_free_irq_vectors(pdev);
855 err_irq_alloc:
856 	destroy_workqueue(fw->wq);
857 err_wq_alloc:
858 	prestera_fw_uninit(fw);
859 err_prestera_fw_init:
860 err_pci_dev_alloc:
861 err_dma_mask:
862 	return err;
863 }
864 
865 static void prestera_pci_remove(struct pci_dev *pdev)
866 {
867 	struct prestera_fw *fw = pci_get_drvdata(pdev);
868 
869 	prestera_device_unregister(&fw->dev);
870 	free_irq(pci_irq_vector(pdev, 0), fw);
871 	pci_free_irq_vectors(pdev);
872 	destroy_workqueue(fw->wq);
873 	prestera_fw_uninit(fw);
874 }
875 
876 static const struct pci_device_id prestera_pci_devices[] = {
877 	{ PCI_DEVICE(PCI_VENDOR_ID_MARVELL, PRESTERA_DEV_ID_AC3X_98DX_55) },
878 	{ PCI_DEVICE(PCI_VENDOR_ID_MARVELL, PRESTERA_DEV_ID_AC3X_98DX_65) },
879 	{ PCI_DEVICE(PCI_VENDOR_ID_MARVELL, PRESTERA_DEV_ID_ALDRIN2) },
880 	{ }
881 };
882 MODULE_DEVICE_TABLE(pci, prestera_pci_devices);
883 
884 static struct pci_driver prestera_pci_driver = {
885 	.name     = "Prestera DX",
886 	.id_table = prestera_pci_devices,
887 	.probe    = prestera_pci_probe,
888 	.remove   = prestera_pci_remove,
889 };
890 module_pci_driver(prestera_pci_driver);
891 
892 MODULE_LICENSE("Dual BSD/GPL");
893 MODULE_DESCRIPTION("Marvell Prestera switch PCI interface");
894