xref: /openbmc/linux/drivers/dma/timb_dma.c (revision cbecf716ca618fd44feda6bd9a64a8179d031fc5)
11802d0beSThomas Gleixner // SPDX-License-Identifier: GPL-2.0-only
2de5d4453SRichard Röjfors /*
3de5d4453SRichard Röjfors  * timb_dma.c timberdale FPGA DMA driver
4de5d4453SRichard Röjfors  * Copyright (c) 2010 Intel Corporation
5de5d4453SRichard Röjfors  */
6de5d4453SRichard Röjfors 
7de5d4453SRichard Röjfors /* Supports:
8de5d4453SRichard Röjfors  * Timberdale FPGA DMA engine
9de5d4453SRichard Röjfors  */
10de5d4453SRichard Röjfors 
11de5d4453SRichard Röjfors #include <linux/dmaengine.h>
12de5d4453SRichard Röjfors #include <linux/dma-mapping.h>
13de5d4453SRichard Röjfors #include <linux/init.h>
14de5d4453SRichard Röjfors #include <linux/interrupt.h>
15de5d4453SRichard Röjfors #include <linux/io.h>
16de5d4453SRichard Röjfors #include <linux/module.h>
17de5d4453SRichard Röjfors #include <linux/platform_device.h>
186a3cd3eaSStephen Rothwell #include <linux/slab.h>
19de5d4453SRichard Röjfors 
20de5d4453SRichard Röjfors #include <linux/timb_dma.h>
21de5d4453SRichard Röjfors 
22d2ebfb33SRussell King - ARM Linux #include "dmaengine.h"
23d2ebfb33SRussell King - ARM Linux 
24de5d4453SRichard Röjfors #define DRIVER_NAME "timb-dma"
25de5d4453SRichard Röjfors 
26de5d4453SRichard Röjfors /* Global DMA registers */
27de5d4453SRichard Röjfors #define TIMBDMA_ACR		0x34
28de5d4453SRichard Röjfors #define TIMBDMA_32BIT_ADDR	0x01
29de5d4453SRichard Röjfors 
30de5d4453SRichard Röjfors #define TIMBDMA_ISR		0x080000
31de5d4453SRichard Röjfors #define TIMBDMA_IPR		0x080004
32de5d4453SRichard Röjfors #define TIMBDMA_IER		0x080008
33de5d4453SRichard Röjfors 
34de5d4453SRichard Röjfors /* Channel specific registers */
35de5d4453SRichard Röjfors /* RX instances base addresses are 0x00, 0x40, 0x80 ...
36de5d4453SRichard Röjfors  * TX instances base addresses are 0x18, 0x58, 0x98 ...
37de5d4453SRichard Röjfors  */
38de5d4453SRichard Röjfors #define TIMBDMA_INSTANCE_OFFSET		0x40
39de5d4453SRichard Röjfors #define TIMBDMA_INSTANCE_TX_OFFSET	0x18
40de5d4453SRichard Röjfors 
41de5d4453SRichard Röjfors /* RX registers, relative the instance base */
42de5d4453SRichard Röjfors #define TIMBDMA_OFFS_RX_DHAR	0x00
43de5d4453SRichard Röjfors #define TIMBDMA_OFFS_RX_DLAR	0x04
44de5d4453SRichard Röjfors #define TIMBDMA_OFFS_RX_LR	0x0C
45de5d4453SRichard Röjfors #define TIMBDMA_OFFS_RX_BLR	0x10
46de5d4453SRichard Röjfors #define TIMBDMA_OFFS_RX_ER	0x14
47de5d4453SRichard Röjfors #define TIMBDMA_RX_EN		0x01
48de5d4453SRichard Röjfors /* bytes per Row, video specific register
49de5d4453SRichard Röjfors  * which is placed after the TX registers...
50de5d4453SRichard Röjfors  */
51de5d4453SRichard Röjfors #define TIMBDMA_OFFS_RX_BPRR	0x30
52de5d4453SRichard Röjfors 
53de5d4453SRichard Röjfors /* TX registers, relative the instance base */
54de5d4453SRichard Röjfors #define TIMBDMA_OFFS_TX_DHAR	0x00
55de5d4453SRichard Röjfors #define TIMBDMA_OFFS_TX_DLAR	0x04
56de5d4453SRichard Röjfors #define TIMBDMA_OFFS_TX_BLR	0x0C
57de5d4453SRichard Röjfors #define TIMBDMA_OFFS_TX_LR	0x14
58de5d4453SRichard Röjfors 
59de5d4453SRichard Röjfors 
60de5d4453SRichard Röjfors #define TIMB_DMA_DESC_SIZE	8
61de5d4453SRichard Röjfors 
62de5d4453SRichard Röjfors struct timb_dma_desc {
63de5d4453SRichard Röjfors 	struct list_head		desc_node;
64de5d4453SRichard Röjfors 	struct dma_async_tx_descriptor	txd;
65de5d4453SRichard Röjfors 	u8				*desc_list;
66de5d4453SRichard Röjfors 	unsigned int			desc_list_len;
67de5d4453SRichard Röjfors 	bool				interrupt;
68de5d4453SRichard Röjfors };
69de5d4453SRichard Röjfors 
70de5d4453SRichard Röjfors struct timb_dma_chan {
71de5d4453SRichard Röjfors 	struct dma_chan		chan;
72de5d4453SRichard Röjfors 	void __iomem		*membase;
730f65169bSRichard Röjfors 	spinlock_t		lock; /* Used to protect data structures,
740f65169bSRichard Röjfors 					especially the lists and descriptors,
750f65169bSRichard Röjfors 					from races between the tasklet and calls
760f65169bSRichard Röjfors 					from above */
77de5d4453SRichard Röjfors 	bool			ongoing;
78de5d4453SRichard Röjfors 	struct list_head	active_list;
79de5d4453SRichard Röjfors 	struct list_head	queue;
80de5d4453SRichard Röjfors 	struct list_head	free_list;
81de5d4453SRichard Röjfors 	unsigned int		bytes_per_line;
82db8196dfSVinod Koul 	enum dma_transfer_direction	direction;
83de5d4453SRichard Röjfors 	unsigned int		descs; /* Descriptors to allocate */
84de5d4453SRichard Röjfors 	unsigned int		desc_elems; /* number of elems per descriptor */
85de5d4453SRichard Röjfors };
86de5d4453SRichard Röjfors 
87de5d4453SRichard Röjfors struct timb_dma {
88de5d4453SRichard Röjfors 	struct dma_device	dma;
89de5d4453SRichard Röjfors 	void __iomem		*membase;
90de5d4453SRichard Röjfors 	struct tasklet_struct	tasklet;
91466f966bSGustavo A. R. Silva 	struct timb_dma_chan	channels[];
92de5d4453SRichard Röjfors };
93de5d4453SRichard Röjfors 
chan2dev(struct dma_chan * chan)94de5d4453SRichard Röjfors static struct device *chan2dev(struct dma_chan *chan)
95de5d4453SRichard Röjfors {
96de5d4453SRichard Röjfors 	return &chan->dev->device;
97de5d4453SRichard Röjfors }
chan2dmadev(struct dma_chan * chan)98de5d4453SRichard Röjfors static struct device *chan2dmadev(struct dma_chan *chan)
99de5d4453SRichard Röjfors {
100de5d4453SRichard Röjfors 	return chan2dev(chan)->parent->parent;
101de5d4453SRichard Röjfors }
102de5d4453SRichard Röjfors 
tdchantotd(struct timb_dma_chan * td_chan)103de5d4453SRichard Röjfors static struct timb_dma *tdchantotd(struct timb_dma_chan *td_chan)
104de5d4453SRichard Röjfors {
105de5d4453SRichard Röjfors 	int id = td_chan->chan.chan_id;
106de5d4453SRichard Röjfors 	return (struct timb_dma *)((u8 *)td_chan -
107de5d4453SRichard Röjfors 		id * sizeof(struct timb_dma_chan) - sizeof(struct timb_dma));
108de5d4453SRichard Röjfors }
109de5d4453SRichard Röjfors 
110de5d4453SRichard Röjfors /* Must be called with the spinlock held */
__td_enable_chan_irq(struct timb_dma_chan * td_chan)111de5d4453SRichard Röjfors static void __td_enable_chan_irq(struct timb_dma_chan *td_chan)
112de5d4453SRichard Röjfors {
113de5d4453SRichard Röjfors 	int id = td_chan->chan.chan_id;
114de5d4453SRichard Röjfors 	struct timb_dma *td = tdchantotd(td_chan);
115de5d4453SRichard Röjfors 	u32 ier;
116de5d4453SRichard Röjfors 
117de5d4453SRichard Röjfors 	/* enable interrupt for this channel */
118de5d4453SRichard Röjfors 	ier = ioread32(td->membase + TIMBDMA_IER);
119de5d4453SRichard Röjfors 	ier |= 1 << id;
120de5d4453SRichard Röjfors 	dev_dbg(chan2dev(&td_chan->chan), "Enabling irq: %d, IER: 0x%x\n", id,
121de5d4453SRichard Röjfors 		ier);
122de5d4453SRichard Röjfors 	iowrite32(ier, td->membase + TIMBDMA_IER);
123de5d4453SRichard Röjfors }
124de5d4453SRichard Röjfors 
125de5d4453SRichard Röjfors /* Should be called with the spinlock held */
__td_dma_done_ack(struct timb_dma_chan * td_chan)126de5d4453SRichard Röjfors static bool __td_dma_done_ack(struct timb_dma_chan *td_chan)
127de5d4453SRichard Röjfors {
128de5d4453SRichard Röjfors 	int id = td_chan->chan.chan_id;
129de5d4453SRichard Röjfors 	struct timb_dma *td = (struct timb_dma *)((u8 *)td_chan -
130de5d4453SRichard Röjfors 		id * sizeof(struct timb_dma_chan) - sizeof(struct timb_dma));
131de5d4453SRichard Röjfors 	u32 isr;
132de5d4453SRichard Röjfors 	bool done = false;
133de5d4453SRichard Röjfors 
134de5d4453SRichard Röjfors 	dev_dbg(chan2dev(&td_chan->chan), "Checking irq: %d, td: %p\n", id, td);
135de5d4453SRichard Röjfors 
136de5d4453SRichard Röjfors 	isr = ioread32(td->membase + TIMBDMA_ISR) & (1 << id);
137de5d4453SRichard Röjfors 	if (isr) {
138de5d4453SRichard Röjfors 		iowrite32(isr, td->membase + TIMBDMA_ISR);
139de5d4453SRichard Röjfors 		done = true;
140de5d4453SRichard Röjfors 	}
141de5d4453SRichard Röjfors 
142de5d4453SRichard Röjfors 	return done;
143de5d4453SRichard Röjfors }
144de5d4453SRichard Röjfors 
td_fill_desc(struct timb_dma_chan * td_chan,u8 * dma_desc,struct scatterlist * sg,bool last)145de5d4453SRichard Röjfors static int td_fill_desc(struct timb_dma_chan *td_chan, u8 *dma_desc,
146de5d4453SRichard Röjfors 	struct scatterlist *sg, bool last)
147de5d4453SRichard Röjfors {
1484be929beSAlexey Dobriyan 	if (sg_dma_len(sg) > USHRT_MAX) {
149de5d4453SRichard Röjfors 		dev_err(chan2dev(&td_chan->chan), "Too big sg element\n");
150de5d4453SRichard Röjfors 		return -EINVAL;
151de5d4453SRichard Röjfors 	}
152de5d4453SRichard Röjfors 
153de5d4453SRichard Röjfors 	/* length must be word aligned */
154de5d4453SRichard Röjfors 	if (sg_dma_len(sg) % sizeof(u32)) {
155de5d4453SRichard Röjfors 		dev_err(chan2dev(&td_chan->chan), "Incorrect length: %d\n",
156de5d4453SRichard Röjfors 			sg_dma_len(sg));
157de5d4453SRichard Röjfors 		return -EINVAL;
158de5d4453SRichard Röjfors 	}
159de5d4453SRichard Röjfors 
160efcc2898SDan Carpenter 	dev_dbg(chan2dev(&td_chan->chan), "desc: %p, addr: 0x%llx\n",
161efcc2898SDan Carpenter 		dma_desc, (unsigned long long)sg_dma_address(sg));
162de5d4453SRichard Röjfors 
163de5d4453SRichard Röjfors 	dma_desc[7] = (sg_dma_address(sg) >> 24) & 0xff;
164de5d4453SRichard Röjfors 	dma_desc[6] = (sg_dma_address(sg) >> 16) & 0xff;
165de5d4453SRichard Röjfors 	dma_desc[5] = (sg_dma_address(sg) >> 8) & 0xff;
166de5d4453SRichard Röjfors 	dma_desc[4] = (sg_dma_address(sg) >> 0) & 0xff;
167de5d4453SRichard Röjfors 
168de5d4453SRichard Röjfors 	dma_desc[3] = (sg_dma_len(sg) >> 8) & 0xff;
169de5d4453SRichard Röjfors 	dma_desc[2] = (sg_dma_len(sg) >> 0) & 0xff;
170de5d4453SRichard Röjfors 
171de5d4453SRichard Röjfors 	dma_desc[1] = 0x00;
172de5d4453SRichard Röjfors 	dma_desc[0] = 0x21 | (last ? 0x02 : 0); /* tran, valid */
173de5d4453SRichard Röjfors 
174de5d4453SRichard Röjfors 	return 0;
175de5d4453SRichard Röjfors }
176de5d4453SRichard Röjfors 
177de5d4453SRichard Röjfors /* Must be called with the spinlock held */
__td_start_dma(struct timb_dma_chan * td_chan)178de5d4453SRichard Röjfors static void __td_start_dma(struct timb_dma_chan *td_chan)
179de5d4453SRichard Röjfors {
180de5d4453SRichard Röjfors 	struct timb_dma_desc *td_desc;
181de5d4453SRichard Röjfors 
182de5d4453SRichard Röjfors 	if (td_chan->ongoing) {
183de5d4453SRichard Röjfors 		dev_err(chan2dev(&td_chan->chan),
184de5d4453SRichard Röjfors 			"Transfer already ongoing\n");
185de5d4453SRichard Röjfors 		return;
186de5d4453SRichard Röjfors 	}
187de5d4453SRichard Röjfors 
188de5d4453SRichard Röjfors 	td_desc = list_entry(td_chan->active_list.next, struct timb_dma_desc,
189de5d4453SRichard Röjfors 		desc_node);
190de5d4453SRichard Röjfors 
191de5d4453SRichard Röjfors 	dev_dbg(chan2dev(&td_chan->chan),
192de5d4453SRichard Röjfors 		"td_chan: %p, chan: %d, membase: %p\n",
193de5d4453SRichard Röjfors 		td_chan, td_chan->chan.chan_id, td_chan->membase);
194de5d4453SRichard Röjfors 
195db8196dfSVinod Koul 	if (td_chan->direction == DMA_DEV_TO_MEM) {
196de5d4453SRichard Röjfors 
197de5d4453SRichard Röjfors 		/* descriptor address */
198de5d4453SRichard Röjfors 		iowrite32(0, td_chan->membase + TIMBDMA_OFFS_RX_DHAR);
199de5d4453SRichard Röjfors 		iowrite32(td_desc->txd.phys, td_chan->membase +
200de5d4453SRichard Röjfors 			TIMBDMA_OFFS_RX_DLAR);
201de5d4453SRichard Röjfors 		/* Bytes per line */
202de5d4453SRichard Röjfors 		iowrite32(td_chan->bytes_per_line, td_chan->membase +
203de5d4453SRichard Röjfors 			TIMBDMA_OFFS_RX_BPRR);
204de5d4453SRichard Röjfors 		/* enable RX */
205de5d4453SRichard Röjfors 		iowrite32(TIMBDMA_RX_EN, td_chan->membase + TIMBDMA_OFFS_RX_ER);
206de5d4453SRichard Röjfors 	} else {
207de5d4453SRichard Röjfors 		/* address high */
208de5d4453SRichard Röjfors 		iowrite32(0, td_chan->membase + TIMBDMA_OFFS_TX_DHAR);
209de5d4453SRichard Röjfors 		iowrite32(td_desc->txd.phys, td_chan->membase +
210de5d4453SRichard Röjfors 			TIMBDMA_OFFS_TX_DLAR);
211de5d4453SRichard Röjfors 	}
212de5d4453SRichard Röjfors 
213de5d4453SRichard Röjfors 	td_chan->ongoing = true;
214de5d4453SRichard Röjfors 
215de5d4453SRichard Röjfors 	if (td_desc->interrupt)
216de5d4453SRichard Röjfors 		__td_enable_chan_irq(td_chan);
217de5d4453SRichard Röjfors }
218de5d4453SRichard Röjfors 
__td_finish(struct timb_dma_chan * td_chan)219de5d4453SRichard Röjfors static void __td_finish(struct timb_dma_chan *td_chan)
220de5d4453SRichard Röjfors {
221a06a5bb9SDave Jiang 	struct dmaengine_desc_callback	cb;
222de5d4453SRichard Röjfors 	struct dma_async_tx_descriptor	*txd;
223de5d4453SRichard Röjfors 	struct timb_dma_desc		*td_desc;
224de5d4453SRichard Röjfors 
225de5d4453SRichard Röjfors 	/* can happen if the descriptor is canceled */
226de5d4453SRichard Röjfors 	if (list_empty(&td_chan->active_list))
227de5d4453SRichard Röjfors 		return;
228de5d4453SRichard Röjfors 
229de5d4453SRichard Röjfors 	td_desc = list_entry(td_chan->active_list.next, struct timb_dma_desc,
230de5d4453SRichard Röjfors 		desc_node);
231de5d4453SRichard Röjfors 	txd = &td_desc->txd;
232de5d4453SRichard Röjfors 
233de5d4453SRichard Röjfors 	dev_dbg(chan2dev(&td_chan->chan), "descriptor %u complete\n",
234de5d4453SRichard Röjfors 		txd->cookie);
235de5d4453SRichard Röjfors 
236de5d4453SRichard Röjfors 	/* make sure to stop the transfer */
237db8196dfSVinod Koul 	if (td_chan->direction == DMA_DEV_TO_MEM)
238de5d4453SRichard Röjfors 		iowrite32(0, td_chan->membase + TIMBDMA_OFFS_RX_ER);
239de5d4453SRichard Röjfors /* Currently no support for stopping DMA transfers
240de5d4453SRichard Röjfors 	else
241de5d4453SRichard Röjfors 		iowrite32(0, td_chan->membase + TIMBDMA_OFFS_TX_DLAR);
242de5d4453SRichard Röjfors */
243f7fbce07SRussell King - ARM Linux 	dma_cookie_complete(txd);
244de5d4453SRichard Röjfors 	td_chan->ongoing = false;
245de5d4453SRichard Röjfors 
246a06a5bb9SDave Jiang 	dmaengine_desc_get_callback(txd, &cb);
247de5d4453SRichard Röjfors 
248de5d4453SRichard Röjfors 	list_move(&td_desc->desc_node, &td_chan->free_list);
249de5d4453SRichard Röjfors 
250d38a8c62SDan Williams 	dma_descriptor_unmap(txd);
251de5d4453SRichard Röjfors 	/*
252de5d4453SRichard Röjfors 	 * The API requires that no submissions are done from a
253de5d4453SRichard Röjfors 	 * callback, so we don't need to drop the lock here
254de5d4453SRichard Röjfors 	 */
255a06a5bb9SDave Jiang 	dmaengine_desc_callback_invoke(&cb, NULL);
256de5d4453SRichard Röjfors }
257de5d4453SRichard Röjfors 
__td_ier_mask(struct timb_dma * td)258de5d4453SRichard Röjfors static u32 __td_ier_mask(struct timb_dma *td)
259de5d4453SRichard Röjfors {
260de5d4453SRichard Röjfors 	int i;
261de5d4453SRichard Röjfors 	u32 ret = 0;
262de5d4453SRichard Röjfors 
263de5d4453SRichard Röjfors 	for (i = 0; i < td->dma.chancnt; i++) {
264de5d4453SRichard Röjfors 		struct timb_dma_chan *td_chan = td->channels + i;
265de5d4453SRichard Röjfors 		if (td_chan->ongoing) {
266de5d4453SRichard Röjfors 			struct timb_dma_desc *td_desc =
267de5d4453SRichard Röjfors 				list_entry(td_chan->active_list.next,
268de5d4453SRichard Röjfors 				struct timb_dma_desc, desc_node);
269de5d4453SRichard Röjfors 			if (td_desc->interrupt)
270de5d4453SRichard Röjfors 				ret |= 1 << i;
271de5d4453SRichard Röjfors 		}
272de5d4453SRichard Röjfors 	}
273de5d4453SRichard Röjfors 
274de5d4453SRichard Röjfors 	return ret;
275de5d4453SRichard Röjfors }
276de5d4453SRichard Röjfors 
__td_start_next(struct timb_dma_chan * td_chan)277de5d4453SRichard Röjfors static void __td_start_next(struct timb_dma_chan *td_chan)
278de5d4453SRichard Röjfors {
279de5d4453SRichard Röjfors 	struct timb_dma_desc *td_desc;
280de5d4453SRichard Röjfors 
281de5d4453SRichard Röjfors 	BUG_ON(list_empty(&td_chan->queue));
282de5d4453SRichard Röjfors 	BUG_ON(td_chan->ongoing);
283de5d4453SRichard Röjfors 
284de5d4453SRichard Röjfors 	td_desc = list_entry(td_chan->queue.next, struct timb_dma_desc,
285de5d4453SRichard Röjfors 		desc_node);
286de5d4453SRichard Röjfors 
287de5d4453SRichard Röjfors 	dev_dbg(chan2dev(&td_chan->chan), "%s: started %u\n",
288de5d4453SRichard Röjfors 		__func__, td_desc->txd.cookie);
289de5d4453SRichard Röjfors 
290de5d4453SRichard Röjfors 	list_move(&td_desc->desc_node, &td_chan->active_list);
291de5d4453SRichard Röjfors 	__td_start_dma(td_chan);
292de5d4453SRichard Röjfors }
293de5d4453SRichard Röjfors 
td_tx_submit(struct dma_async_tx_descriptor * txd)294de5d4453SRichard Röjfors static dma_cookie_t td_tx_submit(struct dma_async_tx_descriptor *txd)
295de5d4453SRichard Röjfors {
296de5d4453SRichard Röjfors 	struct timb_dma_desc *td_desc = container_of(txd, struct timb_dma_desc,
297de5d4453SRichard Röjfors 		txd);
298de5d4453SRichard Röjfors 	struct timb_dma_chan *td_chan = container_of(txd->chan,
299de5d4453SRichard Röjfors 		struct timb_dma_chan, chan);
300de5d4453SRichard Röjfors 	dma_cookie_t cookie;
301de5d4453SRichard Röjfors 
302de5d4453SRichard Röjfors 	spin_lock_bh(&td_chan->lock);
303884485e1SRussell King - ARM Linux 	cookie = dma_cookie_assign(txd);
304de5d4453SRichard Röjfors 
305de5d4453SRichard Röjfors 	if (list_empty(&td_chan->active_list)) {
306de5d4453SRichard Röjfors 		dev_dbg(chan2dev(txd->chan), "%s: started %u\n", __func__,
307de5d4453SRichard Röjfors 			txd->cookie);
308de5d4453SRichard Röjfors 		list_add_tail(&td_desc->desc_node, &td_chan->active_list);
309de5d4453SRichard Röjfors 		__td_start_dma(td_chan);
310de5d4453SRichard Röjfors 	} else {
311de5d4453SRichard Röjfors 		dev_dbg(chan2dev(txd->chan), "tx_submit: queued %u\n",
312de5d4453SRichard Röjfors 			txd->cookie);
313de5d4453SRichard Röjfors 
314de5d4453SRichard Röjfors 		list_add_tail(&td_desc->desc_node, &td_chan->queue);
315de5d4453SRichard Röjfors 	}
316de5d4453SRichard Röjfors 
317de5d4453SRichard Röjfors 	spin_unlock_bh(&td_chan->lock);
318de5d4453SRichard Röjfors 
319de5d4453SRichard Röjfors 	return cookie;
320de5d4453SRichard Röjfors }
321de5d4453SRichard Röjfors 
td_alloc_init_desc(struct timb_dma_chan * td_chan)322de5d4453SRichard Röjfors static struct timb_dma_desc *td_alloc_init_desc(struct timb_dma_chan *td_chan)
323de5d4453SRichard Röjfors {
324de5d4453SRichard Röjfors 	struct dma_chan *chan = &td_chan->chan;
325de5d4453SRichard Röjfors 	struct timb_dma_desc *td_desc;
326de5d4453SRichard Röjfors 	int err;
327de5d4453SRichard Röjfors 
328de5d4453SRichard Röjfors 	td_desc = kzalloc(sizeof(struct timb_dma_desc), GFP_KERNEL);
329aef94feaSPeter Griffin 	if (!td_desc)
33048568005SJulia Lawall 		goto out;
331de5d4453SRichard Röjfors 
332de5d4453SRichard Röjfors 	td_desc->desc_list_len = td_chan->desc_elems * TIMB_DMA_DESC_SIZE;
333de5d4453SRichard Röjfors 
334de5d4453SRichard Röjfors 	td_desc->desc_list = kzalloc(td_desc->desc_list_len, GFP_KERNEL);
335aef94feaSPeter Griffin 	if (!td_desc->desc_list)
336de5d4453SRichard Röjfors 		goto err;
337de5d4453SRichard Röjfors 
338de5d4453SRichard Röjfors 	dma_async_tx_descriptor_init(&td_desc->txd, chan);
339de5d4453SRichard Röjfors 	td_desc->txd.tx_submit = td_tx_submit;
340de5d4453SRichard Röjfors 	td_desc->txd.flags = DMA_CTRL_ACK;
341de5d4453SRichard Röjfors 
342de5d4453SRichard Röjfors 	td_desc->txd.phys = dma_map_single(chan2dmadev(chan),
343d5613947SVinod Koul 		td_desc->desc_list, td_desc->desc_list_len, DMA_TO_DEVICE);
344de5d4453SRichard Röjfors 
345de5d4453SRichard Röjfors 	err = dma_mapping_error(chan2dmadev(chan), td_desc->txd.phys);
346de5d4453SRichard Röjfors 	if (err) {
347de5d4453SRichard Röjfors 		dev_err(chan2dev(chan), "DMA mapping error: %d\n", err);
348de5d4453SRichard Röjfors 		goto err;
349de5d4453SRichard Röjfors 	}
350de5d4453SRichard Röjfors 
351de5d4453SRichard Röjfors 	return td_desc;
352de5d4453SRichard Röjfors err:
353de5d4453SRichard Röjfors 	kfree(td_desc->desc_list);
354de5d4453SRichard Röjfors 	kfree(td_desc);
35548568005SJulia Lawall out:
356de5d4453SRichard Röjfors 	return NULL;
357de5d4453SRichard Röjfors 
358de5d4453SRichard Röjfors }
359de5d4453SRichard Röjfors 
td_free_desc(struct timb_dma_desc * td_desc)360de5d4453SRichard Röjfors static void td_free_desc(struct timb_dma_desc *td_desc)
361de5d4453SRichard Röjfors {
362de5d4453SRichard Röjfors 	dev_dbg(chan2dev(td_desc->txd.chan), "Freeing desc: %p\n", td_desc);
363de5d4453SRichard Röjfors 	dma_unmap_single(chan2dmadev(td_desc->txd.chan), td_desc->txd.phys,
364d5613947SVinod Koul 		td_desc->desc_list_len, DMA_TO_DEVICE);
365de5d4453SRichard Röjfors 
366de5d4453SRichard Röjfors 	kfree(td_desc->desc_list);
367de5d4453SRichard Röjfors 	kfree(td_desc);
368de5d4453SRichard Röjfors }
369de5d4453SRichard Röjfors 
td_desc_put(struct timb_dma_chan * td_chan,struct timb_dma_desc * td_desc)370de5d4453SRichard Röjfors static void td_desc_put(struct timb_dma_chan *td_chan,
371de5d4453SRichard Röjfors 	struct timb_dma_desc *td_desc)
372de5d4453SRichard Röjfors {
373de5d4453SRichard Röjfors 	dev_dbg(chan2dev(&td_chan->chan), "Putting desc: %p\n", td_desc);
374de5d4453SRichard Röjfors 
375de5d4453SRichard Röjfors 	spin_lock_bh(&td_chan->lock);
376de5d4453SRichard Röjfors 	list_add(&td_desc->desc_node, &td_chan->free_list);
377de5d4453SRichard Röjfors 	spin_unlock_bh(&td_chan->lock);
378de5d4453SRichard Röjfors }
379de5d4453SRichard Röjfors 
td_desc_get(struct timb_dma_chan * td_chan)380de5d4453SRichard Röjfors static struct timb_dma_desc *td_desc_get(struct timb_dma_chan *td_chan)
381de5d4453SRichard Röjfors {
382de5d4453SRichard Röjfors 	struct timb_dma_desc *td_desc, *_td_desc;
383de5d4453SRichard Röjfors 	struct timb_dma_desc *ret = NULL;
384de5d4453SRichard Röjfors 
385de5d4453SRichard Röjfors 	spin_lock_bh(&td_chan->lock);
386de5d4453SRichard Röjfors 	list_for_each_entry_safe(td_desc, _td_desc, &td_chan->free_list,
387de5d4453SRichard Röjfors 		desc_node) {
388de5d4453SRichard Röjfors 		if (async_tx_test_ack(&td_desc->txd)) {
389de5d4453SRichard Röjfors 			list_del(&td_desc->desc_node);
390de5d4453SRichard Röjfors 			ret = td_desc;
391de5d4453SRichard Röjfors 			break;
392de5d4453SRichard Röjfors 		}
393de5d4453SRichard Röjfors 		dev_dbg(chan2dev(&td_chan->chan), "desc %p not ACKed\n",
394de5d4453SRichard Röjfors 			td_desc);
395de5d4453SRichard Röjfors 	}
396de5d4453SRichard Röjfors 	spin_unlock_bh(&td_chan->lock);
397de5d4453SRichard Röjfors 
398de5d4453SRichard Röjfors 	return ret;
399de5d4453SRichard Röjfors }
400de5d4453SRichard Röjfors 
td_alloc_chan_resources(struct dma_chan * chan)401de5d4453SRichard Röjfors static int td_alloc_chan_resources(struct dma_chan *chan)
402de5d4453SRichard Röjfors {
403de5d4453SRichard Röjfors 	struct timb_dma_chan *td_chan =
404de5d4453SRichard Röjfors 		container_of(chan, struct timb_dma_chan, chan);
405de5d4453SRichard Röjfors 	int i;
406de5d4453SRichard Röjfors 
407de5d4453SRichard Röjfors 	dev_dbg(chan2dev(chan), "%s: entry\n", __func__);
408de5d4453SRichard Röjfors 
409de5d4453SRichard Röjfors 	BUG_ON(!list_empty(&td_chan->free_list));
410de5d4453SRichard Röjfors 	for (i = 0; i < td_chan->descs; i++) {
411de5d4453SRichard Röjfors 		struct timb_dma_desc *td_desc = td_alloc_init_desc(td_chan);
412de5d4453SRichard Röjfors 		if (!td_desc) {
413de5d4453SRichard Röjfors 			if (i)
414de5d4453SRichard Röjfors 				break;
415de5d4453SRichard Röjfors 			else {
416de5d4453SRichard Röjfors 				dev_err(chan2dev(chan),
417dd54006fSColin Ian King 					"Couldn't allocate any descriptors\n");
418de5d4453SRichard Röjfors 				return -ENOMEM;
419de5d4453SRichard Röjfors 			}
420de5d4453SRichard Röjfors 		}
421de5d4453SRichard Röjfors 
422de5d4453SRichard Röjfors 		td_desc_put(td_chan, td_desc);
423de5d4453SRichard Röjfors 	}
424de5d4453SRichard Röjfors 
425de5d4453SRichard Röjfors 	spin_lock_bh(&td_chan->lock);
426d3ee98cdSRussell King - ARM Linux 	dma_cookie_init(chan);
427de5d4453SRichard Röjfors 	spin_unlock_bh(&td_chan->lock);
428de5d4453SRichard Röjfors 
429de5d4453SRichard Röjfors 	return 0;
430de5d4453SRichard Röjfors }
431de5d4453SRichard Röjfors 
td_free_chan_resources(struct dma_chan * chan)432de5d4453SRichard Röjfors static void td_free_chan_resources(struct dma_chan *chan)
433de5d4453SRichard Röjfors {
434de5d4453SRichard Röjfors 	struct timb_dma_chan *td_chan =
435de5d4453SRichard Röjfors 		container_of(chan, struct timb_dma_chan, chan);
436de5d4453SRichard Röjfors 	struct timb_dma_desc *td_desc, *_td_desc;
437de5d4453SRichard Röjfors 	LIST_HEAD(list);
438de5d4453SRichard Röjfors 
439de5d4453SRichard Röjfors 	dev_dbg(chan2dev(chan), "%s: Entry\n", __func__);
440de5d4453SRichard Röjfors 
441de5d4453SRichard Röjfors 	/* check that all descriptors are free */
442de5d4453SRichard Röjfors 	BUG_ON(!list_empty(&td_chan->active_list));
443de5d4453SRichard Röjfors 	BUG_ON(!list_empty(&td_chan->queue));
444de5d4453SRichard Röjfors 
445de5d4453SRichard Röjfors 	spin_lock_bh(&td_chan->lock);
446de5d4453SRichard Röjfors 	list_splice_init(&td_chan->free_list, &list);
447de5d4453SRichard Röjfors 	spin_unlock_bh(&td_chan->lock);
448de5d4453SRichard Röjfors 
449de5d4453SRichard Röjfors 	list_for_each_entry_safe(td_desc, _td_desc, &list, desc_node) {
450de5d4453SRichard Röjfors 		dev_dbg(chan2dev(chan), "%s: Freeing desc: %p\n", __func__,
451de5d4453SRichard Röjfors 			td_desc);
452de5d4453SRichard Röjfors 		td_free_desc(td_desc);
453de5d4453SRichard Röjfors 	}
454de5d4453SRichard Röjfors }
455de5d4453SRichard Röjfors 
td_tx_status(struct dma_chan * chan,dma_cookie_t cookie,struct dma_tx_state * txstate)45607934481SLinus Walleij static enum dma_status td_tx_status(struct dma_chan *chan, dma_cookie_t cookie,
45707934481SLinus Walleij 				    struct dma_tx_state *txstate)
458de5d4453SRichard Röjfors {
45996a2af41SRussell King - ARM Linux 	enum dma_status ret;
460de5d4453SRichard Röjfors 
461de5d4453SRichard Röjfors 	dev_dbg(chan2dev(chan), "%s: Entry\n", __func__);
462de5d4453SRichard Röjfors 
46396a2af41SRussell King - ARM Linux 	ret = dma_cookie_status(chan, cookie, txstate);
464de5d4453SRichard Röjfors 
465949ff5b8SVinod Koul 	dev_dbg(chan2dev(chan), "%s: exit, ret: %d\n", 	__func__, ret);
466de5d4453SRichard Röjfors 
467de5d4453SRichard Röjfors 	return ret;
468de5d4453SRichard Röjfors }
469de5d4453SRichard Röjfors 
td_issue_pending(struct dma_chan * chan)470de5d4453SRichard Röjfors static void td_issue_pending(struct dma_chan *chan)
471de5d4453SRichard Röjfors {
472de5d4453SRichard Röjfors 	struct timb_dma_chan *td_chan =
473de5d4453SRichard Röjfors 		container_of(chan, struct timb_dma_chan, chan);
474de5d4453SRichard Röjfors 
475de5d4453SRichard Röjfors 	dev_dbg(chan2dev(chan), "%s: Entry\n", __func__);
476de5d4453SRichard Röjfors 	spin_lock_bh(&td_chan->lock);
477de5d4453SRichard Röjfors 
478de5d4453SRichard Röjfors 	if (!list_empty(&td_chan->active_list))
479de5d4453SRichard Röjfors 		/* transfer ongoing */
480de5d4453SRichard Röjfors 		if (__td_dma_done_ack(td_chan))
481de5d4453SRichard Röjfors 			__td_finish(td_chan);
482de5d4453SRichard Röjfors 
483de5d4453SRichard Röjfors 	if (list_empty(&td_chan->active_list) && !list_empty(&td_chan->queue))
484de5d4453SRichard Röjfors 		__td_start_next(td_chan);
485de5d4453SRichard Röjfors 
486de5d4453SRichard Röjfors 	spin_unlock_bh(&td_chan->lock);
487de5d4453SRichard Röjfors }
488de5d4453SRichard Röjfors 
td_prep_slave_sg(struct dma_chan * chan,struct scatterlist * sgl,unsigned int sg_len,enum dma_transfer_direction direction,unsigned long flags,void * context)489de5d4453SRichard Röjfors static struct dma_async_tx_descriptor *td_prep_slave_sg(struct dma_chan *chan,
490de5d4453SRichard Röjfors 	struct scatterlist *sgl, unsigned int sg_len,
491185ecb5fSAlexandre Bounine 	enum dma_transfer_direction direction, unsigned long flags,
492185ecb5fSAlexandre Bounine 	void *context)
493de5d4453SRichard Röjfors {
494de5d4453SRichard Röjfors 	struct timb_dma_chan *td_chan =
495de5d4453SRichard Röjfors 		container_of(chan, struct timb_dma_chan, chan);
496de5d4453SRichard Röjfors 	struct timb_dma_desc *td_desc;
497de5d4453SRichard Röjfors 	struct scatterlist *sg;
498de5d4453SRichard Röjfors 	unsigned int i;
499de5d4453SRichard Röjfors 	unsigned int desc_usage = 0;
500de5d4453SRichard Röjfors 
501de5d4453SRichard Röjfors 	if (!sgl || !sg_len) {
502de5d4453SRichard Röjfors 		dev_err(chan2dev(chan), "%s: No SG list\n", __func__);
503de5d4453SRichard Röjfors 		return NULL;
504de5d4453SRichard Röjfors 	}
505de5d4453SRichard Röjfors 
506de5d4453SRichard Röjfors 	/* even channels are for RX, odd for TX */
507de5d4453SRichard Röjfors 	if (td_chan->direction != direction) {
508de5d4453SRichard Röjfors 		dev_err(chan2dev(chan),
509de5d4453SRichard Röjfors 			"Requesting channel in wrong direction\n");
510de5d4453SRichard Röjfors 		return NULL;
511de5d4453SRichard Röjfors 	}
512de5d4453SRichard Röjfors 
513de5d4453SRichard Röjfors 	td_desc = td_desc_get(td_chan);
514de5d4453SRichard Röjfors 	if (!td_desc) {
515de5d4453SRichard Röjfors 		dev_err(chan2dev(chan), "Not enough descriptors available\n");
516de5d4453SRichard Röjfors 		return NULL;
517de5d4453SRichard Röjfors 	}
518de5d4453SRichard Röjfors 
519de5d4453SRichard Röjfors 	td_desc->interrupt = (flags & DMA_PREP_INTERRUPT) != 0;
520de5d4453SRichard Röjfors 
521de5d4453SRichard Röjfors 	for_each_sg(sgl, sg, sg_len, i) {
522de5d4453SRichard Röjfors 		int err;
523de5d4453SRichard Röjfors 		if (desc_usage > td_desc->desc_list_len) {
524de5d4453SRichard Röjfors 			dev_err(chan2dev(chan), "No descriptor space\n");
525de5d4453SRichard Röjfors 			return NULL;
526de5d4453SRichard Röjfors 		}
527de5d4453SRichard Röjfors 
528de5d4453SRichard Röjfors 		err = td_fill_desc(td_chan, td_desc->desc_list + desc_usage, sg,
529de5d4453SRichard Röjfors 			i == (sg_len - 1));
530de5d4453SRichard Röjfors 		if (err) {
531de5d4453SRichard Röjfors 			dev_err(chan2dev(chan), "Failed to update desc: %d\n",
532de5d4453SRichard Röjfors 				err);
533de5d4453SRichard Röjfors 			td_desc_put(td_chan, td_desc);
534de5d4453SRichard Röjfors 			return NULL;
535de5d4453SRichard Röjfors 		}
536de5d4453SRichard Röjfors 		desc_usage += TIMB_DMA_DESC_SIZE;
537de5d4453SRichard Röjfors 	}
538de5d4453SRichard Röjfors 
539de5d4453SRichard Röjfors 	dma_sync_single_for_device(chan2dmadev(chan), td_desc->txd.phys,
5405e621f5dSNathan Chancellor 		td_desc->desc_list_len, DMA_TO_DEVICE);
541de5d4453SRichard Röjfors 
542de5d4453SRichard Röjfors 	return &td_desc->txd;
543de5d4453SRichard Röjfors }
544de5d4453SRichard Röjfors 
td_terminate_all(struct dma_chan * chan)5452c55536aSMaxime Ripard static int td_terminate_all(struct dma_chan *chan)
546de5d4453SRichard Röjfors {
547de5d4453SRichard Röjfors 	struct timb_dma_chan *td_chan =
548de5d4453SRichard Röjfors 		container_of(chan, struct timb_dma_chan, chan);
549de5d4453SRichard Röjfors 	struct timb_dma_desc *td_desc, *_td_desc;
550de5d4453SRichard Röjfors 
551de5d4453SRichard Röjfors 	dev_dbg(chan2dev(chan), "%s: Entry\n", __func__);
552de5d4453SRichard Röjfors 
553de5d4453SRichard Röjfors 	/* first the easy part, put the queue into the free list */
554de5d4453SRichard Röjfors 	spin_lock_bh(&td_chan->lock);
555de5d4453SRichard Röjfors 	list_for_each_entry_safe(td_desc, _td_desc, &td_chan->queue,
556de5d4453SRichard Röjfors 		desc_node)
557de5d4453SRichard Röjfors 		list_move(&td_desc->desc_node, &td_chan->free_list);
558de5d4453SRichard Röjfors 
559ae0e47f0SJustin P. Mattock 	/* now tear down the running */
560de5d4453SRichard Röjfors 	__td_finish(td_chan);
561de5d4453SRichard Röjfors 	spin_unlock_bh(&td_chan->lock);
562c3635c78SLinus Walleij 
563c3635c78SLinus Walleij 	return 0;
564de5d4453SRichard Röjfors }
565de5d4453SRichard Röjfors 
td_tasklet(struct tasklet_struct * t)566*83547958SAllen Pais static void td_tasklet(struct tasklet_struct *t)
567de5d4453SRichard Röjfors {
568*83547958SAllen Pais 	struct timb_dma *td = from_tasklet(td, t, tasklet);
569de5d4453SRichard Röjfors 	u32 isr;
570de5d4453SRichard Röjfors 	u32 ipr;
571de5d4453SRichard Röjfors 	u32 ier;
572de5d4453SRichard Röjfors 	int i;
573de5d4453SRichard Röjfors 
574de5d4453SRichard Röjfors 	isr = ioread32(td->membase + TIMBDMA_ISR);
575de5d4453SRichard Röjfors 	ipr = isr & __td_ier_mask(td);
576de5d4453SRichard Röjfors 
577de5d4453SRichard Röjfors 	/* ack the interrupts */
578de5d4453SRichard Röjfors 	iowrite32(ipr, td->membase + TIMBDMA_ISR);
579de5d4453SRichard Röjfors 
580de5d4453SRichard Röjfors 	for (i = 0; i < td->dma.chancnt; i++)
581de5d4453SRichard Röjfors 		if (ipr & (1 << i)) {
582de5d4453SRichard Röjfors 			struct timb_dma_chan *td_chan = td->channels + i;
583de5d4453SRichard Röjfors 			spin_lock(&td_chan->lock);
584de5d4453SRichard Röjfors 			__td_finish(td_chan);
585de5d4453SRichard Röjfors 			if (!list_empty(&td_chan->queue))
586de5d4453SRichard Röjfors 				__td_start_next(td_chan);
587de5d4453SRichard Röjfors 			spin_unlock(&td_chan->lock);
588de5d4453SRichard Röjfors 		}
589de5d4453SRichard Röjfors 
590de5d4453SRichard Röjfors 	ier = __td_ier_mask(td);
591de5d4453SRichard Röjfors 	iowrite32(ier, td->membase + TIMBDMA_IER);
592de5d4453SRichard Röjfors }
593de5d4453SRichard Röjfors 
594de5d4453SRichard Röjfors 
td_irq(int irq,void * devid)595de5d4453SRichard Röjfors static irqreturn_t td_irq(int irq, void *devid)
596de5d4453SRichard Röjfors {
597de5d4453SRichard Röjfors 	struct timb_dma *td = devid;
598de5d4453SRichard Röjfors 	u32 ipr = ioread32(td->membase + TIMBDMA_IPR);
599de5d4453SRichard Röjfors 
600de5d4453SRichard Röjfors 	if (ipr) {
601de5d4453SRichard Röjfors 		/* disable interrupts, will be re-enabled in tasklet */
602de5d4453SRichard Röjfors 		iowrite32(0, td->membase + TIMBDMA_IER);
603de5d4453SRichard Röjfors 
604de5d4453SRichard Röjfors 		tasklet_schedule(&td->tasklet);
605de5d4453SRichard Röjfors 
606de5d4453SRichard Röjfors 		return IRQ_HANDLED;
607de5d4453SRichard Röjfors 	} else
608de5d4453SRichard Röjfors 		return IRQ_NONE;
609de5d4453SRichard Röjfors }
610de5d4453SRichard Röjfors 
611de5d4453SRichard Röjfors 
td_probe(struct platform_device * pdev)612463a1f8bSBill Pemberton static int td_probe(struct platform_device *pdev)
613de5d4453SRichard Röjfors {
614d4adcc01SJingoo Han 	struct timb_dma_platform_data *pdata = dev_get_platdata(&pdev->dev);
615de5d4453SRichard Röjfors 	struct timb_dma *td;
616de5d4453SRichard Röjfors 	struct resource *iomem;
617de5d4453SRichard Röjfors 	int irq;
618de5d4453SRichard Röjfors 	int err;
619de5d4453SRichard Röjfors 	int i;
620de5d4453SRichard Röjfors 
621de5d4453SRichard Röjfors 	if (!pdata) {
622de5d4453SRichard Röjfors 		dev_err(&pdev->dev, "No platform data\n");
623de5d4453SRichard Röjfors 		return -EINVAL;
624de5d4453SRichard Röjfors 	}
625de5d4453SRichard Röjfors 
626de5d4453SRichard Röjfors 	iomem = platform_get_resource(pdev, IORESOURCE_MEM, 0);
627de5d4453SRichard Röjfors 	if (!iomem)
628de5d4453SRichard Röjfors 		return -EINVAL;
629de5d4453SRichard Röjfors 
630de5d4453SRichard Röjfors 	irq = platform_get_irq(pdev, 0);
631de5d4453SRichard Röjfors 	if (irq < 0)
632de5d4453SRichard Röjfors 		return irq;
633de5d4453SRichard Röjfors 
634de5d4453SRichard Röjfors 	if (!request_mem_region(iomem->start, resource_size(iomem),
635de5d4453SRichard Röjfors 		DRIVER_NAME))
636de5d4453SRichard Röjfors 		return -EBUSY;
637de5d4453SRichard Röjfors 
6383c215fd8SGustavo A. R. Silva 	td  = kzalloc(struct_size(td, channels, pdata->nr_channels),
6393c215fd8SGustavo A. R. Silva 		      GFP_KERNEL);
640de5d4453SRichard Röjfors 	if (!td) {
641de5d4453SRichard Röjfors 		err = -ENOMEM;
642de5d4453SRichard Röjfors 		goto err_release_region;
643de5d4453SRichard Röjfors 	}
644de5d4453SRichard Röjfors 
645de5d4453SRichard Röjfors 	dev_dbg(&pdev->dev, "Allocated TD: %p\n", td);
646de5d4453SRichard Röjfors 
647de5d4453SRichard Röjfors 	td->membase = ioremap(iomem->start, resource_size(iomem));
648de5d4453SRichard Röjfors 	if (!td->membase) {
649de5d4453SRichard Röjfors 		dev_err(&pdev->dev, "Failed to remap I/O memory\n");
650de5d4453SRichard Röjfors 		err = -ENOMEM;
651de5d4453SRichard Röjfors 		goto err_free_mem;
652de5d4453SRichard Röjfors 	}
653de5d4453SRichard Röjfors 
654de5d4453SRichard Röjfors 	/* 32bit addressing */
655de5d4453SRichard Röjfors 	iowrite32(TIMBDMA_32BIT_ADDR, td->membase + TIMBDMA_ACR);
656de5d4453SRichard Röjfors 
657de5d4453SRichard Röjfors 	/* disable and clear any interrupts */
658de5d4453SRichard Röjfors 	iowrite32(0x0, td->membase + TIMBDMA_IER);
659de5d4453SRichard Röjfors 	iowrite32(0xFFFFFFFF, td->membase + TIMBDMA_ISR);
660de5d4453SRichard Röjfors 
661*83547958SAllen Pais 	tasklet_setup(&td->tasklet, td_tasklet);
662de5d4453SRichard Röjfors 
663de5d4453SRichard Röjfors 	err = request_irq(irq, td_irq, IRQF_SHARED, DRIVER_NAME, td);
664de5d4453SRichard Röjfors 	if (err) {
665de5d4453SRichard Röjfors 		dev_err(&pdev->dev, "Failed to request IRQ\n");
666de5d4453SRichard Röjfors 		goto err_tasklet_kill;
667de5d4453SRichard Röjfors 	}
668de5d4453SRichard Röjfors 
669de5d4453SRichard Röjfors 	td->dma.device_alloc_chan_resources	= td_alloc_chan_resources;
670de5d4453SRichard Röjfors 	td->dma.device_free_chan_resources	= td_free_chan_resources;
67107934481SLinus Walleij 	td->dma.device_tx_status		= td_tx_status;
672de5d4453SRichard Röjfors 	td->dma.device_issue_pending		= td_issue_pending;
673de5d4453SRichard Röjfors 
674de5d4453SRichard Röjfors 	dma_cap_set(DMA_SLAVE, td->dma.cap_mask);
675de5d4453SRichard Röjfors 	dma_cap_set(DMA_PRIVATE, td->dma.cap_mask);
676de5d4453SRichard Röjfors 	td->dma.device_prep_slave_sg = td_prep_slave_sg;
6772c55536aSMaxime Ripard 	td->dma.device_terminate_all = td_terminate_all;
678de5d4453SRichard Röjfors 
679de5d4453SRichard Röjfors 	td->dma.dev = &pdev->dev;
680de5d4453SRichard Röjfors 
681de5d4453SRichard Röjfors 	INIT_LIST_HEAD(&td->dma.channels);
682de5d4453SRichard Röjfors 
68346389470SBarry Song 	for (i = 0; i < pdata->nr_channels; i++) {
684de5d4453SRichard Röjfors 		struct timb_dma_chan *td_chan = &td->channels[i];
685de5d4453SRichard Röjfors 		struct timb_dma_platform_data_channel *pchan =
686de5d4453SRichard Röjfors 			pdata->channels + i;
687de5d4453SRichard Röjfors 
688de5d4453SRichard Röjfors 		/* even channels are RX, odd are TX */
6899cb047d4SNicolas Kaiser 		if ((i % 2) == pchan->rx) {
690de5d4453SRichard Röjfors 			dev_err(&pdev->dev, "Wrong channel configuration\n");
691de5d4453SRichard Röjfors 			err = -EINVAL;
692f80befe0SDan Carpenter 			goto err_free_irq;
693de5d4453SRichard Röjfors 		}
694de5d4453SRichard Röjfors 
695de5d4453SRichard Röjfors 		td_chan->chan.device = &td->dma;
696d3ee98cdSRussell King - ARM Linux 		dma_cookie_init(&td_chan->chan);
697de5d4453SRichard Röjfors 		spin_lock_init(&td_chan->lock);
698de5d4453SRichard Röjfors 		INIT_LIST_HEAD(&td_chan->active_list);
699de5d4453SRichard Röjfors 		INIT_LIST_HEAD(&td_chan->queue);
700de5d4453SRichard Röjfors 		INIT_LIST_HEAD(&td_chan->free_list);
701de5d4453SRichard Röjfors 
702de5d4453SRichard Röjfors 		td_chan->descs = pchan->descriptors;
703de5d4453SRichard Röjfors 		td_chan->desc_elems = pchan->descriptor_elements;
704de5d4453SRichard Röjfors 		td_chan->bytes_per_line = pchan->bytes_per_line;
705db8196dfSVinod Koul 		td_chan->direction = pchan->rx ? DMA_DEV_TO_MEM :
706db8196dfSVinod Koul 			DMA_MEM_TO_DEV;
707de5d4453SRichard Röjfors 
708de5d4453SRichard Röjfors 		td_chan->membase = td->membase +
709de5d4453SRichard Röjfors 			(i / 2) * TIMBDMA_INSTANCE_OFFSET +
710de5d4453SRichard Röjfors 			(pchan->rx ? 0 : TIMBDMA_INSTANCE_TX_OFFSET);
711de5d4453SRichard Röjfors 
712de5d4453SRichard Röjfors 		dev_dbg(&pdev->dev, "Chan: %d, membase: %p\n",
713de5d4453SRichard Röjfors 			i, td_chan->membase);
714de5d4453SRichard Röjfors 
715de5d4453SRichard Röjfors 		list_add_tail(&td_chan->chan.device_node, &td->dma.channels);
716de5d4453SRichard Röjfors 	}
717de5d4453SRichard Röjfors 
718de5d4453SRichard Röjfors 	err = dma_async_device_register(&td->dma);
719de5d4453SRichard Röjfors 	if (err) {
720de5d4453SRichard Röjfors 		dev_err(&pdev->dev, "Failed to register async device\n");
721de5d4453SRichard Röjfors 		goto err_free_irq;
722de5d4453SRichard Röjfors 	}
723de5d4453SRichard Röjfors 
724de5d4453SRichard Röjfors 	platform_set_drvdata(pdev, td);
725de5d4453SRichard Röjfors 
726de5d4453SRichard Röjfors 	dev_dbg(&pdev->dev, "Probe result: %d\n", err);
727de5d4453SRichard Röjfors 	return err;
728de5d4453SRichard Röjfors 
729de5d4453SRichard Röjfors err_free_irq:
730de5d4453SRichard Röjfors 	free_irq(irq, td);
731de5d4453SRichard Röjfors err_tasklet_kill:
732de5d4453SRichard Röjfors 	tasklet_kill(&td->tasklet);
733de5d4453SRichard Röjfors 	iounmap(td->membase);
734de5d4453SRichard Röjfors err_free_mem:
735de5d4453SRichard Röjfors 	kfree(td);
736de5d4453SRichard Röjfors err_release_region:
737de5d4453SRichard Röjfors 	release_mem_region(iomem->start, resource_size(iomem));
738de5d4453SRichard Röjfors 
739de5d4453SRichard Röjfors 	return err;
740de5d4453SRichard Röjfors 
741de5d4453SRichard Röjfors }
742de5d4453SRichard Röjfors 
td_remove(struct platform_device * pdev)7434bf27b8bSGreg Kroah-Hartman static int td_remove(struct platform_device *pdev)
744de5d4453SRichard Röjfors {
745de5d4453SRichard Röjfors 	struct timb_dma *td = platform_get_drvdata(pdev);
746de5d4453SRichard Röjfors 	struct resource *iomem = platform_get_resource(pdev, IORESOURCE_MEM, 0);
747de5d4453SRichard Röjfors 	int irq = platform_get_irq(pdev, 0);
748de5d4453SRichard Röjfors 
749de5d4453SRichard Röjfors 	dma_async_device_unregister(&td->dma);
750de5d4453SRichard Röjfors 	free_irq(irq, td);
751de5d4453SRichard Röjfors 	tasklet_kill(&td->tasklet);
752de5d4453SRichard Röjfors 	iounmap(td->membase);
753de5d4453SRichard Röjfors 	kfree(td);
754de5d4453SRichard Röjfors 	release_mem_region(iomem->start, resource_size(iomem));
755de5d4453SRichard Röjfors 
756de5d4453SRichard Röjfors 	dev_dbg(&pdev->dev, "Removed...\n");
757de5d4453SRichard Röjfors 	return 0;
758de5d4453SRichard Röjfors }
759de5d4453SRichard Röjfors 
760de5d4453SRichard Röjfors static struct platform_driver td_driver = {
761de5d4453SRichard Röjfors 	.driver = {
762de5d4453SRichard Röjfors 		.name	= DRIVER_NAME,
763de5d4453SRichard Röjfors 	},
764de5d4453SRichard Röjfors 	.probe	= td_probe,
765234846d4SMaxin B. John 	.remove	= td_remove,
766de5d4453SRichard Röjfors };
767de5d4453SRichard Röjfors 
768c94e9105SAxel Lin module_platform_driver(td_driver);
769de5d4453SRichard Röjfors 
770de5d4453SRichard Röjfors MODULE_LICENSE("GPL v2");
771de5d4453SRichard Röjfors MODULE_DESCRIPTION("Timberdale DMA controller driver");
772de5d4453SRichard Röjfors MODULE_AUTHOR("Pelagicore AB <info@pelagicore.com>");
773de5d4453SRichard Röjfors MODULE_ALIAS("platform:"DRIVER_NAME);
774