11802d0beSThomas Gleixner // SPDX-License-Identifier: GPL-2.0-only
2de5d4453SRichard Röjfors /*
3de5d4453SRichard Röjfors * timb_dma.c timberdale FPGA DMA driver
4de5d4453SRichard Röjfors * Copyright (c) 2010 Intel Corporation
5de5d4453SRichard Röjfors */
6de5d4453SRichard Röjfors
7de5d4453SRichard Röjfors /* Supports:
8de5d4453SRichard Röjfors * Timberdale FPGA DMA engine
9de5d4453SRichard Röjfors */
10de5d4453SRichard Röjfors
11de5d4453SRichard Röjfors #include <linux/dmaengine.h>
12de5d4453SRichard Röjfors #include <linux/dma-mapping.h>
13de5d4453SRichard Röjfors #include <linux/init.h>
14de5d4453SRichard Röjfors #include <linux/interrupt.h>
15de5d4453SRichard Röjfors #include <linux/io.h>
16de5d4453SRichard Röjfors #include <linux/module.h>
17de5d4453SRichard Röjfors #include <linux/platform_device.h>
186a3cd3eaSStephen Rothwell #include <linux/slab.h>
19de5d4453SRichard Röjfors
20de5d4453SRichard Röjfors #include <linux/timb_dma.h>
21de5d4453SRichard Röjfors
22d2ebfb33SRussell King - ARM Linux #include "dmaengine.h"
23d2ebfb33SRussell King - ARM Linux
24de5d4453SRichard Röjfors #define DRIVER_NAME "timb-dma"
25de5d4453SRichard Röjfors
26de5d4453SRichard Röjfors /* Global DMA registers */
27de5d4453SRichard Röjfors #define TIMBDMA_ACR 0x34
28de5d4453SRichard Röjfors #define TIMBDMA_32BIT_ADDR 0x01
29de5d4453SRichard Röjfors
30de5d4453SRichard Röjfors #define TIMBDMA_ISR 0x080000
31de5d4453SRichard Röjfors #define TIMBDMA_IPR 0x080004
32de5d4453SRichard Röjfors #define TIMBDMA_IER 0x080008
33de5d4453SRichard Röjfors
34de5d4453SRichard Röjfors /* Channel specific registers */
35de5d4453SRichard Röjfors /* RX instances base addresses are 0x00, 0x40, 0x80 ...
36de5d4453SRichard Röjfors * TX instances base addresses are 0x18, 0x58, 0x98 ...
37de5d4453SRichard Röjfors */
38de5d4453SRichard Röjfors #define TIMBDMA_INSTANCE_OFFSET 0x40
39de5d4453SRichard Röjfors #define TIMBDMA_INSTANCE_TX_OFFSET 0x18
40de5d4453SRichard Röjfors
41de5d4453SRichard Röjfors /* RX registers, relative the instance base */
42de5d4453SRichard Röjfors #define TIMBDMA_OFFS_RX_DHAR 0x00
43de5d4453SRichard Röjfors #define TIMBDMA_OFFS_RX_DLAR 0x04
44de5d4453SRichard Röjfors #define TIMBDMA_OFFS_RX_LR 0x0C
45de5d4453SRichard Röjfors #define TIMBDMA_OFFS_RX_BLR 0x10
46de5d4453SRichard Röjfors #define TIMBDMA_OFFS_RX_ER 0x14
47de5d4453SRichard Röjfors #define TIMBDMA_RX_EN 0x01
48de5d4453SRichard Röjfors /* bytes per Row, video specific register
49de5d4453SRichard Röjfors * which is placed after the TX registers...
50de5d4453SRichard Röjfors */
51de5d4453SRichard Röjfors #define TIMBDMA_OFFS_RX_BPRR 0x30
52de5d4453SRichard Röjfors
53de5d4453SRichard Röjfors /* TX registers, relative the instance base */
54de5d4453SRichard Röjfors #define TIMBDMA_OFFS_TX_DHAR 0x00
55de5d4453SRichard Röjfors #define TIMBDMA_OFFS_TX_DLAR 0x04
56de5d4453SRichard Röjfors #define TIMBDMA_OFFS_TX_BLR 0x0C
57de5d4453SRichard Röjfors #define TIMBDMA_OFFS_TX_LR 0x14
58de5d4453SRichard Röjfors
59de5d4453SRichard Röjfors
60de5d4453SRichard Röjfors #define TIMB_DMA_DESC_SIZE 8
61de5d4453SRichard Röjfors
62de5d4453SRichard Röjfors struct timb_dma_desc {
63de5d4453SRichard Röjfors struct list_head desc_node;
64de5d4453SRichard Röjfors struct dma_async_tx_descriptor txd;
65de5d4453SRichard Röjfors u8 *desc_list;
66de5d4453SRichard Röjfors unsigned int desc_list_len;
67de5d4453SRichard Röjfors bool interrupt;
68de5d4453SRichard Röjfors };
69de5d4453SRichard Röjfors
70de5d4453SRichard Röjfors struct timb_dma_chan {
71de5d4453SRichard Röjfors struct dma_chan chan;
72de5d4453SRichard Röjfors void __iomem *membase;
730f65169bSRichard Röjfors spinlock_t lock; /* Used to protect data structures,
740f65169bSRichard Röjfors especially the lists and descriptors,
750f65169bSRichard Röjfors from races between the tasklet and calls
760f65169bSRichard Röjfors from above */
77de5d4453SRichard Röjfors bool ongoing;
78de5d4453SRichard Röjfors struct list_head active_list;
79de5d4453SRichard Röjfors struct list_head queue;
80de5d4453SRichard Röjfors struct list_head free_list;
81de5d4453SRichard Röjfors unsigned int bytes_per_line;
82db8196dfSVinod Koul enum dma_transfer_direction direction;
83de5d4453SRichard Röjfors unsigned int descs; /* Descriptors to allocate */
84de5d4453SRichard Röjfors unsigned int desc_elems; /* number of elems per descriptor */
85de5d4453SRichard Röjfors };
86de5d4453SRichard Röjfors
87de5d4453SRichard Röjfors struct timb_dma {
88de5d4453SRichard Röjfors struct dma_device dma;
89de5d4453SRichard Röjfors void __iomem *membase;
90de5d4453SRichard Röjfors struct tasklet_struct tasklet;
91466f966bSGustavo A. R. Silva struct timb_dma_chan channels[];
92de5d4453SRichard Röjfors };
93de5d4453SRichard Röjfors
chan2dev(struct dma_chan * chan)94de5d4453SRichard Röjfors static struct device *chan2dev(struct dma_chan *chan)
95de5d4453SRichard Röjfors {
96de5d4453SRichard Röjfors return &chan->dev->device;
97de5d4453SRichard Röjfors }
chan2dmadev(struct dma_chan * chan)98de5d4453SRichard Röjfors static struct device *chan2dmadev(struct dma_chan *chan)
99de5d4453SRichard Röjfors {
100de5d4453SRichard Röjfors return chan2dev(chan)->parent->parent;
101de5d4453SRichard Röjfors }
102de5d4453SRichard Röjfors
tdchantotd(struct timb_dma_chan * td_chan)103de5d4453SRichard Röjfors static struct timb_dma *tdchantotd(struct timb_dma_chan *td_chan)
104de5d4453SRichard Röjfors {
105de5d4453SRichard Röjfors int id = td_chan->chan.chan_id;
106de5d4453SRichard Röjfors return (struct timb_dma *)((u8 *)td_chan -
107de5d4453SRichard Röjfors id * sizeof(struct timb_dma_chan) - sizeof(struct timb_dma));
108de5d4453SRichard Röjfors }
109de5d4453SRichard Röjfors
110de5d4453SRichard Röjfors /* Must be called with the spinlock held */
__td_enable_chan_irq(struct timb_dma_chan * td_chan)111de5d4453SRichard Röjfors static void __td_enable_chan_irq(struct timb_dma_chan *td_chan)
112de5d4453SRichard Röjfors {
113de5d4453SRichard Röjfors int id = td_chan->chan.chan_id;
114de5d4453SRichard Röjfors struct timb_dma *td = tdchantotd(td_chan);
115de5d4453SRichard Röjfors u32 ier;
116de5d4453SRichard Röjfors
117de5d4453SRichard Röjfors /* enable interrupt for this channel */
118de5d4453SRichard Röjfors ier = ioread32(td->membase + TIMBDMA_IER);
119de5d4453SRichard Röjfors ier |= 1 << id;
120de5d4453SRichard Röjfors dev_dbg(chan2dev(&td_chan->chan), "Enabling irq: %d, IER: 0x%x\n", id,
121de5d4453SRichard Röjfors ier);
122de5d4453SRichard Röjfors iowrite32(ier, td->membase + TIMBDMA_IER);
123de5d4453SRichard Röjfors }
124de5d4453SRichard Röjfors
125de5d4453SRichard Röjfors /* Should be called with the spinlock held */
__td_dma_done_ack(struct timb_dma_chan * td_chan)126de5d4453SRichard Röjfors static bool __td_dma_done_ack(struct timb_dma_chan *td_chan)
127de5d4453SRichard Röjfors {
128de5d4453SRichard Röjfors int id = td_chan->chan.chan_id;
129de5d4453SRichard Röjfors struct timb_dma *td = (struct timb_dma *)((u8 *)td_chan -
130de5d4453SRichard Röjfors id * sizeof(struct timb_dma_chan) - sizeof(struct timb_dma));
131de5d4453SRichard Röjfors u32 isr;
132de5d4453SRichard Röjfors bool done = false;
133de5d4453SRichard Röjfors
134de5d4453SRichard Röjfors dev_dbg(chan2dev(&td_chan->chan), "Checking irq: %d, td: %p\n", id, td);
135de5d4453SRichard Röjfors
136de5d4453SRichard Röjfors isr = ioread32(td->membase + TIMBDMA_ISR) & (1 << id);
137de5d4453SRichard Röjfors if (isr) {
138de5d4453SRichard Röjfors iowrite32(isr, td->membase + TIMBDMA_ISR);
139de5d4453SRichard Röjfors done = true;
140de5d4453SRichard Röjfors }
141de5d4453SRichard Röjfors
142de5d4453SRichard Röjfors return done;
143de5d4453SRichard Röjfors }
144de5d4453SRichard Röjfors
td_fill_desc(struct timb_dma_chan * td_chan,u8 * dma_desc,struct scatterlist * sg,bool last)145de5d4453SRichard Röjfors static int td_fill_desc(struct timb_dma_chan *td_chan, u8 *dma_desc,
146de5d4453SRichard Röjfors struct scatterlist *sg, bool last)
147de5d4453SRichard Röjfors {
1484be929beSAlexey Dobriyan if (sg_dma_len(sg) > USHRT_MAX) {
149de5d4453SRichard Röjfors dev_err(chan2dev(&td_chan->chan), "Too big sg element\n");
150de5d4453SRichard Röjfors return -EINVAL;
151de5d4453SRichard Röjfors }
152de5d4453SRichard Röjfors
153de5d4453SRichard Röjfors /* length must be word aligned */
154de5d4453SRichard Röjfors if (sg_dma_len(sg) % sizeof(u32)) {
155de5d4453SRichard Röjfors dev_err(chan2dev(&td_chan->chan), "Incorrect length: %d\n",
156de5d4453SRichard Röjfors sg_dma_len(sg));
157de5d4453SRichard Röjfors return -EINVAL;
158de5d4453SRichard Röjfors }
159de5d4453SRichard Röjfors
160efcc2898SDan Carpenter dev_dbg(chan2dev(&td_chan->chan), "desc: %p, addr: 0x%llx\n",
161efcc2898SDan Carpenter dma_desc, (unsigned long long)sg_dma_address(sg));
162de5d4453SRichard Röjfors
163de5d4453SRichard Röjfors dma_desc[7] = (sg_dma_address(sg) >> 24) & 0xff;
164de5d4453SRichard Röjfors dma_desc[6] = (sg_dma_address(sg) >> 16) & 0xff;
165de5d4453SRichard Röjfors dma_desc[5] = (sg_dma_address(sg) >> 8) & 0xff;
166de5d4453SRichard Röjfors dma_desc[4] = (sg_dma_address(sg) >> 0) & 0xff;
167de5d4453SRichard Röjfors
168de5d4453SRichard Röjfors dma_desc[3] = (sg_dma_len(sg) >> 8) & 0xff;
169de5d4453SRichard Röjfors dma_desc[2] = (sg_dma_len(sg) >> 0) & 0xff;
170de5d4453SRichard Röjfors
171de5d4453SRichard Röjfors dma_desc[1] = 0x00;
172de5d4453SRichard Röjfors dma_desc[0] = 0x21 | (last ? 0x02 : 0); /* tran, valid */
173de5d4453SRichard Röjfors
174de5d4453SRichard Röjfors return 0;
175de5d4453SRichard Röjfors }
176de5d4453SRichard Röjfors
177de5d4453SRichard Röjfors /* Must be called with the spinlock held */
__td_start_dma(struct timb_dma_chan * td_chan)178de5d4453SRichard Röjfors static void __td_start_dma(struct timb_dma_chan *td_chan)
179de5d4453SRichard Röjfors {
180de5d4453SRichard Röjfors struct timb_dma_desc *td_desc;
181de5d4453SRichard Röjfors
182de5d4453SRichard Röjfors if (td_chan->ongoing) {
183de5d4453SRichard Röjfors dev_err(chan2dev(&td_chan->chan),
184de5d4453SRichard Röjfors "Transfer already ongoing\n");
185de5d4453SRichard Röjfors return;
186de5d4453SRichard Röjfors }
187de5d4453SRichard Röjfors
188de5d4453SRichard Röjfors td_desc = list_entry(td_chan->active_list.next, struct timb_dma_desc,
189de5d4453SRichard Röjfors desc_node);
190de5d4453SRichard Röjfors
191de5d4453SRichard Röjfors dev_dbg(chan2dev(&td_chan->chan),
192de5d4453SRichard Röjfors "td_chan: %p, chan: %d, membase: %p\n",
193de5d4453SRichard Röjfors td_chan, td_chan->chan.chan_id, td_chan->membase);
194de5d4453SRichard Röjfors
195db8196dfSVinod Koul if (td_chan->direction == DMA_DEV_TO_MEM) {
196de5d4453SRichard Röjfors
197de5d4453SRichard Röjfors /* descriptor address */
198de5d4453SRichard Röjfors iowrite32(0, td_chan->membase + TIMBDMA_OFFS_RX_DHAR);
199de5d4453SRichard Röjfors iowrite32(td_desc->txd.phys, td_chan->membase +
200de5d4453SRichard Röjfors TIMBDMA_OFFS_RX_DLAR);
201de5d4453SRichard Röjfors /* Bytes per line */
202de5d4453SRichard Röjfors iowrite32(td_chan->bytes_per_line, td_chan->membase +
203de5d4453SRichard Röjfors TIMBDMA_OFFS_RX_BPRR);
204de5d4453SRichard Röjfors /* enable RX */
205de5d4453SRichard Röjfors iowrite32(TIMBDMA_RX_EN, td_chan->membase + TIMBDMA_OFFS_RX_ER);
206de5d4453SRichard Röjfors } else {
207de5d4453SRichard Röjfors /* address high */
208de5d4453SRichard Röjfors iowrite32(0, td_chan->membase + TIMBDMA_OFFS_TX_DHAR);
209de5d4453SRichard Röjfors iowrite32(td_desc->txd.phys, td_chan->membase +
210de5d4453SRichard Röjfors TIMBDMA_OFFS_TX_DLAR);
211de5d4453SRichard Röjfors }
212de5d4453SRichard Röjfors
213de5d4453SRichard Röjfors td_chan->ongoing = true;
214de5d4453SRichard Röjfors
215de5d4453SRichard Röjfors if (td_desc->interrupt)
216de5d4453SRichard Röjfors __td_enable_chan_irq(td_chan);
217de5d4453SRichard Röjfors }
218de5d4453SRichard Röjfors
__td_finish(struct timb_dma_chan * td_chan)219de5d4453SRichard Röjfors static void __td_finish(struct timb_dma_chan *td_chan)
220de5d4453SRichard Röjfors {
221a06a5bb9SDave Jiang struct dmaengine_desc_callback cb;
222de5d4453SRichard Röjfors struct dma_async_tx_descriptor *txd;
223de5d4453SRichard Röjfors struct timb_dma_desc *td_desc;
224de5d4453SRichard Röjfors
225de5d4453SRichard Röjfors /* can happen if the descriptor is canceled */
226de5d4453SRichard Röjfors if (list_empty(&td_chan->active_list))
227de5d4453SRichard Röjfors return;
228de5d4453SRichard Röjfors
229de5d4453SRichard Röjfors td_desc = list_entry(td_chan->active_list.next, struct timb_dma_desc,
230de5d4453SRichard Röjfors desc_node);
231de5d4453SRichard Röjfors txd = &td_desc->txd;
232de5d4453SRichard Röjfors
233de5d4453SRichard Röjfors dev_dbg(chan2dev(&td_chan->chan), "descriptor %u complete\n",
234de5d4453SRichard Röjfors txd->cookie);
235de5d4453SRichard Röjfors
236de5d4453SRichard Röjfors /* make sure to stop the transfer */
237db8196dfSVinod Koul if (td_chan->direction == DMA_DEV_TO_MEM)
238de5d4453SRichard Röjfors iowrite32(0, td_chan->membase + TIMBDMA_OFFS_RX_ER);
239de5d4453SRichard Röjfors /* Currently no support for stopping DMA transfers
240de5d4453SRichard Röjfors else
241de5d4453SRichard Röjfors iowrite32(0, td_chan->membase + TIMBDMA_OFFS_TX_DLAR);
242de5d4453SRichard Röjfors */
243f7fbce07SRussell King - ARM Linux dma_cookie_complete(txd);
244de5d4453SRichard Röjfors td_chan->ongoing = false;
245de5d4453SRichard Röjfors
246a06a5bb9SDave Jiang dmaengine_desc_get_callback(txd, &cb);
247de5d4453SRichard Röjfors
248de5d4453SRichard Röjfors list_move(&td_desc->desc_node, &td_chan->free_list);
249de5d4453SRichard Röjfors
250d38a8c62SDan Williams dma_descriptor_unmap(txd);
251de5d4453SRichard Röjfors /*
252de5d4453SRichard Röjfors * The API requires that no submissions are done from a
253de5d4453SRichard Röjfors * callback, so we don't need to drop the lock here
254de5d4453SRichard Röjfors */
255a06a5bb9SDave Jiang dmaengine_desc_callback_invoke(&cb, NULL);
256de5d4453SRichard Röjfors }
257de5d4453SRichard Röjfors
__td_ier_mask(struct timb_dma * td)258de5d4453SRichard Röjfors static u32 __td_ier_mask(struct timb_dma *td)
259de5d4453SRichard Röjfors {
260de5d4453SRichard Röjfors int i;
261de5d4453SRichard Röjfors u32 ret = 0;
262de5d4453SRichard Röjfors
263de5d4453SRichard Röjfors for (i = 0; i < td->dma.chancnt; i++) {
264de5d4453SRichard Röjfors struct timb_dma_chan *td_chan = td->channels + i;
265de5d4453SRichard Röjfors if (td_chan->ongoing) {
266de5d4453SRichard Röjfors struct timb_dma_desc *td_desc =
267de5d4453SRichard Röjfors list_entry(td_chan->active_list.next,
268de5d4453SRichard Röjfors struct timb_dma_desc, desc_node);
269de5d4453SRichard Röjfors if (td_desc->interrupt)
270de5d4453SRichard Röjfors ret |= 1 << i;
271de5d4453SRichard Röjfors }
272de5d4453SRichard Röjfors }
273de5d4453SRichard Röjfors
274de5d4453SRichard Röjfors return ret;
275de5d4453SRichard Röjfors }
276de5d4453SRichard Röjfors
__td_start_next(struct timb_dma_chan * td_chan)277de5d4453SRichard Röjfors static void __td_start_next(struct timb_dma_chan *td_chan)
278de5d4453SRichard Röjfors {
279de5d4453SRichard Röjfors struct timb_dma_desc *td_desc;
280de5d4453SRichard Röjfors
281de5d4453SRichard Röjfors BUG_ON(list_empty(&td_chan->queue));
282de5d4453SRichard Röjfors BUG_ON(td_chan->ongoing);
283de5d4453SRichard Röjfors
284de5d4453SRichard Röjfors td_desc = list_entry(td_chan->queue.next, struct timb_dma_desc,
285de5d4453SRichard Röjfors desc_node);
286de5d4453SRichard Röjfors
287de5d4453SRichard Röjfors dev_dbg(chan2dev(&td_chan->chan), "%s: started %u\n",
288de5d4453SRichard Röjfors __func__, td_desc->txd.cookie);
289de5d4453SRichard Röjfors
290de5d4453SRichard Röjfors list_move(&td_desc->desc_node, &td_chan->active_list);
291de5d4453SRichard Röjfors __td_start_dma(td_chan);
292de5d4453SRichard Röjfors }
293de5d4453SRichard Röjfors
td_tx_submit(struct dma_async_tx_descriptor * txd)294de5d4453SRichard Röjfors static dma_cookie_t td_tx_submit(struct dma_async_tx_descriptor *txd)
295de5d4453SRichard Röjfors {
296de5d4453SRichard Röjfors struct timb_dma_desc *td_desc = container_of(txd, struct timb_dma_desc,
297de5d4453SRichard Röjfors txd);
298de5d4453SRichard Röjfors struct timb_dma_chan *td_chan = container_of(txd->chan,
299de5d4453SRichard Röjfors struct timb_dma_chan, chan);
300de5d4453SRichard Röjfors dma_cookie_t cookie;
301de5d4453SRichard Röjfors
302de5d4453SRichard Röjfors spin_lock_bh(&td_chan->lock);
303884485e1SRussell King - ARM Linux cookie = dma_cookie_assign(txd);
304de5d4453SRichard Röjfors
305de5d4453SRichard Röjfors if (list_empty(&td_chan->active_list)) {
306de5d4453SRichard Röjfors dev_dbg(chan2dev(txd->chan), "%s: started %u\n", __func__,
307de5d4453SRichard Röjfors txd->cookie);
308de5d4453SRichard Röjfors list_add_tail(&td_desc->desc_node, &td_chan->active_list);
309de5d4453SRichard Röjfors __td_start_dma(td_chan);
310de5d4453SRichard Röjfors } else {
311de5d4453SRichard Röjfors dev_dbg(chan2dev(txd->chan), "tx_submit: queued %u\n",
312de5d4453SRichard Röjfors txd->cookie);
313de5d4453SRichard Röjfors
314de5d4453SRichard Röjfors list_add_tail(&td_desc->desc_node, &td_chan->queue);
315de5d4453SRichard Röjfors }
316de5d4453SRichard Röjfors
317de5d4453SRichard Röjfors spin_unlock_bh(&td_chan->lock);
318de5d4453SRichard Röjfors
319de5d4453SRichard Röjfors return cookie;
320de5d4453SRichard Röjfors }
321de5d4453SRichard Röjfors
td_alloc_init_desc(struct timb_dma_chan * td_chan)322de5d4453SRichard Röjfors static struct timb_dma_desc *td_alloc_init_desc(struct timb_dma_chan *td_chan)
323de5d4453SRichard Röjfors {
324de5d4453SRichard Röjfors struct dma_chan *chan = &td_chan->chan;
325de5d4453SRichard Röjfors struct timb_dma_desc *td_desc;
326de5d4453SRichard Röjfors int err;
327de5d4453SRichard Röjfors
328de5d4453SRichard Röjfors td_desc = kzalloc(sizeof(struct timb_dma_desc), GFP_KERNEL);
329aef94feaSPeter Griffin if (!td_desc)
33048568005SJulia Lawall goto out;
331de5d4453SRichard Röjfors
332de5d4453SRichard Röjfors td_desc->desc_list_len = td_chan->desc_elems * TIMB_DMA_DESC_SIZE;
333de5d4453SRichard Röjfors
334de5d4453SRichard Röjfors td_desc->desc_list = kzalloc(td_desc->desc_list_len, GFP_KERNEL);
335aef94feaSPeter Griffin if (!td_desc->desc_list)
336de5d4453SRichard Röjfors goto err;
337de5d4453SRichard Röjfors
338de5d4453SRichard Röjfors dma_async_tx_descriptor_init(&td_desc->txd, chan);
339de5d4453SRichard Röjfors td_desc->txd.tx_submit = td_tx_submit;
340de5d4453SRichard Röjfors td_desc->txd.flags = DMA_CTRL_ACK;
341de5d4453SRichard Röjfors
342de5d4453SRichard Röjfors td_desc->txd.phys = dma_map_single(chan2dmadev(chan),
343d5613947SVinod Koul td_desc->desc_list, td_desc->desc_list_len, DMA_TO_DEVICE);
344de5d4453SRichard Röjfors
345de5d4453SRichard Röjfors err = dma_mapping_error(chan2dmadev(chan), td_desc->txd.phys);
346de5d4453SRichard Röjfors if (err) {
347de5d4453SRichard Röjfors dev_err(chan2dev(chan), "DMA mapping error: %d\n", err);
348de5d4453SRichard Röjfors goto err;
349de5d4453SRichard Röjfors }
350de5d4453SRichard Röjfors
351de5d4453SRichard Röjfors return td_desc;
352de5d4453SRichard Röjfors err:
353de5d4453SRichard Röjfors kfree(td_desc->desc_list);
354de5d4453SRichard Röjfors kfree(td_desc);
35548568005SJulia Lawall out:
356de5d4453SRichard Röjfors return NULL;
357de5d4453SRichard Röjfors
358de5d4453SRichard Röjfors }
359de5d4453SRichard Röjfors
td_free_desc(struct timb_dma_desc * td_desc)360de5d4453SRichard Röjfors static void td_free_desc(struct timb_dma_desc *td_desc)
361de5d4453SRichard Röjfors {
362de5d4453SRichard Röjfors dev_dbg(chan2dev(td_desc->txd.chan), "Freeing desc: %p\n", td_desc);
363de5d4453SRichard Röjfors dma_unmap_single(chan2dmadev(td_desc->txd.chan), td_desc->txd.phys,
364d5613947SVinod Koul td_desc->desc_list_len, DMA_TO_DEVICE);
365de5d4453SRichard Röjfors
366de5d4453SRichard Röjfors kfree(td_desc->desc_list);
367de5d4453SRichard Röjfors kfree(td_desc);
368de5d4453SRichard Röjfors }
369de5d4453SRichard Röjfors
td_desc_put(struct timb_dma_chan * td_chan,struct timb_dma_desc * td_desc)370de5d4453SRichard Röjfors static void td_desc_put(struct timb_dma_chan *td_chan,
371de5d4453SRichard Röjfors struct timb_dma_desc *td_desc)
372de5d4453SRichard Röjfors {
373de5d4453SRichard Röjfors dev_dbg(chan2dev(&td_chan->chan), "Putting desc: %p\n", td_desc);
374de5d4453SRichard Röjfors
375de5d4453SRichard Röjfors spin_lock_bh(&td_chan->lock);
376de5d4453SRichard Röjfors list_add(&td_desc->desc_node, &td_chan->free_list);
377de5d4453SRichard Röjfors spin_unlock_bh(&td_chan->lock);
378de5d4453SRichard Röjfors }
379de5d4453SRichard Röjfors
td_desc_get(struct timb_dma_chan * td_chan)380de5d4453SRichard Röjfors static struct timb_dma_desc *td_desc_get(struct timb_dma_chan *td_chan)
381de5d4453SRichard Röjfors {
382de5d4453SRichard Röjfors struct timb_dma_desc *td_desc, *_td_desc;
383de5d4453SRichard Röjfors struct timb_dma_desc *ret = NULL;
384de5d4453SRichard Röjfors
385de5d4453SRichard Röjfors spin_lock_bh(&td_chan->lock);
386de5d4453SRichard Röjfors list_for_each_entry_safe(td_desc, _td_desc, &td_chan->free_list,
387de5d4453SRichard Röjfors desc_node) {
388de5d4453SRichard Röjfors if (async_tx_test_ack(&td_desc->txd)) {
389de5d4453SRichard Röjfors list_del(&td_desc->desc_node);
390de5d4453SRichard Röjfors ret = td_desc;
391de5d4453SRichard Röjfors break;
392de5d4453SRichard Röjfors }
393de5d4453SRichard Röjfors dev_dbg(chan2dev(&td_chan->chan), "desc %p not ACKed\n",
394de5d4453SRichard Röjfors td_desc);
395de5d4453SRichard Röjfors }
396de5d4453SRichard Röjfors spin_unlock_bh(&td_chan->lock);
397de5d4453SRichard Röjfors
398de5d4453SRichard Röjfors return ret;
399de5d4453SRichard Röjfors }
400de5d4453SRichard Röjfors
td_alloc_chan_resources(struct dma_chan * chan)401de5d4453SRichard Röjfors static int td_alloc_chan_resources(struct dma_chan *chan)
402de5d4453SRichard Röjfors {
403de5d4453SRichard Röjfors struct timb_dma_chan *td_chan =
404de5d4453SRichard Röjfors container_of(chan, struct timb_dma_chan, chan);
405de5d4453SRichard Röjfors int i;
406de5d4453SRichard Röjfors
407de5d4453SRichard Röjfors dev_dbg(chan2dev(chan), "%s: entry\n", __func__);
408de5d4453SRichard Röjfors
409de5d4453SRichard Röjfors BUG_ON(!list_empty(&td_chan->free_list));
410de5d4453SRichard Röjfors for (i = 0; i < td_chan->descs; i++) {
411de5d4453SRichard Röjfors struct timb_dma_desc *td_desc = td_alloc_init_desc(td_chan);
412de5d4453SRichard Röjfors if (!td_desc) {
413de5d4453SRichard Röjfors if (i)
414de5d4453SRichard Röjfors break;
415de5d4453SRichard Röjfors else {
416de5d4453SRichard Röjfors dev_err(chan2dev(chan),
417dd54006fSColin Ian King "Couldn't allocate any descriptors\n");
418de5d4453SRichard Röjfors return -ENOMEM;
419de5d4453SRichard Röjfors }
420de5d4453SRichard Röjfors }
421de5d4453SRichard Röjfors
422de5d4453SRichard Röjfors td_desc_put(td_chan, td_desc);
423de5d4453SRichard Röjfors }
424de5d4453SRichard Röjfors
425de5d4453SRichard Röjfors spin_lock_bh(&td_chan->lock);
426d3ee98cdSRussell King - ARM Linux dma_cookie_init(chan);
427de5d4453SRichard Röjfors spin_unlock_bh(&td_chan->lock);
428de5d4453SRichard Röjfors
429de5d4453SRichard Röjfors return 0;
430de5d4453SRichard Röjfors }
431de5d4453SRichard Röjfors
td_free_chan_resources(struct dma_chan * chan)432de5d4453SRichard Röjfors static void td_free_chan_resources(struct dma_chan *chan)
433de5d4453SRichard Röjfors {
434de5d4453SRichard Röjfors struct timb_dma_chan *td_chan =
435de5d4453SRichard Röjfors container_of(chan, struct timb_dma_chan, chan);
436de5d4453SRichard Röjfors struct timb_dma_desc *td_desc, *_td_desc;
437de5d4453SRichard Röjfors LIST_HEAD(list);
438de5d4453SRichard Röjfors
439de5d4453SRichard Röjfors dev_dbg(chan2dev(chan), "%s: Entry\n", __func__);
440de5d4453SRichard Röjfors
441de5d4453SRichard Röjfors /* check that all descriptors are free */
442de5d4453SRichard Röjfors BUG_ON(!list_empty(&td_chan->active_list));
443de5d4453SRichard Röjfors BUG_ON(!list_empty(&td_chan->queue));
444de5d4453SRichard Röjfors
445de5d4453SRichard Röjfors spin_lock_bh(&td_chan->lock);
446de5d4453SRichard Röjfors list_splice_init(&td_chan->free_list, &list);
447de5d4453SRichard Röjfors spin_unlock_bh(&td_chan->lock);
448de5d4453SRichard Röjfors
449de5d4453SRichard Röjfors list_for_each_entry_safe(td_desc, _td_desc, &list, desc_node) {
450de5d4453SRichard Röjfors dev_dbg(chan2dev(chan), "%s: Freeing desc: %p\n", __func__,
451de5d4453SRichard Röjfors td_desc);
452de5d4453SRichard Röjfors td_free_desc(td_desc);
453de5d4453SRichard Röjfors }
454de5d4453SRichard Röjfors }
455de5d4453SRichard Röjfors
td_tx_status(struct dma_chan * chan,dma_cookie_t cookie,struct dma_tx_state * txstate)45607934481SLinus Walleij static enum dma_status td_tx_status(struct dma_chan *chan, dma_cookie_t cookie,
45707934481SLinus Walleij struct dma_tx_state *txstate)
458de5d4453SRichard Röjfors {
45996a2af41SRussell King - ARM Linux enum dma_status ret;
460de5d4453SRichard Röjfors
461de5d4453SRichard Röjfors dev_dbg(chan2dev(chan), "%s: Entry\n", __func__);
462de5d4453SRichard Röjfors
46396a2af41SRussell King - ARM Linux ret = dma_cookie_status(chan, cookie, txstate);
464de5d4453SRichard Röjfors
465949ff5b8SVinod Koul dev_dbg(chan2dev(chan), "%s: exit, ret: %d\n", __func__, ret);
466de5d4453SRichard Röjfors
467de5d4453SRichard Röjfors return ret;
468de5d4453SRichard Röjfors }
469de5d4453SRichard Röjfors
td_issue_pending(struct dma_chan * chan)470de5d4453SRichard Röjfors static void td_issue_pending(struct dma_chan *chan)
471de5d4453SRichard Röjfors {
472de5d4453SRichard Röjfors struct timb_dma_chan *td_chan =
473de5d4453SRichard Röjfors container_of(chan, struct timb_dma_chan, chan);
474de5d4453SRichard Röjfors
475de5d4453SRichard Röjfors dev_dbg(chan2dev(chan), "%s: Entry\n", __func__);
476de5d4453SRichard Röjfors spin_lock_bh(&td_chan->lock);
477de5d4453SRichard Röjfors
478de5d4453SRichard Röjfors if (!list_empty(&td_chan->active_list))
479de5d4453SRichard Röjfors /* transfer ongoing */
480de5d4453SRichard Röjfors if (__td_dma_done_ack(td_chan))
481de5d4453SRichard Röjfors __td_finish(td_chan);
482de5d4453SRichard Röjfors
483de5d4453SRichard Röjfors if (list_empty(&td_chan->active_list) && !list_empty(&td_chan->queue))
484de5d4453SRichard Röjfors __td_start_next(td_chan);
485de5d4453SRichard Röjfors
486de5d4453SRichard Röjfors spin_unlock_bh(&td_chan->lock);
487de5d4453SRichard Röjfors }
488de5d4453SRichard Röjfors
td_prep_slave_sg(struct dma_chan * chan,struct scatterlist * sgl,unsigned int sg_len,enum dma_transfer_direction direction,unsigned long flags,void * context)489de5d4453SRichard Röjfors static struct dma_async_tx_descriptor *td_prep_slave_sg(struct dma_chan *chan,
490de5d4453SRichard Röjfors struct scatterlist *sgl, unsigned int sg_len,
491185ecb5fSAlexandre Bounine enum dma_transfer_direction direction, unsigned long flags,
492185ecb5fSAlexandre Bounine void *context)
493de5d4453SRichard Röjfors {
494de5d4453SRichard Röjfors struct timb_dma_chan *td_chan =
495de5d4453SRichard Röjfors container_of(chan, struct timb_dma_chan, chan);
496de5d4453SRichard Röjfors struct timb_dma_desc *td_desc;
497de5d4453SRichard Röjfors struct scatterlist *sg;
498de5d4453SRichard Röjfors unsigned int i;
499de5d4453SRichard Röjfors unsigned int desc_usage = 0;
500de5d4453SRichard Röjfors
501de5d4453SRichard Röjfors if (!sgl || !sg_len) {
502de5d4453SRichard Röjfors dev_err(chan2dev(chan), "%s: No SG list\n", __func__);
503de5d4453SRichard Röjfors return NULL;
504de5d4453SRichard Röjfors }
505de5d4453SRichard Röjfors
506de5d4453SRichard Röjfors /* even channels are for RX, odd for TX */
507de5d4453SRichard Röjfors if (td_chan->direction != direction) {
508de5d4453SRichard Röjfors dev_err(chan2dev(chan),
509de5d4453SRichard Röjfors "Requesting channel in wrong direction\n");
510de5d4453SRichard Röjfors return NULL;
511de5d4453SRichard Röjfors }
512de5d4453SRichard Röjfors
513de5d4453SRichard Röjfors td_desc = td_desc_get(td_chan);
514de5d4453SRichard Röjfors if (!td_desc) {
515de5d4453SRichard Röjfors dev_err(chan2dev(chan), "Not enough descriptors available\n");
516de5d4453SRichard Röjfors return NULL;
517de5d4453SRichard Röjfors }
518de5d4453SRichard Röjfors
519de5d4453SRichard Röjfors td_desc->interrupt = (flags & DMA_PREP_INTERRUPT) != 0;
520de5d4453SRichard Röjfors
521de5d4453SRichard Röjfors for_each_sg(sgl, sg, sg_len, i) {
522de5d4453SRichard Röjfors int err;
523de5d4453SRichard Röjfors if (desc_usage > td_desc->desc_list_len) {
524de5d4453SRichard Röjfors dev_err(chan2dev(chan), "No descriptor space\n");
525de5d4453SRichard Röjfors return NULL;
526de5d4453SRichard Röjfors }
527de5d4453SRichard Röjfors
528de5d4453SRichard Röjfors err = td_fill_desc(td_chan, td_desc->desc_list + desc_usage, sg,
529de5d4453SRichard Röjfors i == (sg_len - 1));
530de5d4453SRichard Röjfors if (err) {
531de5d4453SRichard Röjfors dev_err(chan2dev(chan), "Failed to update desc: %d\n",
532de5d4453SRichard Röjfors err);
533de5d4453SRichard Röjfors td_desc_put(td_chan, td_desc);
534de5d4453SRichard Röjfors return NULL;
535de5d4453SRichard Röjfors }
536de5d4453SRichard Röjfors desc_usage += TIMB_DMA_DESC_SIZE;
537de5d4453SRichard Röjfors }
538de5d4453SRichard Röjfors
539de5d4453SRichard Röjfors dma_sync_single_for_device(chan2dmadev(chan), td_desc->txd.phys,
5405e621f5dSNathan Chancellor td_desc->desc_list_len, DMA_TO_DEVICE);
541de5d4453SRichard Röjfors
542de5d4453SRichard Röjfors return &td_desc->txd;
543de5d4453SRichard Röjfors }
544de5d4453SRichard Röjfors
td_terminate_all(struct dma_chan * chan)5452c55536aSMaxime Ripard static int td_terminate_all(struct dma_chan *chan)
546de5d4453SRichard Röjfors {
547de5d4453SRichard Röjfors struct timb_dma_chan *td_chan =
548de5d4453SRichard Röjfors container_of(chan, struct timb_dma_chan, chan);
549de5d4453SRichard Röjfors struct timb_dma_desc *td_desc, *_td_desc;
550de5d4453SRichard Röjfors
551de5d4453SRichard Röjfors dev_dbg(chan2dev(chan), "%s: Entry\n", __func__);
552de5d4453SRichard Röjfors
553de5d4453SRichard Röjfors /* first the easy part, put the queue into the free list */
554de5d4453SRichard Röjfors spin_lock_bh(&td_chan->lock);
555de5d4453SRichard Röjfors list_for_each_entry_safe(td_desc, _td_desc, &td_chan->queue,
556de5d4453SRichard Röjfors desc_node)
557de5d4453SRichard Röjfors list_move(&td_desc->desc_node, &td_chan->free_list);
558de5d4453SRichard Röjfors
559ae0e47f0SJustin P. Mattock /* now tear down the running */
560de5d4453SRichard Röjfors __td_finish(td_chan);
561de5d4453SRichard Röjfors spin_unlock_bh(&td_chan->lock);
562c3635c78SLinus Walleij
563c3635c78SLinus Walleij return 0;
564de5d4453SRichard Röjfors }
565de5d4453SRichard Röjfors
td_tasklet(struct tasklet_struct * t)566*83547958SAllen Pais static void td_tasklet(struct tasklet_struct *t)
567de5d4453SRichard Röjfors {
568*83547958SAllen Pais struct timb_dma *td = from_tasklet(td, t, tasklet);
569de5d4453SRichard Röjfors u32 isr;
570de5d4453SRichard Röjfors u32 ipr;
571de5d4453SRichard Röjfors u32 ier;
572de5d4453SRichard Röjfors int i;
573de5d4453SRichard Röjfors
574de5d4453SRichard Röjfors isr = ioread32(td->membase + TIMBDMA_ISR);
575de5d4453SRichard Röjfors ipr = isr & __td_ier_mask(td);
576de5d4453SRichard Röjfors
577de5d4453SRichard Röjfors /* ack the interrupts */
578de5d4453SRichard Röjfors iowrite32(ipr, td->membase + TIMBDMA_ISR);
579de5d4453SRichard Röjfors
580de5d4453SRichard Röjfors for (i = 0; i < td->dma.chancnt; i++)
581de5d4453SRichard Röjfors if (ipr & (1 << i)) {
582de5d4453SRichard Röjfors struct timb_dma_chan *td_chan = td->channels + i;
583de5d4453SRichard Röjfors spin_lock(&td_chan->lock);
584de5d4453SRichard Röjfors __td_finish(td_chan);
585de5d4453SRichard Röjfors if (!list_empty(&td_chan->queue))
586de5d4453SRichard Röjfors __td_start_next(td_chan);
587de5d4453SRichard Röjfors spin_unlock(&td_chan->lock);
588de5d4453SRichard Röjfors }
589de5d4453SRichard Röjfors
590de5d4453SRichard Röjfors ier = __td_ier_mask(td);
591de5d4453SRichard Röjfors iowrite32(ier, td->membase + TIMBDMA_IER);
592de5d4453SRichard Röjfors }
593de5d4453SRichard Röjfors
594de5d4453SRichard Röjfors
td_irq(int irq,void * devid)595de5d4453SRichard Röjfors static irqreturn_t td_irq(int irq, void *devid)
596de5d4453SRichard Röjfors {
597de5d4453SRichard Röjfors struct timb_dma *td = devid;
598de5d4453SRichard Röjfors u32 ipr = ioread32(td->membase + TIMBDMA_IPR);
599de5d4453SRichard Röjfors
600de5d4453SRichard Röjfors if (ipr) {
601de5d4453SRichard Röjfors /* disable interrupts, will be re-enabled in tasklet */
602de5d4453SRichard Röjfors iowrite32(0, td->membase + TIMBDMA_IER);
603de5d4453SRichard Röjfors
604de5d4453SRichard Röjfors tasklet_schedule(&td->tasklet);
605de5d4453SRichard Röjfors
606de5d4453SRichard Röjfors return IRQ_HANDLED;
607de5d4453SRichard Röjfors } else
608de5d4453SRichard Röjfors return IRQ_NONE;
609de5d4453SRichard Röjfors }
610de5d4453SRichard Röjfors
611de5d4453SRichard Röjfors
td_probe(struct platform_device * pdev)612463a1f8bSBill Pemberton static int td_probe(struct platform_device *pdev)
613de5d4453SRichard Röjfors {
614d4adcc01SJingoo Han struct timb_dma_platform_data *pdata = dev_get_platdata(&pdev->dev);
615de5d4453SRichard Röjfors struct timb_dma *td;
616de5d4453SRichard Röjfors struct resource *iomem;
617de5d4453SRichard Röjfors int irq;
618de5d4453SRichard Röjfors int err;
619de5d4453SRichard Röjfors int i;
620de5d4453SRichard Röjfors
621de5d4453SRichard Röjfors if (!pdata) {
622de5d4453SRichard Röjfors dev_err(&pdev->dev, "No platform data\n");
623de5d4453SRichard Röjfors return -EINVAL;
624de5d4453SRichard Röjfors }
625de5d4453SRichard Röjfors
626de5d4453SRichard Röjfors iomem = platform_get_resource(pdev, IORESOURCE_MEM, 0);
627de5d4453SRichard Röjfors if (!iomem)
628de5d4453SRichard Röjfors return -EINVAL;
629de5d4453SRichard Röjfors
630de5d4453SRichard Röjfors irq = platform_get_irq(pdev, 0);
631de5d4453SRichard Röjfors if (irq < 0)
632de5d4453SRichard Röjfors return irq;
633de5d4453SRichard Röjfors
634de5d4453SRichard Röjfors if (!request_mem_region(iomem->start, resource_size(iomem),
635de5d4453SRichard Röjfors DRIVER_NAME))
636de5d4453SRichard Röjfors return -EBUSY;
637de5d4453SRichard Röjfors
6383c215fd8SGustavo A. R. Silva td = kzalloc(struct_size(td, channels, pdata->nr_channels),
6393c215fd8SGustavo A. R. Silva GFP_KERNEL);
640de5d4453SRichard Röjfors if (!td) {
641de5d4453SRichard Röjfors err = -ENOMEM;
642de5d4453SRichard Röjfors goto err_release_region;
643de5d4453SRichard Röjfors }
644de5d4453SRichard Röjfors
645de5d4453SRichard Röjfors dev_dbg(&pdev->dev, "Allocated TD: %p\n", td);
646de5d4453SRichard Röjfors
647de5d4453SRichard Röjfors td->membase = ioremap(iomem->start, resource_size(iomem));
648de5d4453SRichard Röjfors if (!td->membase) {
649de5d4453SRichard Röjfors dev_err(&pdev->dev, "Failed to remap I/O memory\n");
650de5d4453SRichard Röjfors err = -ENOMEM;
651de5d4453SRichard Röjfors goto err_free_mem;
652de5d4453SRichard Röjfors }
653de5d4453SRichard Röjfors
654de5d4453SRichard Röjfors /* 32bit addressing */
655de5d4453SRichard Röjfors iowrite32(TIMBDMA_32BIT_ADDR, td->membase + TIMBDMA_ACR);
656de5d4453SRichard Röjfors
657de5d4453SRichard Röjfors /* disable and clear any interrupts */
658de5d4453SRichard Röjfors iowrite32(0x0, td->membase + TIMBDMA_IER);
659de5d4453SRichard Röjfors iowrite32(0xFFFFFFFF, td->membase + TIMBDMA_ISR);
660de5d4453SRichard Röjfors
661*83547958SAllen Pais tasklet_setup(&td->tasklet, td_tasklet);
662de5d4453SRichard Röjfors
663de5d4453SRichard Röjfors err = request_irq(irq, td_irq, IRQF_SHARED, DRIVER_NAME, td);
664de5d4453SRichard Röjfors if (err) {
665de5d4453SRichard Röjfors dev_err(&pdev->dev, "Failed to request IRQ\n");
666de5d4453SRichard Röjfors goto err_tasklet_kill;
667de5d4453SRichard Röjfors }
668de5d4453SRichard Röjfors
669de5d4453SRichard Röjfors td->dma.device_alloc_chan_resources = td_alloc_chan_resources;
670de5d4453SRichard Röjfors td->dma.device_free_chan_resources = td_free_chan_resources;
67107934481SLinus Walleij td->dma.device_tx_status = td_tx_status;
672de5d4453SRichard Röjfors td->dma.device_issue_pending = td_issue_pending;
673de5d4453SRichard Röjfors
674de5d4453SRichard Röjfors dma_cap_set(DMA_SLAVE, td->dma.cap_mask);
675de5d4453SRichard Röjfors dma_cap_set(DMA_PRIVATE, td->dma.cap_mask);
676de5d4453SRichard Röjfors td->dma.device_prep_slave_sg = td_prep_slave_sg;
6772c55536aSMaxime Ripard td->dma.device_terminate_all = td_terminate_all;
678de5d4453SRichard Röjfors
679de5d4453SRichard Röjfors td->dma.dev = &pdev->dev;
680de5d4453SRichard Röjfors
681de5d4453SRichard Röjfors INIT_LIST_HEAD(&td->dma.channels);
682de5d4453SRichard Röjfors
68346389470SBarry Song for (i = 0; i < pdata->nr_channels; i++) {
684de5d4453SRichard Röjfors struct timb_dma_chan *td_chan = &td->channels[i];
685de5d4453SRichard Röjfors struct timb_dma_platform_data_channel *pchan =
686de5d4453SRichard Röjfors pdata->channels + i;
687de5d4453SRichard Röjfors
688de5d4453SRichard Röjfors /* even channels are RX, odd are TX */
6899cb047d4SNicolas Kaiser if ((i % 2) == pchan->rx) {
690de5d4453SRichard Röjfors dev_err(&pdev->dev, "Wrong channel configuration\n");
691de5d4453SRichard Röjfors err = -EINVAL;
692f80befe0SDan Carpenter goto err_free_irq;
693de5d4453SRichard Röjfors }
694de5d4453SRichard Röjfors
695de5d4453SRichard Röjfors td_chan->chan.device = &td->dma;
696d3ee98cdSRussell King - ARM Linux dma_cookie_init(&td_chan->chan);
697de5d4453SRichard Röjfors spin_lock_init(&td_chan->lock);
698de5d4453SRichard Röjfors INIT_LIST_HEAD(&td_chan->active_list);
699de5d4453SRichard Röjfors INIT_LIST_HEAD(&td_chan->queue);
700de5d4453SRichard Röjfors INIT_LIST_HEAD(&td_chan->free_list);
701de5d4453SRichard Röjfors
702de5d4453SRichard Röjfors td_chan->descs = pchan->descriptors;
703de5d4453SRichard Röjfors td_chan->desc_elems = pchan->descriptor_elements;
704de5d4453SRichard Röjfors td_chan->bytes_per_line = pchan->bytes_per_line;
705db8196dfSVinod Koul td_chan->direction = pchan->rx ? DMA_DEV_TO_MEM :
706db8196dfSVinod Koul DMA_MEM_TO_DEV;
707de5d4453SRichard Röjfors
708de5d4453SRichard Röjfors td_chan->membase = td->membase +
709de5d4453SRichard Röjfors (i / 2) * TIMBDMA_INSTANCE_OFFSET +
710de5d4453SRichard Röjfors (pchan->rx ? 0 : TIMBDMA_INSTANCE_TX_OFFSET);
711de5d4453SRichard Röjfors
712de5d4453SRichard Röjfors dev_dbg(&pdev->dev, "Chan: %d, membase: %p\n",
713de5d4453SRichard Röjfors i, td_chan->membase);
714de5d4453SRichard Röjfors
715de5d4453SRichard Röjfors list_add_tail(&td_chan->chan.device_node, &td->dma.channels);
716de5d4453SRichard Röjfors }
717de5d4453SRichard Röjfors
718de5d4453SRichard Röjfors err = dma_async_device_register(&td->dma);
719de5d4453SRichard Röjfors if (err) {
720de5d4453SRichard Röjfors dev_err(&pdev->dev, "Failed to register async device\n");
721de5d4453SRichard Röjfors goto err_free_irq;
722de5d4453SRichard Röjfors }
723de5d4453SRichard Röjfors
724de5d4453SRichard Röjfors platform_set_drvdata(pdev, td);
725de5d4453SRichard Röjfors
726de5d4453SRichard Röjfors dev_dbg(&pdev->dev, "Probe result: %d\n", err);
727de5d4453SRichard Röjfors return err;
728de5d4453SRichard Röjfors
729de5d4453SRichard Röjfors err_free_irq:
730de5d4453SRichard Röjfors free_irq(irq, td);
731de5d4453SRichard Röjfors err_tasklet_kill:
732de5d4453SRichard Röjfors tasklet_kill(&td->tasklet);
733de5d4453SRichard Röjfors iounmap(td->membase);
734de5d4453SRichard Röjfors err_free_mem:
735de5d4453SRichard Röjfors kfree(td);
736de5d4453SRichard Röjfors err_release_region:
737de5d4453SRichard Röjfors release_mem_region(iomem->start, resource_size(iomem));
738de5d4453SRichard Röjfors
739de5d4453SRichard Röjfors return err;
740de5d4453SRichard Röjfors
741de5d4453SRichard Röjfors }
742de5d4453SRichard Röjfors
td_remove(struct platform_device * pdev)7434bf27b8bSGreg Kroah-Hartman static int td_remove(struct platform_device *pdev)
744de5d4453SRichard Röjfors {
745de5d4453SRichard Röjfors struct timb_dma *td = platform_get_drvdata(pdev);
746de5d4453SRichard Röjfors struct resource *iomem = platform_get_resource(pdev, IORESOURCE_MEM, 0);
747de5d4453SRichard Röjfors int irq = platform_get_irq(pdev, 0);
748de5d4453SRichard Röjfors
749de5d4453SRichard Röjfors dma_async_device_unregister(&td->dma);
750de5d4453SRichard Röjfors free_irq(irq, td);
751de5d4453SRichard Röjfors tasklet_kill(&td->tasklet);
752de5d4453SRichard Röjfors iounmap(td->membase);
753de5d4453SRichard Röjfors kfree(td);
754de5d4453SRichard Röjfors release_mem_region(iomem->start, resource_size(iomem));
755de5d4453SRichard Röjfors
756de5d4453SRichard Röjfors dev_dbg(&pdev->dev, "Removed...\n");
757de5d4453SRichard Röjfors return 0;
758de5d4453SRichard Röjfors }
759de5d4453SRichard Röjfors
760de5d4453SRichard Röjfors static struct platform_driver td_driver = {
761de5d4453SRichard Röjfors .driver = {
762de5d4453SRichard Röjfors .name = DRIVER_NAME,
763de5d4453SRichard Röjfors },
764de5d4453SRichard Röjfors .probe = td_probe,
765234846d4SMaxin B. John .remove = td_remove,
766de5d4453SRichard Röjfors };
767de5d4453SRichard Röjfors
768c94e9105SAxel Lin module_platform_driver(td_driver);
769de5d4453SRichard Röjfors
770de5d4453SRichard Röjfors MODULE_LICENSE("GPL v2");
771de5d4453SRichard Röjfors MODULE_DESCRIPTION("Timberdale DMA controller driver");
772de5d4453SRichard Röjfors MODULE_AUTHOR("Pelagicore AB <info@pelagicore.com>");
773de5d4453SRichard Röjfors MODULE_ALIAS("platform:"DRIVER_NAME);
774