58 static int _virtio_gpio_req(struct virtio_gpio *vgpio, u16 type, u16 gpio,  in _virtio_gpio_req()  argument
61 	struct virtio_gpio_line *line = &vgpio->lines[gpio];  in _virtio_gpio_req()
65 	struct device *dev = &vgpio->vdev->dev;  in _virtio_gpio_req()
92 	mutex_lock(&vgpio->lock);  in _virtio_gpio_req()
93 	ret = virtqueue_add_sgs(vgpio->request_vq, sgs, 1, 1, line, GFP_KERNEL);  in _virtio_gpio_req()
96 		mutex_unlock(&vgpio->lock);  in _virtio_gpio_req()
100 	virtqueue_kick(vgpio->request_vq);  in _virtio_gpio_req()
101 	mutex_unlock(&vgpio->lock);  in _virtio_gpio_req()
126 static int virtio_gpio_req(struct virtio_gpio *vgpio, u16 type, u16 gpio,  in virtio_gpio_req()  argument
129 	struct virtio_gpio_line *line = &vgpio->lines[gpio];  in virtio_gpio_req()
132 	return _virtio_gpio_req(vgpio, type, gpio, txvalue, rxvalue, res,  in virtio_gpio_req()
138 	struct virtio_gpio *vgpio = gpiochip_get_data(gc);  in virtio_gpio_free()  local
140 	virtio_gpio_req(vgpio, VIRTIO_GPIO_MSG_SET_DIRECTION, gpio,  in virtio_gpio_free()
146 	struct virtio_gpio *vgpio = gpiochip_get_data(gc);  in virtio_gpio_get_direction()  local
150 	ret = virtio_gpio_req(vgpio, VIRTIO_GPIO_MSG_GET_DIRECTION, gpio, 0,  in virtio_gpio_get_direction()
167 	struct virtio_gpio *vgpio = gpiochip_get_data(gc);  in virtio_gpio_direction_input()  local
169 	return virtio_gpio_req(vgpio, VIRTIO_GPIO_MSG_SET_DIRECTION, gpio,  in virtio_gpio_direction_input()
176 	struct virtio_gpio *vgpio = gpiochip_get_data(gc);  in virtio_gpio_direction_output()  local
179 	ret = virtio_gpio_req(vgpio, VIRTIO_GPIO_MSG_SET_VALUE, gpio, value, NULL);  in virtio_gpio_direction_output()
183 	return virtio_gpio_req(vgpio, VIRTIO_GPIO_MSG_SET_DIRECTION, gpio,  in virtio_gpio_direction_output()
189 	struct virtio_gpio *vgpio = gpiochip_get_data(gc);  in virtio_gpio_get()  local
193 	ret = virtio_gpio_req(vgpio, VIRTIO_GPIO_MSG_GET_VALUE, gpio, 0, &value);  in virtio_gpio_get()
199 	struct virtio_gpio *vgpio = gpiochip_get_data(gc);  in virtio_gpio_set()  local
201 	virtio_gpio_req(vgpio, VIRTIO_GPIO_MSG_SET_VALUE, gpio, value, NULL);  in virtio_gpio_set()
205 static void virtio_gpio_irq_prepare(struct virtio_gpio *vgpio, u16 gpio)  in virtio_gpio_irq_prepare()  argument
207 	struct vgpio_irq_line *irq_line = &vgpio->irq_lines[gpio];  in virtio_gpio_irq_prepare()
222 	ret = virtqueue_add_sgs(vgpio->event_vq, sgs, 1, 1, irq_line, GFP_ATOMIC);  in virtio_gpio_irq_prepare()
224 		dev_err(&vgpio->vdev->dev, "failed to add request to eventq\n");  in virtio_gpio_irq_prepare()
229 	virtqueue_kick(vgpio->event_vq);  in virtio_gpio_irq_prepare()
235 	struct virtio_gpio *vgpio = gpiochip_get_data(gc);  in virtio_gpio_irq_enable()  local
236 	struct vgpio_irq_line *irq_line = &vgpio->irq_lines[d->hwirq];  in virtio_gpio_irq_enable()
238 	raw_spin_lock(&vgpio->eventq_lock);  in virtio_gpio_irq_enable()
242 	raw_spin_unlock(&vgpio->eventq_lock);  in virtio_gpio_irq_enable()
250 	struct virtio_gpio *vgpio = gpiochip_get_data(gc);  in virtio_gpio_irq_disable()  local
251 	struct vgpio_irq_line *irq_line = &vgpio->irq_lines[d->hwirq];  in virtio_gpio_irq_disable()
253 	raw_spin_lock(&vgpio->eventq_lock);  in virtio_gpio_irq_disable()
257 	raw_spin_unlock(&vgpio->eventq_lock);  in virtio_gpio_irq_disable()
265 	struct virtio_gpio *vgpio = gpiochip_get_data(gc);  in virtio_gpio_irq_mask()  local
266 	struct vgpio_irq_line *irq_line = &vgpio->irq_lines[d->hwirq];  in virtio_gpio_irq_mask()
268 	raw_spin_lock(&vgpio->eventq_lock);  in virtio_gpio_irq_mask()
270 	raw_spin_unlock(&vgpio->eventq_lock);  in virtio_gpio_irq_mask()
276 	struct virtio_gpio *vgpio = gpiochip_get_data(gc);  in virtio_gpio_irq_unmask()  local
277 	struct vgpio_irq_line *irq_line = &vgpio->irq_lines[d->hwirq];  in virtio_gpio_irq_unmask()
279 	raw_spin_lock(&vgpio->eventq_lock);  in virtio_gpio_irq_unmask()
283 	virtio_gpio_irq_prepare(vgpio, d->hwirq);  in virtio_gpio_irq_unmask()
284 	raw_spin_unlock(&vgpio->eventq_lock);  in virtio_gpio_irq_unmask()
290 	struct virtio_gpio *vgpio = gpiochip_get_data(gc);  in virtio_gpio_irq_set_type()  local
291 	struct vgpio_irq_line *irq_line = &vgpio->irq_lines[d->hwirq];  in virtio_gpio_irq_set_type()
310 		dev_err(&vgpio->vdev->dev, "unsupported irq type: %u\n", type);  in virtio_gpio_irq_set_type()
323 	struct virtio_gpio *vgpio = gpiochip_get_data(gc);  in virtio_gpio_irq_bus_lock()  local
325 	mutex_lock(&vgpio->irq_lock);  in virtio_gpio_irq_bus_lock()
331 	struct virtio_gpio *vgpio = gpiochip_get_data(gc);  in virtio_gpio_irq_bus_sync_unlock()  local
332 	struct vgpio_irq_line *irq_line = &vgpio->irq_lines[d->hwirq];  in virtio_gpio_irq_bus_sync_unlock()
338 		virtio_gpio_req(vgpio, VIRTIO_GPIO_MSG_IRQ_TYPE, d->hwirq, type,  in virtio_gpio_irq_bus_sync_unlock()
342 		raw_spin_lock_irqsave(&vgpio->eventq_lock, flags);  in virtio_gpio_irq_bus_sync_unlock()
345 			virtio_gpio_irq_prepare(vgpio, d->hwirq);  in virtio_gpio_irq_bus_sync_unlock()
347 		raw_spin_unlock_irqrestore(&vgpio->eventq_lock, flags);  in virtio_gpio_irq_bus_sync_unlock()
350 	mutex_unlock(&vgpio->irq_lock);  in virtio_gpio_irq_bus_sync_unlock()
366 static bool ignore_irq(struct virtio_gpio *vgpio, int gpio,  in ignore_irq()  argument
371 	raw_spin_lock(&vgpio->eventq_lock);  in ignore_irq()
385 		virtio_gpio_irq_prepare(vgpio, gpio);  in ignore_irq()
394 	raw_spin_unlock(&vgpio->eventq_lock);  in ignore_irq()
401 	struct virtio_gpio *vgpio = vq->vdev->priv;  in virtio_gpio_event_vq()  local
402 	struct device *dev = &vgpio->vdev->dev;  in virtio_gpio_event_vq()
408 		irq_line = virtqueue_get_buf(vgpio->event_vq, &len);  in virtio_gpio_event_vq()
424 		gpio = irq_line - vgpio->irq_lines;  in virtio_gpio_event_vq()
425 		WARN_ON(gpio >= vgpio->gc.ngpio);  in virtio_gpio_event_vq()
427 		if (unlikely(ignore_irq(vgpio, gpio, irq_line)))  in virtio_gpio_event_vq()
430 		ret = generic_handle_domain_irq(vgpio->gc.irq.domain, gpio);  in virtio_gpio_event_vq()
457 static int virtio_gpio_alloc_vqs(struct virtio_gpio *vgpio,  in virtio_gpio_alloc_vqs()  argument
468 	ret = virtio_find_vqs(vdev, vgpio->irq_lines ? 2 : 1, vqs, cbs, names, NULL);  in virtio_gpio_alloc_vqs()
478 	vgpio->request_vq = vqs[0];  in virtio_gpio_alloc_vqs()
480 	if (vgpio->irq_lines && !vqs[1]) {  in virtio_gpio_alloc_vqs()
484 	vgpio->event_vq = vqs[1];  in virtio_gpio_alloc_vqs()
495 static const char **virtio_gpio_get_names(struct virtio_gpio *vgpio,  in virtio_gpio_get_names()  argument
499 	struct device *dev = &vgpio->vdev->dev;  in virtio_gpio_get_names()
513 	ret = _virtio_gpio_req(vgpio, VIRTIO_GPIO_MSG_GET_NAMES, 0, 0, NULL,  in virtio_gpio_get_names()
544 	struct virtio_gpio *vgpio;  in virtio_gpio_probe()  local
549 	vgpio = devm_kzalloc(dev, sizeof(*vgpio), GFP_KERNEL);  in virtio_gpio_probe()
550 	if (!vgpio)  in virtio_gpio_probe()
562 	vgpio->lines = devm_kcalloc(dev, ngpio, sizeof(*vgpio->lines), GFP_KERNEL);  in virtio_gpio_probe()
563 	if (!vgpio->lines)  in virtio_gpio_probe()
567 		mutex_init(&vgpio->lines[i].lock);  in virtio_gpio_probe()
568 		init_completion(&vgpio->lines[i].completion);  in virtio_gpio_probe()
571 	mutex_init(&vgpio->lock);  in virtio_gpio_probe()
572 	vdev->priv = vgpio;  in virtio_gpio_probe()
574 	vgpio->vdev			= vdev;  in virtio_gpio_probe()
575 	vgpio->gc.free			= virtio_gpio_free;  in virtio_gpio_probe()
576 	vgpio->gc.get_direction		= virtio_gpio_get_direction;  in virtio_gpio_probe()
577 	vgpio->gc.direction_input	= virtio_gpio_direction_input;  in virtio_gpio_probe()
578 	vgpio->gc.direction_output	= virtio_gpio_direction_output;  in virtio_gpio_probe()
579 	vgpio->gc.get			= virtio_gpio_get;  in virtio_gpio_probe()
580 	vgpio->gc.set			= virtio_gpio_set;  in virtio_gpio_probe()
581 	vgpio->gc.ngpio			= ngpio;  in virtio_gpio_probe()
582 	vgpio->gc.base			= -1; /* Allocate base dynamically */  in virtio_gpio_probe()
583 	vgpio->gc.label			= dev_name(dev);  in virtio_gpio_probe()
584 	vgpio->gc.parent		= dev;  in virtio_gpio_probe()
585 	vgpio->gc.owner			= THIS_MODULE;  in virtio_gpio_probe()
586 	vgpio->gc.can_sleep		= true;  in virtio_gpio_probe()
590 		vgpio->irq_lines = devm_kcalloc(dev, ngpio, sizeof(*vgpio->irq_lines), GFP_KERNEL);  in virtio_gpio_probe()
591 		if (!vgpio->irq_lines)  in virtio_gpio_probe()
595 		vgpio->gc.irq.parent_handler	= NULL;  in virtio_gpio_probe()
596 		vgpio->gc.irq.num_parents	= 0;  in virtio_gpio_probe()
597 		vgpio->gc.irq.parents		= NULL;  in virtio_gpio_probe()
598 		vgpio->gc.irq.default_type	= IRQ_TYPE_NONE;  in virtio_gpio_probe()
599 		vgpio->gc.irq.handler		= handle_level_irq;  in virtio_gpio_probe()
600 		vgpio->gc.irq.chip		= &vgpio_irq_chip;  in virtio_gpio_probe()
603 			vgpio->irq_lines[i].type = VIRTIO_GPIO_IRQ_TYPE_NONE;  in virtio_gpio_probe()
604 			vgpio->irq_lines[i].disabled = true;  in virtio_gpio_probe()
605 			vgpio->irq_lines[i].masked = true;  in virtio_gpio_probe()
608 		mutex_init(&vgpio->irq_lock);  in virtio_gpio_probe()
609 		raw_spin_lock_init(&vgpio->eventq_lock);  in virtio_gpio_probe()
612 	ret = virtio_gpio_alloc_vqs(vgpio, vdev);  in virtio_gpio_probe()
619 	vgpio->gc.names = virtio_gpio_get_names(vgpio, gpio_names_size, ngpio);  in virtio_gpio_probe()
621 	ret = gpiochip_add_data(&vgpio->gc, vgpio);  in virtio_gpio_probe()
632 	struct virtio_gpio *vgpio = vdev->priv;  in virtio_gpio_remove()  local
634 	gpiochip_remove(&vgpio->gc);  in virtio_gpio_remove()