29 	struct vdpa_device *vdpa;  member
54 	return to_virtio_vdpa_device(vdev)->vdpa;  in vd_get_vdpa()
60 	struct vdpa_device *vdpa = vd_get_vdpa(vdev);  in virtio_vdpa_get()  local
62 	vdpa_get_config(vdpa, offset, buf, len);  in virtio_vdpa_get()
68 	struct vdpa_device *vdpa = vd_get_vdpa(vdev);  in virtio_vdpa_set()  local
70 	vdpa_set_config(vdpa, offset, buf, len);  in virtio_vdpa_set()
75 	struct vdpa_device *vdpa = vd_get_vdpa(vdev);  in virtio_vdpa_generation()  local
76 	const struct vdpa_config_ops *ops = vdpa->config;  in virtio_vdpa_generation()
79 		return ops->get_generation(vdpa);  in virtio_vdpa_generation()
86 	struct vdpa_device *vdpa = vd_get_vdpa(vdev);  in virtio_vdpa_get_status()  local
87 	const struct vdpa_config_ops *ops = vdpa->config;  in virtio_vdpa_get_status()
89 	return ops->get_status(vdpa);  in virtio_vdpa_get_status()
94 	struct vdpa_device *vdpa = vd_get_vdpa(vdev);  in virtio_vdpa_set_status()  local
96 	return vdpa_set_status(vdpa, status);  in virtio_vdpa_set_status()
101 	struct vdpa_device *vdpa = vd_get_vdpa(vdev);  in virtio_vdpa_reset()  local
103 	vdpa_reset(vdpa);  in virtio_vdpa_reset()
108 	struct vdpa_device *vdpa = vd_get_vdpa(vq->vdev);  in virtio_vdpa_notify()  local
109 	const struct vdpa_config_ops *ops = vdpa->config;  in virtio_vdpa_notify()
111 	ops->kick_vq(vdpa, vq->index);  in virtio_vdpa_notify()
118 	struct vdpa_device *vdpa = vd_get_vdpa(vq->vdev);  in virtio_vdpa_notify_with_data()  local
119 	const struct vdpa_config_ops *ops = vdpa->config;  in virtio_vdpa_notify_with_data()
122 	ops->kick_vq_with_data(vdpa, data);  in virtio_vdpa_notify_with_data()
149 	struct vdpa_device *vdpa = vd_get_vdpa(vdev);  in virtio_vdpa_setup_vq()  local
151 	const struct vdpa_config_ops *ops = vdpa->config;  in virtio_vdpa_setup_vq()
167 	if (index >= vdpa->nvqs)  in virtio_vdpa_setup_vq()
179 	if (ops->get_vq_ready(vdpa, index))  in virtio_vdpa_setup_vq()
187 	max_num = ops->get_vq_num_max(vdpa);  in virtio_vdpa_setup_vq()
194 		min_num = ops->get_vq_num_min(vdpa);  in virtio_vdpa_setup_vq()
199 	align = ops->get_vq_align(vdpa);  in virtio_vdpa_setup_vq()
202 		dma_dev = ops->get_vq_dma_dev(vdpa, index);  in virtio_vdpa_setup_vq()
204 		dma_dev = vdpa_get_dma_dev(vdpa);  in virtio_vdpa_setup_vq()
219 	ops->set_vq_cb(vdpa, index, &cb);  in virtio_vdpa_setup_vq()
220 	ops->set_vq_num(vdpa, index, virtqueue_get_vring_size(vq));  in virtio_vdpa_setup_vq()
226 	if (ops->set_vq_address(vdpa, index,  in virtio_vdpa_setup_vq()
242 	err = ops->set_vq_state(vdpa, index, &state);  in virtio_vdpa_setup_vq()
246 	ops->set_vq_ready(vdpa, index, 1);  in virtio_vdpa_setup_vq()
260 	ops->set_vq_ready(vdpa, index, 0);  in virtio_vdpa_setup_vq()
262 	WARN_ON(ops->get_vq_ready(vdpa, index));  in virtio_vdpa_setup_vq()
270 	struct vdpa_device *vdpa = vd_dev->vdpa;  in virtio_vdpa_del_vq()  local
271 	const struct vdpa_config_ops *ops = vdpa->config;  in virtio_vdpa_del_vq()
281 	ops->set_vq_ready(vdpa, index, 0);  in virtio_vdpa_del_vq()
364 	struct vdpa_device *vdpa = vd_get_vdpa(vdev);  in virtio_vdpa_find_vqs()  local
365 	const struct vdpa_config_ops *ops = vdpa->config;  in virtio_vdpa_find_vqs()
393 			ops->set_vq_affinity(vdpa, i, &masks[i]);  in virtio_vdpa_find_vqs()
398 	ops->set_config_cb(vdpa, &cb);  in virtio_vdpa_find_vqs()
413 	struct vdpa_device *vdpa = vd_get_vdpa(vdev);  in virtio_vdpa_get_features()  local
414 	const struct vdpa_config_ops *ops = vdpa->config;  in virtio_vdpa_get_features()
416 	return ops->get_device_features(vdpa);  in virtio_vdpa_get_features()
421 	struct vdpa_device *vdpa = vd_get_vdpa(vdev);  in virtio_vdpa_finalize_features()  local
426 	return vdpa_set_features(vdpa, vdev->features);  in virtio_vdpa_finalize_features()
432 	struct vdpa_device *vdpa = vd_dev->vdpa;  in virtio_vdpa_bus_name()  local
434 	return dev_name(&vdpa->dev);  in virtio_vdpa_bus_name()
441 	struct vdpa_device *vdpa = vd_dev->vdpa;  in virtio_vdpa_set_vq_affinity()  local
442 	const struct vdpa_config_ops *ops = vdpa->config;  in virtio_vdpa_set_vq_affinity()
446 		return ops->set_vq_affinity(vdpa, index, cpu_mask);  in virtio_vdpa_set_vq_affinity()
454 	struct vdpa_device *vdpa = vd_get_vdpa(vdev);  in virtio_vdpa_get_vq_affinity()  local
455 	const struct vdpa_config_ops *ops = vdpa->config;  in virtio_vdpa_get_vq_affinity()
458 		return ops->get_vq_affinity(vdpa, index);  in virtio_vdpa_get_vq_affinity()
489 static int virtio_vdpa_probe(struct vdpa_device *vdpa)  in virtio_vdpa_probe()  argument
491 	const struct vdpa_config_ops *ops = vdpa->config;  in virtio_vdpa_probe()
499 	vd_dev->vdev.dev.parent = vdpa_get_dma_dev(vdpa);  in virtio_vdpa_probe()
502 	vd_dev->vdpa = vdpa;  in virtio_vdpa_probe()
506 	vd_dev->vdev.id.device = ops->get_device_id(vdpa);  in virtio_vdpa_probe()
510 	vd_dev->vdev.id.vendor = ops->get_vendor_id(vdpa);  in virtio_vdpa_probe()
516 	vdpa_set_drvdata(vdpa, vd_dev);  in virtio_vdpa_probe()
528 static void virtio_vdpa_remove(struct vdpa_device *vdpa)  in virtio_vdpa_remove()  argument
530 	struct virtio_vdpa_device *vd_dev = vdpa_get_drvdata(vdpa);  in virtio_vdpa_remove()