18e458fe2SChris Wilson // SPDX-License-Identifier: MIT
28e458fe2SChris Wilson 
38e458fe2SChris Wilson /*
48e458fe2SChris Wilson  * Copyright © 2019 Intel Corporation
58e458fe2SChris Wilson  */
68e458fe2SChris Wilson 
78e458fe2SChris Wilson #include "i915_sw_fence_work.h"
88e458fe2SChris Wilson 
fence_complete(struct dma_fence_work * f)954d7195fSChris Wilson static void fence_complete(struct dma_fence_work *f)
1054d7195fSChris Wilson {
1154d7195fSChris Wilson 	if (f->ops->release)
1254d7195fSChris Wilson 		f->ops->release(f);
1354d7195fSChris Wilson 	dma_fence_signal(&f->dma);
1454d7195fSChris Wilson }
1554d7195fSChris Wilson 
fence_work(struct work_struct * work)168e458fe2SChris Wilson static void fence_work(struct work_struct *work)
178e458fe2SChris Wilson {
188e458fe2SChris Wilson 	struct dma_fence_work *f = container_of(work, typeof(*f), work);
198e458fe2SChris Wilson 
20dc194184SJason Ekstrand 	f->ops->work(f);
2154d7195fSChris Wilson 
2254d7195fSChris Wilson 	fence_complete(f);
238e458fe2SChris Wilson 	dma_fence_put(&f->dma);
248e458fe2SChris Wilson }
258e458fe2SChris Wilson 
26*44505168SMatthew Brost static int
fence_notify(struct i915_sw_fence * fence,enum i915_sw_fence_notify state)278e458fe2SChris Wilson fence_notify(struct i915_sw_fence *fence, enum i915_sw_fence_notify state)
288e458fe2SChris Wilson {
298e458fe2SChris Wilson 	struct dma_fence_work *f = container_of(fence, typeof(*f), chain);
308e458fe2SChris Wilson 
318e458fe2SChris Wilson 	switch (state) {
328e458fe2SChris Wilson 	case FENCE_COMPLETE:
338e458fe2SChris Wilson 		if (fence->error)
348e458fe2SChris Wilson 			dma_fence_set_error(&f->dma, fence->error);
358e458fe2SChris Wilson 
368e458fe2SChris Wilson 		if (!f->dma.error) {
378e458fe2SChris Wilson 			dma_fence_get(&f->dma);
3892581f9fSChris Wilson 			if (test_bit(DMA_FENCE_WORK_IMM, &f->dma.flags))
3992581f9fSChris Wilson 				fence_work(&f->work);
4092581f9fSChris Wilson 			else
418e458fe2SChris Wilson 				queue_work(system_unbound_wq, &f->work);
428e458fe2SChris Wilson 		} else {
4354d7195fSChris Wilson 			fence_complete(f);
448e458fe2SChris Wilson 		}
458e458fe2SChris Wilson 		break;
468e458fe2SChris Wilson 
478e458fe2SChris Wilson 	case FENCE_FREE:
488e458fe2SChris Wilson 		dma_fence_put(&f->dma);
498e458fe2SChris Wilson 		break;
508e458fe2SChris Wilson 	}
518e458fe2SChris Wilson 
528e458fe2SChris Wilson 	return NOTIFY_DONE;
538e458fe2SChris Wilson }
548e458fe2SChris Wilson 
get_driver_name(struct dma_fence * fence)558e458fe2SChris Wilson static const char *get_driver_name(struct dma_fence *fence)
568e458fe2SChris Wilson {
578e458fe2SChris Wilson 	return "dma-fence";
588e458fe2SChris Wilson }
598e458fe2SChris Wilson 
get_timeline_name(struct dma_fence * fence)608e458fe2SChris Wilson static const char *get_timeline_name(struct dma_fence *fence)
618e458fe2SChris Wilson {
628e458fe2SChris Wilson 	struct dma_fence_work *f = container_of(fence, typeof(*f), dma);
638e458fe2SChris Wilson 
648e458fe2SChris Wilson 	return f->ops->name ?: "work";
658e458fe2SChris Wilson }
668e458fe2SChris Wilson 
fence_release(struct dma_fence * fence)678e458fe2SChris Wilson static void fence_release(struct dma_fence *fence)
688e458fe2SChris Wilson {
698e458fe2SChris Wilson 	struct dma_fence_work *f = container_of(fence, typeof(*f), dma);
708e458fe2SChris Wilson 
718e458fe2SChris Wilson 	i915_sw_fence_fini(&f->chain);
728e458fe2SChris Wilson 
738e458fe2SChris Wilson 	BUILD_BUG_ON(offsetof(typeof(*f), dma));
748e458fe2SChris Wilson 	dma_fence_free(&f->dma);
758e458fe2SChris Wilson }
768e458fe2SChris Wilson 
778e458fe2SChris Wilson static const struct dma_fence_ops fence_ops = {
788e458fe2SChris Wilson 	.get_driver_name = get_driver_name,
798e458fe2SChris Wilson 	.get_timeline_name = get_timeline_name,
808e458fe2SChris Wilson 	.release = fence_release,
818e458fe2SChris Wilson };
828e458fe2SChris Wilson 
dma_fence_work_init(struct dma_fence_work * f,const struct dma_fence_work_ops * ops)838e458fe2SChris Wilson void dma_fence_work_init(struct dma_fence_work *f,
848e458fe2SChris Wilson 			 const struct dma_fence_work_ops *ops)
858e458fe2SChris Wilson {
861bc9865dSChris Wilson 	f->ops = ops;
878e458fe2SChris Wilson 	spin_lock_init(&f->lock);
888e458fe2SChris Wilson 	dma_fence_init(&f->dma, &fence_ops, &f->lock, 0, 0);
898e458fe2SChris Wilson 	i915_sw_fence_init(&f->chain, fence_notify);
908e458fe2SChris Wilson 	INIT_WORK(&f->work, fence_work);
918e458fe2SChris Wilson }
928e458fe2SChris Wilson 
dma_fence_work_chain(struct dma_fence_work * f,struct dma_fence * signal)938e458fe2SChris Wilson int dma_fence_work_chain(struct dma_fence_work *f, struct dma_fence *signal)
948e458fe2SChris Wilson {
958e458fe2SChris Wilson 	if (!signal)
968e458fe2SChris Wilson 		return 0;
978e458fe2SChris Wilson 
988e458fe2SChris Wilson 	return __i915_sw_fence_await_dma_fence(&f->chain, signal, &f->cb);
998e458fe2SChris Wilson }
100