134 static inline void qdisc_refcount_inc(struct Qdisc *qdisc)  in qdisc_refcount_inc()  argument
136 	if (qdisc->flags & TCQ_F_BUILTIN)  in qdisc_refcount_inc()
138 	refcount_inc(&qdisc->refcnt);  in qdisc_refcount_inc()
141 static inline bool qdisc_refcount_dec_if_one(struct Qdisc *qdisc)  in qdisc_refcount_dec_if_one()  argument
143 	if (qdisc->flags & TCQ_F_BUILTIN)  in qdisc_refcount_dec_if_one()
145 	return refcount_dec_if_one(&qdisc->refcnt);  in qdisc_refcount_dec_if_one()
152 static inline struct Qdisc *qdisc_refcount_inc_nz(struct Qdisc *qdisc)  in qdisc_refcount_inc_nz()  argument
154 	if (qdisc->flags & TCQ_F_BUILTIN)  in qdisc_refcount_inc_nz()
155 		return qdisc;  in qdisc_refcount_inc_nz()
156 	if (refcount_inc_not_zero(&qdisc->refcnt))  in qdisc_refcount_inc_nz()
157 		return qdisc;  in qdisc_refcount_inc_nz()
165 static inline bool qdisc_is_running(struct Qdisc *qdisc)  in qdisc_is_running()  argument
167 	if (qdisc->flags & TCQ_F_NOLOCK)  in qdisc_is_running()
168 		return spin_is_locked(&qdisc->seqlock);  in qdisc_is_running()
169 	return test_bit(__QDISC_STATE2_RUNNING, &qdisc->state2);  in qdisc_is_running()
172 static inline bool nolock_qdisc_is_empty(const struct Qdisc *qdisc)  in nolock_qdisc_is_empty()  argument
174 	return !(READ_ONCE(qdisc->state) & QDISC_STATE_NON_EMPTY);  in nolock_qdisc_is_empty()
182 static inline bool qdisc_is_empty(const struct Qdisc *qdisc)  in qdisc_is_empty()  argument
184 	if (qdisc_is_percpu_stats(qdisc))  in qdisc_is_empty()
185 		return nolock_qdisc_is_empty(qdisc);  in qdisc_is_empty()
186 	return !READ_ONCE(qdisc->q.qlen);  in qdisc_is_empty()
192 static inline bool qdisc_run_begin(struct Qdisc *qdisc)  in qdisc_run_begin()  argument
194 	if (qdisc->flags & TCQ_F_NOLOCK) {  in qdisc_run_begin()
195 		if (spin_trylock(&qdisc->seqlock))  in qdisc_run_begin()
203 		if (test_and_set_bit(__QDISC_STATE_MISSED, &qdisc->state))  in qdisc_run_begin()
210 		return spin_trylock(&qdisc->seqlock);  in qdisc_run_begin()
212 	return !__test_and_set_bit(__QDISC_STATE2_RUNNING, &qdisc->state2);  in qdisc_run_begin()
215 static inline void qdisc_run_end(struct Qdisc *qdisc)  in qdisc_run_end()  argument
217 	if (qdisc->flags & TCQ_F_NOLOCK) {  in qdisc_run_end()
218 		spin_unlock(&qdisc->seqlock);  in qdisc_run_end()
227 				      &qdisc->state)))  in qdisc_run_end()
228 			__netif_schedule(qdisc);  in qdisc_run_end()
230 		__clear_bit(__QDISC_STATE2_RUNNING, &qdisc->state2);  in qdisc_run_end()
234 static inline bool qdisc_may_bulk(const struct Qdisc *qdisc)  in qdisc_may_bulk()  argument
236 	return qdisc->flags & TCQ_F_ONETXQUEUE;  in qdisc_may_bulk()
541 static inline spinlock_t *qdisc_lock(struct Qdisc *qdisc)  in qdisc_lock()  argument
543 	return &qdisc->q.lock;  in qdisc_lock()
546 static inline struct Qdisc *qdisc_root(const struct Qdisc *qdisc)  in qdisc_root()  argument
548 	struct Qdisc *q = rcu_dereference_rtnl(qdisc->dev_queue->qdisc);  in qdisc_root()
553 static inline struct Qdisc *qdisc_root_bh(const struct Qdisc *qdisc)  in qdisc_root_bh()  argument
555 	return rcu_dereference_bh(qdisc->dev_queue->qdisc);  in qdisc_root_bh()
558 static inline struct Qdisc *qdisc_root_sleeping(const struct Qdisc *qdisc)  in qdisc_root_sleeping()  argument
560 	return rcu_dereference_rtnl(qdisc->dev_queue->qdisc_sleeping);  in qdisc_root_sleeping()
563 static inline spinlock_t *qdisc_root_sleeping_lock(const struct Qdisc *qdisc)  in qdisc_root_sleeping_lock()  argument
565 	struct Qdisc *root = qdisc_root_sleeping(qdisc);  in qdisc_root_sleeping_lock()
571 static inline struct net_device *qdisc_dev(const struct Qdisc *qdisc)  in qdisc_dev()  argument
573 	return qdisc->dev_queue->dev;  in qdisc_dev()
691 			      struct Qdisc *qdisc);
692 void qdisc_reset(struct Qdisc *qdisc);
693 void qdisc_destroy(struct Qdisc *qdisc);
694 void qdisc_put(struct Qdisc *qdisc);
695 void qdisc_put_unlocked(struct Qdisc *qdisc);
696 void qdisc_tree_reduce_backlog(struct Qdisc *qdisc, int n, int len);
727 void qdisc_free(struct Qdisc *qdisc);
758 	struct Qdisc *qdisc;  in qdisc_reset_all_tx_gt()  local
761 		qdisc = rtnl_dereference(netdev_get_tx_queue(dev, i)->qdisc);  in qdisc_reset_all_tx_gt()
762 		if (qdisc) {  in qdisc_reset_all_tx_gt()
763 			spin_lock_bh(qdisc_lock(qdisc));  in qdisc_reset_all_tx_gt()
764 			qdisc_reset(qdisc);  in qdisc_reset_all_tx_gt()
765 			spin_unlock_bh(qdisc_lock(qdisc));  in qdisc_reset_all_tx_gt()
778 		const struct Qdisc *q = rcu_dereference(txq->qdisc);  in qdisc_all_tx_empty()
797 		if (rcu_access_pointer(txq->qdisc) !=  in qdisc_tx_changing()
811 		if (rcu_access_pointer(txq->qdisc) != &noop_qdisc)  in qdisc_tx_is_noop()
1310 void mini_qdisc_pair_init(struct mini_Qdisc_pair *miniqp, struct Qdisc *qdisc,