1 /* SPDX-License-Identifier: GPL-2.0 */
2 /* Copyright (c) 2023 Meta Platforms, Inc. and affiliates. */
3 
4 #ifndef _CPUMASK_COMMON_H
5 #define _CPUMASK_COMMON_H
6 
7 #include "errno.h"
8 #include <stdbool.h>
9 
10 int err;
11 
12 #define private(name) SEC(".bss." #name) __hidden __attribute__((aligned(8)))
13 private(MASK) static struct bpf_cpumask __kptr * global_mask;
14 
15 struct __cpumask_map_value {
16 	struct bpf_cpumask __kptr * cpumask;
17 };
18 
19 struct array_map {
20 	__uint(type, BPF_MAP_TYPE_ARRAY);
21 	__type(key, int);
22 	__type(value, struct __cpumask_map_value);
23 	__uint(max_entries, 1);
24 } __cpumask_map SEC(".maps");
25 
26 struct bpf_cpumask *bpf_cpumask_create(void) __ksym;
27 void bpf_cpumask_release(struct bpf_cpumask *cpumask) __ksym;
28 struct bpf_cpumask *bpf_cpumask_acquire(struct bpf_cpumask *cpumask) __ksym;
29 u32 bpf_cpumask_first(const struct cpumask *cpumask) __ksym;
30 u32 bpf_cpumask_first_zero(const struct cpumask *cpumask) __ksym;
31 u32 bpf_cpumask_first_and(const struct cpumask *src1,
32 			  const struct cpumask *src2) __ksym;
33 void bpf_cpumask_set_cpu(u32 cpu, struct bpf_cpumask *cpumask) __ksym;
34 void bpf_cpumask_clear_cpu(u32 cpu, struct bpf_cpumask *cpumask) __ksym;
35 bool bpf_cpumask_test_cpu(u32 cpu, const struct cpumask *cpumask) __ksym;
36 bool bpf_cpumask_test_and_set_cpu(u32 cpu, struct bpf_cpumask *cpumask) __ksym;
37 bool bpf_cpumask_test_and_clear_cpu(u32 cpu, struct bpf_cpumask *cpumask) __ksym;
38 void bpf_cpumask_setall(struct bpf_cpumask *cpumask) __ksym;
39 void bpf_cpumask_clear(struct bpf_cpumask *cpumask) __ksym;
40 bool bpf_cpumask_and(struct bpf_cpumask *cpumask,
41 		     const struct cpumask *src1,
42 		     const struct cpumask *src2) __ksym;
43 void bpf_cpumask_or(struct bpf_cpumask *cpumask,
44 		    const struct cpumask *src1,
45 		    const struct cpumask *src2) __ksym;
46 void bpf_cpumask_xor(struct bpf_cpumask *cpumask,
47 		     const struct cpumask *src1,
48 		     const struct cpumask *src2) __ksym;
49 bool bpf_cpumask_equal(const struct cpumask *src1, const struct cpumask *src2) __ksym;
50 bool bpf_cpumask_intersects(const struct cpumask *src1, const struct cpumask *src2) __ksym;
51 bool bpf_cpumask_subset(const struct cpumask *src1, const struct cpumask *src2) __ksym;
52 bool bpf_cpumask_empty(const struct cpumask *cpumask) __ksym;
53 bool bpf_cpumask_full(const struct cpumask *cpumask) __ksym;
54 void bpf_cpumask_copy(struct bpf_cpumask *dst, const struct cpumask *src) __ksym;
55 u32 bpf_cpumask_any_distribute(const struct cpumask *src) __ksym;
56 u32 bpf_cpumask_any_and_distribute(const struct cpumask *src1, const struct cpumask *src2) __ksym;
57 
58 void bpf_rcu_read_lock(void) __ksym;
59 void bpf_rcu_read_unlock(void) __ksym;
60 
61 static inline const struct cpumask *cast(struct bpf_cpumask *cpumask)
62 {
63 	return (const struct cpumask *)cpumask;
64 }
65 
66 static inline struct bpf_cpumask *create_cpumask(void)
67 {
68 	struct bpf_cpumask *cpumask;
69 
70 	cpumask = bpf_cpumask_create();
71 	if (!cpumask) {
72 		err = 1;
73 		return NULL;
74 	}
75 
76 	if (!bpf_cpumask_empty(cast(cpumask))) {
77 		err = 2;
78 		bpf_cpumask_release(cpumask);
79 		return NULL;
80 	}
81 
82 	return cpumask;
83 }
84 
85 static inline struct __cpumask_map_value *cpumask_map_value_lookup(void)
86 {
87 	u32 key = 0;
88 
89 	return bpf_map_lookup_elem(&__cpumask_map, &key);
90 }
91 
92 static inline int cpumask_map_insert(struct bpf_cpumask *mask)
93 {
94 	struct __cpumask_map_value local, *v;
95 	long status;
96 	struct bpf_cpumask *old;
97 	u32 key = 0;
98 
99 	local.cpumask = NULL;
100 	status = bpf_map_update_elem(&__cpumask_map, &key, &local, 0);
101 	if (status) {
102 		bpf_cpumask_release(mask);
103 		return status;
104 	}
105 
106 	v = bpf_map_lookup_elem(&__cpumask_map, &key);
107 	if (!v) {
108 		bpf_cpumask_release(mask);
109 		return -ENOENT;
110 	}
111 
112 	old = bpf_kptr_xchg(&v->cpumask, mask);
113 	if (old) {
114 		bpf_cpumask_release(old);
115 		return -EEXIST;
116 	}
117 
118 	return 0;
119 }
120 
121 #endif /* _CPUMASK_COMMON_H */
122