1b061017fSAlexei Starovoitov #include <stddef.h>
2b061017fSAlexei Starovoitov #include <inttypes.h>
3b061017fSAlexei Starovoitov #include <errno.h>
4b061017fSAlexei Starovoitov #include <linux/seg6_local.h>
5b061017fSAlexei Starovoitov #include <linux/bpf.h>
63e689141SToke Høiland-Jørgensen #include <bpf/bpf_helpers.h>
73e689141SToke Høiland-Jørgensen #include <bpf/bpf_endian.h>
8b061017fSAlexei Starovoitov 
9b061017fSAlexei Starovoitov /* Packet parsing state machine helpers. */
10b061017fSAlexei Starovoitov #define cursor_advance(_cursor, _len) \
11b061017fSAlexei Starovoitov 	({ void *_tmp = _cursor; _cursor += _len; _tmp; })
12b061017fSAlexei Starovoitov 
13b061017fSAlexei Starovoitov #define SR6_FLAG_ALERT (1 << 4)
14b061017fSAlexei Starovoitov 
15b061017fSAlexei Starovoitov #define BPF_PACKET_HEADER __attribute__((packed))
16b061017fSAlexei Starovoitov 
17b061017fSAlexei Starovoitov struct ip6_t {
18b061017fSAlexei Starovoitov 	unsigned int ver:4;
19b061017fSAlexei Starovoitov 	unsigned int priority:8;
20b061017fSAlexei Starovoitov 	unsigned int flow_label:20;
21b061017fSAlexei Starovoitov 	unsigned short payload_len;
22b061017fSAlexei Starovoitov 	unsigned char next_header;
23b061017fSAlexei Starovoitov 	unsigned char hop_limit;
24b061017fSAlexei Starovoitov 	unsigned long long src_hi;
25b061017fSAlexei Starovoitov 	unsigned long long src_lo;
26b061017fSAlexei Starovoitov 	unsigned long long dst_hi;
27b061017fSAlexei Starovoitov 	unsigned long long dst_lo;
28b061017fSAlexei Starovoitov } BPF_PACKET_HEADER;
29b061017fSAlexei Starovoitov 
30b061017fSAlexei Starovoitov struct ip6_addr_t {
31b061017fSAlexei Starovoitov 	unsigned long long hi;
32b061017fSAlexei Starovoitov 	unsigned long long lo;
33b061017fSAlexei Starovoitov } BPF_PACKET_HEADER;
34b061017fSAlexei Starovoitov 
35b061017fSAlexei Starovoitov struct ip6_srh_t {
36b061017fSAlexei Starovoitov 	unsigned char nexthdr;
37b061017fSAlexei Starovoitov 	unsigned char hdrlen;
38b061017fSAlexei Starovoitov 	unsigned char type;
39b061017fSAlexei Starovoitov 	unsigned char segments_left;
40b061017fSAlexei Starovoitov 	unsigned char first_segment;
41b061017fSAlexei Starovoitov 	unsigned char flags;
42b061017fSAlexei Starovoitov 	unsigned short tag;
43b061017fSAlexei Starovoitov 
44b061017fSAlexei Starovoitov 	struct ip6_addr_t segments[0];
45b061017fSAlexei Starovoitov } BPF_PACKET_HEADER;
46b061017fSAlexei Starovoitov 
47b061017fSAlexei Starovoitov struct sr6_tlv_t {
48b061017fSAlexei Starovoitov 	unsigned char type;
49b061017fSAlexei Starovoitov 	unsigned char len;
50b061017fSAlexei Starovoitov 	unsigned char value[0];
51b061017fSAlexei Starovoitov } BPF_PACKET_HEADER;
52b061017fSAlexei Starovoitov 
get_srh(struct __sk_buff * skb)53d2f5bbbcSJiri Benc static __always_inline struct ip6_srh_t *get_srh(struct __sk_buff *skb)
54b061017fSAlexei Starovoitov {
55b061017fSAlexei Starovoitov 	void *cursor, *data_end;
56b061017fSAlexei Starovoitov 	struct ip6_srh_t *srh;
57b061017fSAlexei Starovoitov 	struct ip6_t *ip;
58b061017fSAlexei Starovoitov 	uint8_t *ipver;
59b061017fSAlexei Starovoitov 
60b061017fSAlexei Starovoitov 	data_end = (void *)(long)skb->data_end;
61b061017fSAlexei Starovoitov 	cursor = (void *)(long)skb->data;
62b061017fSAlexei Starovoitov 	ipver = (uint8_t *)cursor;
63b061017fSAlexei Starovoitov 
64b061017fSAlexei Starovoitov 	if ((void *)ipver + sizeof(*ipver) > data_end)
65b061017fSAlexei Starovoitov 		return NULL;
66b061017fSAlexei Starovoitov 
67b061017fSAlexei Starovoitov 	if ((*ipver >> 4) != 6)
68b061017fSAlexei Starovoitov 		return NULL;
69b061017fSAlexei Starovoitov 
70b061017fSAlexei Starovoitov 	ip = cursor_advance(cursor, sizeof(*ip));
71b061017fSAlexei Starovoitov 	if ((void *)ip + sizeof(*ip) > data_end)
72b061017fSAlexei Starovoitov 		return NULL;
73b061017fSAlexei Starovoitov 
74b061017fSAlexei Starovoitov 	if (ip->next_header != 43)
75b061017fSAlexei Starovoitov 		return NULL;
76b061017fSAlexei Starovoitov 
77b061017fSAlexei Starovoitov 	srh = cursor_advance(cursor, sizeof(*srh));
78b061017fSAlexei Starovoitov 	if ((void *)srh + sizeof(*srh) > data_end)
79b061017fSAlexei Starovoitov 		return NULL;
80b061017fSAlexei Starovoitov 
81b061017fSAlexei Starovoitov 	if (srh->type != 4)
82b061017fSAlexei Starovoitov 		return NULL;
83b061017fSAlexei Starovoitov 
84b061017fSAlexei Starovoitov 	return srh;
85b061017fSAlexei Starovoitov }
86b061017fSAlexei Starovoitov 
update_tlv_pad(struct __sk_buff * skb,uint32_t new_pad,uint32_t old_pad,uint32_t pad_off)87d2f5bbbcSJiri Benc static __always_inline int update_tlv_pad(struct __sk_buff *skb,
88d2f5bbbcSJiri Benc 					  uint32_t new_pad, uint32_t old_pad,
89d2f5bbbcSJiri Benc 					  uint32_t pad_off)
90b061017fSAlexei Starovoitov {
91b061017fSAlexei Starovoitov 	int err;
92b061017fSAlexei Starovoitov 
93b061017fSAlexei Starovoitov 	if (new_pad != old_pad) {
94b061017fSAlexei Starovoitov 		err = bpf_lwt_seg6_adjust_srh(skb, pad_off,
95b061017fSAlexei Starovoitov 					  (int) new_pad - (int) old_pad);
96b061017fSAlexei Starovoitov 		if (err)
97b061017fSAlexei Starovoitov 			return err;
98b061017fSAlexei Starovoitov 	}
99b061017fSAlexei Starovoitov 
100b061017fSAlexei Starovoitov 	if (new_pad > 0) {
101b061017fSAlexei Starovoitov 		char pad_tlv_buf[16] = {0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
102b061017fSAlexei Starovoitov 					0, 0, 0};
103b061017fSAlexei Starovoitov 		struct sr6_tlv_t *pad_tlv = (struct sr6_tlv_t *) pad_tlv_buf;
104b061017fSAlexei Starovoitov 
105b061017fSAlexei Starovoitov 		pad_tlv->type = SR6_TLV_PADDING;
106b061017fSAlexei Starovoitov 		pad_tlv->len = new_pad - 2;
107b061017fSAlexei Starovoitov 
108b061017fSAlexei Starovoitov 		err = bpf_lwt_seg6_store_bytes(skb, pad_off,
109b061017fSAlexei Starovoitov 					       (void *)pad_tlv_buf, new_pad);
110b061017fSAlexei Starovoitov 		if (err)
111b061017fSAlexei Starovoitov 			return err;
112b061017fSAlexei Starovoitov 	}
113b061017fSAlexei Starovoitov 
114b061017fSAlexei Starovoitov 	return 0;
115b061017fSAlexei Starovoitov }
116b061017fSAlexei Starovoitov 
is_valid_tlv_boundary(struct __sk_buff * skb,struct ip6_srh_t * srh,uint32_t * tlv_off,uint32_t * pad_size,uint32_t * pad_off)117d2f5bbbcSJiri Benc static __always_inline int is_valid_tlv_boundary(struct __sk_buff *skb,
118d2f5bbbcSJiri Benc 						 struct ip6_srh_t *srh,
119d2f5bbbcSJiri Benc 						 uint32_t *tlv_off,
120d2f5bbbcSJiri Benc 						 uint32_t *pad_size,
121b061017fSAlexei Starovoitov 						 uint32_t *pad_off)
122b061017fSAlexei Starovoitov {
123b061017fSAlexei Starovoitov 	uint32_t srh_off, cur_off;
124b061017fSAlexei Starovoitov 	int offset_valid = 0;
125b061017fSAlexei Starovoitov 	int err;
126b061017fSAlexei Starovoitov 
127b061017fSAlexei Starovoitov 	srh_off = (char *)srh - (char *)(long)skb->data;
128b061017fSAlexei Starovoitov 	// cur_off = end of segments, start of possible TLVs
129b061017fSAlexei Starovoitov 	cur_off = srh_off + sizeof(*srh) +
130b061017fSAlexei Starovoitov 		sizeof(struct ip6_addr_t) * (srh->first_segment + 1);
131b061017fSAlexei Starovoitov 
132b061017fSAlexei Starovoitov 	*pad_off = 0;
133b061017fSAlexei Starovoitov 
134b061017fSAlexei Starovoitov 	// we can only go as far as ~10 TLVs due to the BPF max stack size
1352ea2612bSYonghong Song 	// workaround: define induction variable "i" as "long" instead
1362ea2612bSYonghong Song 	// of "int" to prevent alu32 sub-register spilling.
137b061017fSAlexei Starovoitov 	#pragma clang loop unroll(disable)
1382ea2612bSYonghong Song 	for (long i = 0; i < 100; i++) {
139b061017fSAlexei Starovoitov 		struct sr6_tlv_t tlv;
140b061017fSAlexei Starovoitov 
141b061017fSAlexei Starovoitov 		if (cur_off == *tlv_off)
142b061017fSAlexei Starovoitov 			offset_valid = 1;
143b061017fSAlexei Starovoitov 
144b061017fSAlexei Starovoitov 		if (cur_off >= srh_off + ((srh->hdrlen + 1) << 3))
145b061017fSAlexei Starovoitov 			break;
146b061017fSAlexei Starovoitov 
147b061017fSAlexei Starovoitov 		err = bpf_skb_load_bytes(skb, cur_off, &tlv, sizeof(tlv));
148b061017fSAlexei Starovoitov 		if (err)
149b061017fSAlexei Starovoitov 			return err;
150b061017fSAlexei Starovoitov 
151b061017fSAlexei Starovoitov 		if (tlv.type == SR6_TLV_PADDING) {
152b061017fSAlexei Starovoitov 			*pad_size = tlv.len + sizeof(tlv);
153b061017fSAlexei Starovoitov 			*pad_off = cur_off;
154b061017fSAlexei Starovoitov 
155b061017fSAlexei Starovoitov 			if (*tlv_off == srh_off) {
156b061017fSAlexei Starovoitov 				*tlv_off = cur_off;
157b061017fSAlexei Starovoitov 				offset_valid = 1;
158b061017fSAlexei Starovoitov 			}
159b061017fSAlexei Starovoitov 			break;
160b061017fSAlexei Starovoitov 
161b061017fSAlexei Starovoitov 		} else if (tlv.type == SR6_TLV_HMAC) {
162b061017fSAlexei Starovoitov 			break;
163b061017fSAlexei Starovoitov 		}
164b061017fSAlexei Starovoitov 
165b061017fSAlexei Starovoitov 		cur_off += sizeof(tlv) + tlv.len;
166b061017fSAlexei Starovoitov 	} // we reached the padding or HMAC TLVs, or the end of the SRH
167b061017fSAlexei Starovoitov 
168b061017fSAlexei Starovoitov 	if (*pad_off == 0)
169b061017fSAlexei Starovoitov 		*pad_off = cur_off;
170b061017fSAlexei Starovoitov 
171b061017fSAlexei Starovoitov 	if (*tlv_off == -1)
172b061017fSAlexei Starovoitov 		*tlv_off = cur_off;
173b061017fSAlexei Starovoitov 	else if (!offset_valid)
174b061017fSAlexei Starovoitov 		return -EINVAL;
175b061017fSAlexei Starovoitov 
176b061017fSAlexei Starovoitov 	return 0;
177b061017fSAlexei Starovoitov }
178b061017fSAlexei Starovoitov 
add_tlv(struct __sk_buff * skb,struct ip6_srh_t * srh,uint32_t tlv_off,struct sr6_tlv_t * itlv,uint8_t tlv_size)179d2f5bbbcSJiri Benc static __always_inline int add_tlv(struct __sk_buff *skb,
180d2f5bbbcSJiri Benc 				   struct ip6_srh_t *srh, uint32_t tlv_off,
181b061017fSAlexei Starovoitov 				   struct sr6_tlv_t *itlv, uint8_t tlv_size)
182b061017fSAlexei Starovoitov {
183b061017fSAlexei Starovoitov 	uint32_t srh_off = (char *)srh - (char *)(long)skb->data;
184b061017fSAlexei Starovoitov 	uint8_t len_remaining, new_pad;
185b061017fSAlexei Starovoitov 	uint32_t pad_off = 0;
186b061017fSAlexei Starovoitov 	uint32_t pad_size = 0;
187b061017fSAlexei Starovoitov 	uint32_t partial_srh_len;
188b061017fSAlexei Starovoitov 	int err;
189b061017fSAlexei Starovoitov 
190b061017fSAlexei Starovoitov 	if (tlv_off != -1)
191b061017fSAlexei Starovoitov 		tlv_off += srh_off;
192b061017fSAlexei Starovoitov 
193b061017fSAlexei Starovoitov 	if (itlv->type == SR6_TLV_PADDING || itlv->type == SR6_TLV_HMAC)
194b061017fSAlexei Starovoitov 		return -EINVAL;
195b061017fSAlexei Starovoitov 
196b061017fSAlexei Starovoitov 	err = is_valid_tlv_boundary(skb, srh, &tlv_off, &pad_size, &pad_off);
197b061017fSAlexei Starovoitov 	if (err)
198b061017fSAlexei Starovoitov 		return err;
199b061017fSAlexei Starovoitov 
200b061017fSAlexei Starovoitov 	err = bpf_lwt_seg6_adjust_srh(skb, tlv_off, sizeof(*itlv) + itlv->len);
201b061017fSAlexei Starovoitov 	if (err)
202b061017fSAlexei Starovoitov 		return err;
203b061017fSAlexei Starovoitov 
204b061017fSAlexei Starovoitov 	err = bpf_lwt_seg6_store_bytes(skb, tlv_off, (void *)itlv, tlv_size);
205b061017fSAlexei Starovoitov 	if (err)
206b061017fSAlexei Starovoitov 		return err;
207b061017fSAlexei Starovoitov 
208b061017fSAlexei Starovoitov 	// the following can't be moved inside update_tlv_pad because the
209b061017fSAlexei Starovoitov 	// bpf verifier has some issues with it
210b061017fSAlexei Starovoitov 	pad_off += sizeof(*itlv) + itlv->len;
211b061017fSAlexei Starovoitov 	partial_srh_len = pad_off - srh_off;
212b061017fSAlexei Starovoitov 	len_remaining = partial_srh_len % 8;
213b061017fSAlexei Starovoitov 	new_pad = 8 - len_remaining;
214b061017fSAlexei Starovoitov 
215b061017fSAlexei Starovoitov 	if (new_pad == 1) // cannot pad for 1 byte only
216b061017fSAlexei Starovoitov 		new_pad = 9;
217b061017fSAlexei Starovoitov 	else if (new_pad == 8)
218b061017fSAlexei Starovoitov 		new_pad = 0;
219b061017fSAlexei Starovoitov 
220b061017fSAlexei Starovoitov 	return update_tlv_pad(skb, new_pad, pad_size, pad_off);
221b061017fSAlexei Starovoitov }
222b061017fSAlexei Starovoitov 
223b061017fSAlexei Starovoitov // Add an Egress TLV fc00::4, add the flag A,
224b061017fSAlexei Starovoitov // and apply End.X action to fc42::1
225b061017fSAlexei Starovoitov SEC("lwt_seg6local")
__add_egr_x(struct __sk_buff * skb)226b061017fSAlexei Starovoitov int __add_egr_x(struct __sk_buff *skb)
227b061017fSAlexei Starovoitov {
228b061017fSAlexei Starovoitov 	unsigned long long hi = 0xfc42000000000000;
229b061017fSAlexei Starovoitov 	unsigned long long lo = 0x1;
230b061017fSAlexei Starovoitov 	struct ip6_srh_t *srh = get_srh(skb);
231b061017fSAlexei Starovoitov 	uint8_t new_flags = SR6_FLAG_ALERT;
232b061017fSAlexei Starovoitov 	struct ip6_addr_t addr;
233b061017fSAlexei Starovoitov 	int err, offset;
234b061017fSAlexei Starovoitov 
235b061017fSAlexei Starovoitov 	if (srh == NULL)
236b061017fSAlexei Starovoitov 		return BPF_DROP;
237b061017fSAlexei Starovoitov 
238b061017fSAlexei Starovoitov 	uint8_t tlv[20] = {2, 18, 0, 0, 0xfd, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0,
239b061017fSAlexei Starovoitov 			   0x0, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0, 0x4};
240b061017fSAlexei Starovoitov 
241b061017fSAlexei Starovoitov 	err = add_tlv(skb, srh, (srh->hdrlen+1) << 3,
242b061017fSAlexei Starovoitov 		      (struct sr6_tlv_t *)&tlv, 20);
243b061017fSAlexei Starovoitov 	if (err)
244b061017fSAlexei Starovoitov 		return BPF_DROP;
245b061017fSAlexei Starovoitov 
246b061017fSAlexei Starovoitov 	offset = sizeof(struct ip6_t) + offsetof(struct ip6_srh_t, flags);
247b061017fSAlexei Starovoitov 	err = bpf_lwt_seg6_store_bytes(skb, offset,
248b061017fSAlexei Starovoitov 				       (void *)&new_flags, sizeof(new_flags));
249b061017fSAlexei Starovoitov 	if (err)
250b061017fSAlexei Starovoitov 		return BPF_DROP;
251b061017fSAlexei Starovoitov 
252b9632679SIlya Leoshkevich 	addr.lo = bpf_cpu_to_be64(lo);
253b9632679SIlya Leoshkevich 	addr.hi = bpf_cpu_to_be64(hi);
254b061017fSAlexei Starovoitov 	err = bpf_lwt_seg6_action(skb, SEG6_LOCAL_ACTION_END_X,
255b061017fSAlexei Starovoitov 				  (void *)&addr, sizeof(addr));
256b061017fSAlexei Starovoitov 	if (err)
257b061017fSAlexei Starovoitov 		return BPF_DROP;
258b061017fSAlexei Starovoitov 	return BPF_REDIRECT;
259b061017fSAlexei Starovoitov }
260b061017fSAlexei Starovoitov char __license[] SEC("license") = "GPL";
261