1b061017fSAlexei Starovoitov #include <stddef.h> 2b061017fSAlexei Starovoitov #include <inttypes.h> 3b061017fSAlexei Starovoitov #include <errno.h> 4b061017fSAlexei Starovoitov #include <linux/seg6_local.h> 5b061017fSAlexei Starovoitov #include <linux/bpf.h> 6b061017fSAlexei Starovoitov #include "bpf_helpers.h" 7b061017fSAlexei Starovoitov #include "bpf_endian.h" 8b061017fSAlexei Starovoitov 9b061017fSAlexei Starovoitov /* Packet parsing state machine helpers. */ 10b061017fSAlexei Starovoitov #define cursor_advance(_cursor, _len) \ 11b061017fSAlexei Starovoitov ({ void *_tmp = _cursor; _cursor += _len; _tmp; }) 12b061017fSAlexei Starovoitov 13b061017fSAlexei Starovoitov #define SR6_FLAG_ALERT (1 << 4) 14b061017fSAlexei Starovoitov 15b061017fSAlexei Starovoitov #define BPF_PACKET_HEADER __attribute__((packed)) 16b061017fSAlexei Starovoitov 17b061017fSAlexei Starovoitov struct ip6_t { 18b061017fSAlexei Starovoitov unsigned int ver:4; 19b061017fSAlexei Starovoitov unsigned int priority:8; 20b061017fSAlexei Starovoitov unsigned int flow_label:20; 21b061017fSAlexei Starovoitov unsigned short payload_len; 22b061017fSAlexei Starovoitov unsigned char next_header; 23b061017fSAlexei Starovoitov unsigned char hop_limit; 24b061017fSAlexei Starovoitov unsigned long long src_hi; 25b061017fSAlexei Starovoitov unsigned long long src_lo; 26b061017fSAlexei Starovoitov unsigned long long dst_hi; 27b061017fSAlexei Starovoitov unsigned long long dst_lo; 28b061017fSAlexei Starovoitov } BPF_PACKET_HEADER; 29b061017fSAlexei Starovoitov 30b061017fSAlexei Starovoitov struct ip6_addr_t { 31b061017fSAlexei Starovoitov unsigned long long hi; 32b061017fSAlexei Starovoitov unsigned long long lo; 33b061017fSAlexei Starovoitov } BPF_PACKET_HEADER; 34b061017fSAlexei Starovoitov 35b061017fSAlexei Starovoitov struct ip6_srh_t { 36b061017fSAlexei Starovoitov unsigned char nexthdr; 37b061017fSAlexei Starovoitov unsigned char hdrlen; 38b061017fSAlexei Starovoitov unsigned char type; 39b061017fSAlexei Starovoitov unsigned char segments_left; 40b061017fSAlexei Starovoitov unsigned char first_segment; 41b061017fSAlexei Starovoitov unsigned char flags; 42b061017fSAlexei Starovoitov unsigned short tag; 43b061017fSAlexei Starovoitov 44b061017fSAlexei Starovoitov struct ip6_addr_t segments[0]; 45b061017fSAlexei Starovoitov } BPF_PACKET_HEADER; 46b061017fSAlexei Starovoitov 47b061017fSAlexei Starovoitov struct sr6_tlv_t { 48b061017fSAlexei Starovoitov unsigned char type; 49b061017fSAlexei Starovoitov unsigned char len; 50b061017fSAlexei Starovoitov unsigned char value[0]; 51b061017fSAlexei Starovoitov } BPF_PACKET_HEADER; 52b061017fSAlexei Starovoitov 53d2f5bbbcSJiri Benc static __always_inline struct ip6_srh_t *get_srh(struct __sk_buff *skb) 54b061017fSAlexei Starovoitov { 55b061017fSAlexei Starovoitov void *cursor, *data_end; 56b061017fSAlexei Starovoitov struct ip6_srh_t *srh; 57b061017fSAlexei Starovoitov struct ip6_t *ip; 58b061017fSAlexei Starovoitov uint8_t *ipver; 59b061017fSAlexei Starovoitov 60b061017fSAlexei Starovoitov data_end = (void *)(long)skb->data_end; 61b061017fSAlexei Starovoitov cursor = (void *)(long)skb->data; 62b061017fSAlexei Starovoitov ipver = (uint8_t *)cursor; 63b061017fSAlexei Starovoitov 64b061017fSAlexei Starovoitov if ((void *)ipver + sizeof(*ipver) > data_end) 65b061017fSAlexei Starovoitov return NULL; 66b061017fSAlexei Starovoitov 67b061017fSAlexei Starovoitov if ((*ipver >> 4) != 6) 68b061017fSAlexei Starovoitov return NULL; 69b061017fSAlexei Starovoitov 70b061017fSAlexei Starovoitov ip = cursor_advance(cursor, sizeof(*ip)); 71b061017fSAlexei Starovoitov if ((void *)ip + sizeof(*ip) > data_end) 72b061017fSAlexei Starovoitov return NULL; 73b061017fSAlexei Starovoitov 74b061017fSAlexei Starovoitov if (ip->next_header != 43) 75b061017fSAlexei Starovoitov return NULL; 76b061017fSAlexei Starovoitov 77b061017fSAlexei Starovoitov srh = cursor_advance(cursor, sizeof(*srh)); 78b061017fSAlexei Starovoitov if ((void *)srh + sizeof(*srh) > data_end) 79b061017fSAlexei Starovoitov return NULL; 80b061017fSAlexei Starovoitov 81b061017fSAlexei Starovoitov if (srh->type != 4) 82b061017fSAlexei Starovoitov return NULL; 83b061017fSAlexei Starovoitov 84b061017fSAlexei Starovoitov return srh; 85b061017fSAlexei Starovoitov } 86b061017fSAlexei Starovoitov 87d2f5bbbcSJiri Benc static __always_inline int update_tlv_pad(struct __sk_buff *skb, 88d2f5bbbcSJiri Benc uint32_t new_pad, uint32_t old_pad, 89d2f5bbbcSJiri Benc uint32_t pad_off) 90b061017fSAlexei Starovoitov { 91b061017fSAlexei Starovoitov int err; 92b061017fSAlexei Starovoitov 93b061017fSAlexei Starovoitov if (new_pad != old_pad) { 94b061017fSAlexei Starovoitov err = bpf_lwt_seg6_adjust_srh(skb, pad_off, 95b061017fSAlexei Starovoitov (int) new_pad - (int) old_pad); 96b061017fSAlexei Starovoitov if (err) 97b061017fSAlexei Starovoitov return err; 98b061017fSAlexei Starovoitov } 99b061017fSAlexei Starovoitov 100b061017fSAlexei Starovoitov if (new_pad > 0) { 101b061017fSAlexei Starovoitov char pad_tlv_buf[16] = {0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 102b061017fSAlexei Starovoitov 0, 0, 0}; 103b061017fSAlexei Starovoitov struct sr6_tlv_t *pad_tlv = (struct sr6_tlv_t *) pad_tlv_buf; 104b061017fSAlexei Starovoitov 105b061017fSAlexei Starovoitov pad_tlv->type = SR6_TLV_PADDING; 106b061017fSAlexei Starovoitov pad_tlv->len = new_pad - 2; 107b061017fSAlexei Starovoitov 108b061017fSAlexei Starovoitov err = bpf_lwt_seg6_store_bytes(skb, pad_off, 109b061017fSAlexei Starovoitov (void *)pad_tlv_buf, new_pad); 110b061017fSAlexei Starovoitov if (err) 111b061017fSAlexei Starovoitov return err; 112b061017fSAlexei Starovoitov } 113b061017fSAlexei Starovoitov 114b061017fSAlexei Starovoitov return 0; 115b061017fSAlexei Starovoitov } 116b061017fSAlexei Starovoitov 117d2f5bbbcSJiri Benc static __always_inline int is_valid_tlv_boundary(struct __sk_buff *skb, 118d2f5bbbcSJiri Benc struct ip6_srh_t *srh, 119d2f5bbbcSJiri Benc uint32_t *tlv_off, 120d2f5bbbcSJiri Benc uint32_t *pad_size, 121b061017fSAlexei Starovoitov uint32_t *pad_off) 122b061017fSAlexei Starovoitov { 123b061017fSAlexei Starovoitov uint32_t srh_off, cur_off; 124b061017fSAlexei Starovoitov int offset_valid = 0; 125b061017fSAlexei Starovoitov int err; 126b061017fSAlexei Starovoitov 127b061017fSAlexei Starovoitov srh_off = (char *)srh - (char *)(long)skb->data; 128b061017fSAlexei Starovoitov // cur_off = end of segments, start of possible TLVs 129b061017fSAlexei Starovoitov cur_off = srh_off + sizeof(*srh) + 130b061017fSAlexei Starovoitov sizeof(struct ip6_addr_t) * (srh->first_segment + 1); 131b061017fSAlexei Starovoitov 132b061017fSAlexei Starovoitov *pad_off = 0; 133b061017fSAlexei Starovoitov 134b061017fSAlexei Starovoitov // we can only go as far as ~10 TLVs due to the BPF max stack size 1352ea2612bSYonghong Song // workaround: define induction variable "i" as "long" instead 1362ea2612bSYonghong Song // of "int" to prevent alu32 sub-register spilling. 137b061017fSAlexei Starovoitov #pragma clang loop unroll(disable) 1382ea2612bSYonghong Song for (long i = 0; i < 100; i++) { 139b061017fSAlexei Starovoitov struct sr6_tlv_t tlv; 140b061017fSAlexei Starovoitov 141b061017fSAlexei Starovoitov if (cur_off == *tlv_off) 142b061017fSAlexei Starovoitov offset_valid = 1; 143b061017fSAlexei Starovoitov 144b061017fSAlexei Starovoitov if (cur_off >= srh_off + ((srh->hdrlen + 1) << 3)) 145b061017fSAlexei Starovoitov break; 146b061017fSAlexei Starovoitov 147b061017fSAlexei Starovoitov err = bpf_skb_load_bytes(skb, cur_off, &tlv, sizeof(tlv)); 148b061017fSAlexei Starovoitov if (err) 149b061017fSAlexei Starovoitov return err; 150b061017fSAlexei Starovoitov 151b061017fSAlexei Starovoitov if (tlv.type == SR6_TLV_PADDING) { 152b061017fSAlexei Starovoitov *pad_size = tlv.len + sizeof(tlv); 153b061017fSAlexei Starovoitov *pad_off = cur_off; 154b061017fSAlexei Starovoitov 155b061017fSAlexei Starovoitov if (*tlv_off == srh_off) { 156b061017fSAlexei Starovoitov *tlv_off = cur_off; 157b061017fSAlexei Starovoitov offset_valid = 1; 158b061017fSAlexei Starovoitov } 159b061017fSAlexei Starovoitov break; 160b061017fSAlexei Starovoitov 161b061017fSAlexei Starovoitov } else if (tlv.type == SR6_TLV_HMAC) { 162b061017fSAlexei Starovoitov break; 163b061017fSAlexei Starovoitov } 164b061017fSAlexei Starovoitov 165b061017fSAlexei Starovoitov cur_off += sizeof(tlv) + tlv.len; 166b061017fSAlexei Starovoitov } // we reached the padding or HMAC TLVs, or the end of the SRH 167b061017fSAlexei Starovoitov 168b061017fSAlexei Starovoitov if (*pad_off == 0) 169b061017fSAlexei Starovoitov *pad_off = cur_off; 170b061017fSAlexei Starovoitov 171b061017fSAlexei Starovoitov if (*tlv_off == -1) 172b061017fSAlexei Starovoitov *tlv_off = cur_off; 173b061017fSAlexei Starovoitov else if (!offset_valid) 174b061017fSAlexei Starovoitov return -EINVAL; 175b061017fSAlexei Starovoitov 176b061017fSAlexei Starovoitov return 0; 177b061017fSAlexei Starovoitov } 178b061017fSAlexei Starovoitov 179d2f5bbbcSJiri Benc static __always_inline int add_tlv(struct __sk_buff *skb, 180d2f5bbbcSJiri Benc struct ip6_srh_t *srh, uint32_t tlv_off, 181b061017fSAlexei Starovoitov struct sr6_tlv_t *itlv, uint8_t tlv_size) 182b061017fSAlexei Starovoitov { 183b061017fSAlexei Starovoitov uint32_t srh_off = (char *)srh - (char *)(long)skb->data; 184b061017fSAlexei Starovoitov uint8_t len_remaining, new_pad; 185b061017fSAlexei Starovoitov uint32_t pad_off = 0; 186b061017fSAlexei Starovoitov uint32_t pad_size = 0; 187b061017fSAlexei Starovoitov uint32_t partial_srh_len; 188b061017fSAlexei Starovoitov int err; 189b061017fSAlexei Starovoitov 190b061017fSAlexei Starovoitov if (tlv_off != -1) 191b061017fSAlexei Starovoitov tlv_off += srh_off; 192b061017fSAlexei Starovoitov 193b061017fSAlexei Starovoitov if (itlv->type == SR6_TLV_PADDING || itlv->type == SR6_TLV_HMAC) 194b061017fSAlexei Starovoitov return -EINVAL; 195b061017fSAlexei Starovoitov 196b061017fSAlexei Starovoitov err = is_valid_tlv_boundary(skb, srh, &tlv_off, &pad_size, &pad_off); 197b061017fSAlexei Starovoitov if (err) 198b061017fSAlexei Starovoitov return err; 199b061017fSAlexei Starovoitov 200b061017fSAlexei Starovoitov err = bpf_lwt_seg6_adjust_srh(skb, tlv_off, sizeof(*itlv) + itlv->len); 201b061017fSAlexei Starovoitov if (err) 202b061017fSAlexei Starovoitov return err; 203b061017fSAlexei Starovoitov 204b061017fSAlexei Starovoitov err = bpf_lwt_seg6_store_bytes(skb, tlv_off, (void *)itlv, tlv_size); 205b061017fSAlexei Starovoitov if (err) 206b061017fSAlexei Starovoitov return err; 207b061017fSAlexei Starovoitov 208b061017fSAlexei Starovoitov // the following can't be moved inside update_tlv_pad because the 209b061017fSAlexei Starovoitov // bpf verifier has some issues with it 210b061017fSAlexei Starovoitov pad_off += sizeof(*itlv) + itlv->len; 211b061017fSAlexei Starovoitov partial_srh_len = pad_off - srh_off; 212b061017fSAlexei Starovoitov len_remaining = partial_srh_len % 8; 213b061017fSAlexei Starovoitov new_pad = 8 - len_remaining; 214b061017fSAlexei Starovoitov 215b061017fSAlexei Starovoitov if (new_pad == 1) // cannot pad for 1 byte only 216b061017fSAlexei Starovoitov new_pad = 9; 217b061017fSAlexei Starovoitov else if (new_pad == 8) 218b061017fSAlexei Starovoitov new_pad = 0; 219b061017fSAlexei Starovoitov 220b061017fSAlexei Starovoitov return update_tlv_pad(skb, new_pad, pad_size, pad_off); 221b061017fSAlexei Starovoitov } 222b061017fSAlexei Starovoitov 223b061017fSAlexei Starovoitov // Add an Egress TLV fc00::4, add the flag A, 224b061017fSAlexei Starovoitov // and apply End.X action to fc42::1 225b061017fSAlexei Starovoitov SEC("lwt_seg6local") 226b061017fSAlexei Starovoitov int __add_egr_x(struct __sk_buff *skb) 227b061017fSAlexei Starovoitov { 228b061017fSAlexei Starovoitov unsigned long long hi = 0xfc42000000000000; 229b061017fSAlexei Starovoitov unsigned long long lo = 0x1; 230b061017fSAlexei Starovoitov struct ip6_srh_t *srh = get_srh(skb); 231b061017fSAlexei Starovoitov uint8_t new_flags = SR6_FLAG_ALERT; 232b061017fSAlexei Starovoitov struct ip6_addr_t addr; 233b061017fSAlexei Starovoitov int err, offset; 234b061017fSAlexei Starovoitov 235b061017fSAlexei Starovoitov if (srh == NULL) 236b061017fSAlexei Starovoitov return BPF_DROP; 237b061017fSAlexei Starovoitov 238b061017fSAlexei Starovoitov uint8_t tlv[20] = {2, 18, 0, 0, 0xfd, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0, 239b061017fSAlexei Starovoitov 0x0, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0, 0x4}; 240b061017fSAlexei Starovoitov 241b061017fSAlexei Starovoitov err = add_tlv(skb, srh, (srh->hdrlen+1) << 3, 242b061017fSAlexei Starovoitov (struct sr6_tlv_t *)&tlv, 20); 243b061017fSAlexei Starovoitov if (err) 244b061017fSAlexei Starovoitov return BPF_DROP; 245b061017fSAlexei Starovoitov 246b061017fSAlexei Starovoitov offset = sizeof(struct ip6_t) + offsetof(struct ip6_srh_t, flags); 247b061017fSAlexei Starovoitov err = bpf_lwt_seg6_store_bytes(skb, offset, 248b061017fSAlexei Starovoitov (void *)&new_flags, sizeof(new_flags)); 249b061017fSAlexei Starovoitov if (err) 250b061017fSAlexei Starovoitov return BPF_DROP; 251b061017fSAlexei Starovoitov 252b9632679SIlya Leoshkevich addr.lo = bpf_cpu_to_be64(lo); 253b9632679SIlya Leoshkevich addr.hi = bpf_cpu_to_be64(hi); 254b061017fSAlexei Starovoitov err = bpf_lwt_seg6_action(skb, SEG6_LOCAL_ACTION_END_X, 255b061017fSAlexei Starovoitov (void *)&addr, sizeof(addr)); 256b061017fSAlexei Starovoitov if (err) 257b061017fSAlexei Starovoitov return BPF_DROP; 258b061017fSAlexei Starovoitov return BPF_REDIRECT; 259b061017fSAlexei Starovoitov } 260b061017fSAlexei Starovoitov char __license[] SEC("license") = "GPL"; 261