1 /* 2 * Header file for wrappers around MSA instructions assembler invocations 3 * 4 * Copyright (C) 2019 Wave Computing, Inc. 5 * Copyright (C) 2019 Aleksandar Markovic <amarkovic@wavecomp.com> 6 * 7 * This program is free software: you can redistribute it and/or modify 8 * it under the terms of the GNU General Public License as published by 9 * the Free Software Foundation, either version 2 of the License, or 10 * (at your option) any later version. 11 * 12 * This program is distributed in the hope that it will be useful, 13 * but WITHOUT ANY WARRANTY; without even the implied warranty of 14 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the 15 * GNU General Public License for more details. 16 * 17 * You should have received a copy of the GNU General Public License 18 * along with this program. If not, see <https://www.gnu.org/licenses/>. 19 * 20 */ 21 22 #ifndef WRAPPERS_MSA_H 23 #define WRAPPERS_MSA_H 24 25 26 #define DO_MSA__WD__WS(suffix, mnemonic) \ 27 static inline void do_msa_##suffix(const void *input, \ 28 const void *output) \ 29 { \ 30 __asm__ volatile ( \ 31 "move $t0, %0\n\t" \ 32 "ld.d $w11, 0($t0)\n\t" \ 33 #mnemonic " $w10, $w11\n\t" \ 34 "move $t0, %1\n\t" \ 35 "st.d $w10, 0($t0)\n\t" \ 36 : \ 37 : "r" (input), "r" (output) \ 38 : "t0", "memory" \ 39 ); \ 40 } 41 42 #define DO_MSA__WD__WD(suffix, mnemonic) \ 43 static inline void do_msa_##suffix(const void *input, \ 44 const void *output) \ 45 { \ 46 __asm__ volatile ( \ 47 "move $t0, %0\n\t" \ 48 "ld.d $w11, 0($t0)\n\t" \ 49 #mnemonic " $w10, $w10\n\t" \ 50 "move $t0, %1\n\t" \ 51 "st.d $w10, 0($t0)\n\t" \ 52 : \ 53 : "r" (input), "r" (output) \ 54 : "t0", "memory" \ 55 ); \ 56 } 57 58 DO_MSA__WD__WS(NLOC_B, nloc.b) 59 DO_MSA__WD__WS(NLOC_H, nloc.h) 60 DO_MSA__WD__WS(NLOC_W, nloc.w) 61 DO_MSA__WD__WS(NLOC_D, nloc.d) 62 63 DO_MSA__WD__WS(NLZC_B, nlzc.b) 64 DO_MSA__WD__WS(NLZC_H, nlzc.h) 65 DO_MSA__WD__WS(NLZC_W, nlzc.w) 66 DO_MSA__WD__WS(NLZC_D, nlzc.d) 67 68 DO_MSA__WD__WS(PCNT_B, pcnt.b) 69 DO_MSA__WD__WS(PCNT_H, pcnt.h) 70 DO_MSA__WD__WS(PCNT_W, pcnt.w) 71 DO_MSA__WD__WS(PCNT_D, pcnt.d) 72 73 74 #define DO_MSA__WD__WS_WT(suffix, mnemonic) \ 75 static inline void do_msa_##suffix(const void *input1, \ 76 const void *input2, \ 77 const void *output) \ 78 { \ 79 __asm__ volatile ( \ 80 "move $t0, %0\n\t" \ 81 "ld.d $w11, 0($t0)\n\t" \ 82 "move $t0, %1\n\t" \ 83 "ld.d $w12, 0($t0)\n\t" \ 84 #mnemonic " $w10, $w11, $w12\n\t" \ 85 "move $t0, %2\n\t" \ 86 "st.d $w10, 0($t0)\n\t" \ 87 : \ 88 : "r" (input1), "r" (input2), "r" (output) \ 89 : "t0", "memory" \ 90 ); \ 91 } 92 93 #define DO_MSA__WD__WD_WT(suffix, mnemonic) \ 94 static inline void do_msa_##suffix(void *input1, void *input2, \ 95 void *output) \ 96 { \ 97 __asm__ volatile ( \ 98 "move $t0, %0\n\t" \ 99 "ld.d $w11, 0($t0)\n\t" \ 100 "move $t0, %1\n\t" \ 101 "ld.d $w12, 0($t0)\n\t" \ 102 #mnemonic " $w10, $w10, $w12\n\t" \ 103 "move $t0, %2\n\t" \ 104 "st.d $w10, 0($t0)\n\t" \ 105 : \ 106 : "r" (input1), "r" (input2), "r" (output) \ 107 : "t0", "memory" \ 108 ); \ 109 } 110 111 #define DO_MSA__WD__WS_WD(suffix, mnemonic) \ 112 static inline void do_msa_##suffix(void *input1, void *input2, \ 113 void *output) \ 114 { \ 115 __asm__ volatile ( \ 116 "move $t0, %0\n\t" \ 117 "ld.d $w11, 0($t0)\n\t" \ 118 "move $t0, %1\n\t" \ 119 "ld.d $w12, 0($t0)\n\t" \ 120 #mnemonic " $w10, $w11, $w10\n\t" \ 121 "move $t0, %2\n\t" \ 122 "st.d $w10, 0($t0)\n\t" \ 123 : \ 124 : "r" (input1), "r" (input2), "r" (output) \ 125 : "t0", "memory" \ 126 ); \ 127 } 128 129 DO_MSA__WD__WS_WT(ILVEV_B, ilvev.b) 130 DO_MSA__WD__WS_WT(ILVEV_H, ilvev.h) 131 DO_MSA__WD__WS_WT(ILVEV_W, ilvev.w) 132 DO_MSA__WD__WS_WT(ILVEV_D, ilvev.d) 133 134 DO_MSA__WD__WS_WT(ILVOD_B, ilvod.b) 135 DO_MSA__WD__WS_WT(ILVOD_H, ilvod.h) 136 DO_MSA__WD__WS_WT(ILVOD_W, ilvod.w) 137 DO_MSA__WD__WS_WT(ILVOD_D, ilvod.d) 138 139 DO_MSA__WD__WS_WT(ILVL_B, ilvl.b) 140 DO_MSA__WD__WS_WT(ILVL_H, ilvl.h) 141 DO_MSA__WD__WS_WT(ILVL_W, ilvl.w) 142 DO_MSA__WD__WS_WT(ILVL_D, ilvl.d) 143 144 DO_MSA__WD__WS_WT(ILVR_B, ilvr.b) 145 DO_MSA__WD__WS_WT(ILVR_H, ilvr.h) 146 DO_MSA__WD__WS_WT(ILVR_W, ilvr.w) 147 DO_MSA__WD__WS_WT(ILVR_D, ilvr.d) 148 149 DO_MSA__WD__WS_WT(AND_V, and.v) 150 DO_MSA__WD__WS_WT(NOR_V, nor.v) 151 DO_MSA__WD__WS_WT(OR_V, or.v) 152 DO_MSA__WD__WS_WT(XOR_V, xor.v) 153 154 DO_MSA__WD__WS_WT(CEQ_B, ceq.b) 155 DO_MSA__WD__WS_WT(CEQ_H, ceq.h) 156 DO_MSA__WD__WS_WT(CEQ_W, ceq.w) 157 DO_MSA__WD__WS_WT(CEQ_D, ceq.d) 158 159 DO_MSA__WD__WS_WT(CLE_S_B, cle_s.b) 160 DO_MSA__WD__WS_WT(CLE_S_H, cle_s.h) 161 DO_MSA__WD__WS_WT(CLE_S_W, cle_s.w) 162 DO_MSA__WD__WS_WT(CLE_S_D, cle_s.d) 163 164 DO_MSA__WD__WS_WT(CLE_U_B, cle_u.b) 165 DO_MSA__WD__WS_WT(CLE_U_H, cle_u.h) 166 DO_MSA__WD__WS_WT(CLE_U_W, cle_u.w) 167 DO_MSA__WD__WS_WT(CLE_U_D, cle_u.d) 168 169 DO_MSA__WD__WS_WT(CLT_S_B, clt_s.b) 170 DO_MSA__WD__WS_WT(CLT_S_H, clt_s.h) 171 DO_MSA__WD__WS_WT(CLT_S_W, clt_s.w) 172 DO_MSA__WD__WS_WT(CLT_S_D, clt_s.d) 173 174 DO_MSA__WD__WS_WT(CLT_U_B, clt_u.b) 175 DO_MSA__WD__WS_WT(CLT_U_H, clt_u.h) 176 DO_MSA__WD__WS_WT(CLT_U_W, clt_u.w) 177 DO_MSA__WD__WS_WT(CLT_U_D, clt_u.d) 178 179 DO_MSA__WD__WS_WT(MAX_A_B, max_a.b) 180 DO_MSA__WD__WS_WT(MAX_A_H, max_a.h) 181 DO_MSA__WD__WS_WT(MAX_A_W, max_a.w) 182 DO_MSA__WD__WS_WT(MAX_A_D, max_a.d) 183 184 DO_MSA__WD__WS_WT(MIN_A_B, min_a.b) 185 DO_MSA__WD__WS_WT(MIN_A_H, min_a.h) 186 DO_MSA__WD__WS_WT(MIN_A_W, min_a.w) 187 DO_MSA__WD__WS_WT(MIN_A_D, min_a.d) 188 189 DO_MSA__WD__WS_WT(MAX_S_B, max_s.b) 190 DO_MSA__WD__WS_WT(MAX_S_H, max_s.h) 191 DO_MSA__WD__WS_WT(MAX_S_W, max_s.w) 192 DO_MSA__WD__WS_WT(MAX_S_D, max_s.d) 193 194 DO_MSA__WD__WS_WT(MIN_S_B, min_s.b) 195 DO_MSA__WD__WS_WT(MIN_S_H, min_s.h) 196 DO_MSA__WD__WS_WT(MIN_S_W, min_s.w) 197 DO_MSA__WD__WS_WT(MIN_S_D, min_s.d) 198 199 DO_MSA__WD__WS_WT(MAX_U_B, max_u.b) 200 DO_MSA__WD__WS_WT(MAX_U_H, max_u.h) 201 DO_MSA__WD__WS_WT(MAX_U_W, max_u.w) 202 DO_MSA__WD__WS_WT(MAX_U_D, max_u.d) 203 204 DO_MSA__WD__WS_WT(MIN_U_B, min_u.b) 205 DO_MSA__WD__WS_WT(MIN_U_H, min_u.h) 206 DO_MSA__WD__WS_WT(MIN_U_W, min_u.w) 207 DO_MSA__WD__WS_WT(MIN_U_D, min_u.d) 208 209 DO_MSA__WD__WS_WT(BCLR_B, bclr.b) 210 DO_MSA__WD__WS_WT(BCLR_H, bclr.h) 211 DO_MSA__WD__WS_WT(BCLR_W, bclr.w) 212 DO_MSA__WD__WS_WT(BCLR_D, bclr.d) 213 214 DO_MSA__WD__WS_WT(BSET_B, bset.b) 215 DO_MSA__WD__WS_WT(BSET_H, bset.h) 216 DO_MSA__WD__WS_WT(BSET_W, bset.w) 217 DO_MSA__WD__WS_WT(BSET_D, bset.d) 218 219 DO_MSA__WD__WS_WT(BNEG_B, bneg.b) 220 DO_MSA__WD__WS_WT(BNEG_H, bneg.h) 221 DO_MSA__WD__WS_WT(BNEG_W, bneg.w) 222 DO_MSA__WD__WS_WT(BNEG_D, bneg.d) 223 224 DO_MSA__WD__WS_WT(PCKEV_B, pckev.b) 225 DO_MSA__WD__WS_WT(PCKEV_H, pckev.h) 226 DO_MSA__WD__WS_WT(PCKEV_W, pckev.w) 227 DO_MSA__WD__WS_WT(PCKEV_D, pckev.d) 228 229 DO_MSA__WD__WS_WT(PCKOD_B, pckod.b) 230 DO_MSA__WD__WS_WT(PCKOD_H, pckod.h) 231 DO_MSA__WD__WS_WT(PCKOD_W, pckod.w) 232 DO_MSA__WD__WS_WT(PCKOD_D, pckod.d) 233 234 DO_MSA__WD__WS_WT(VSHF_B, vshf.b) 235 DO_MSA__WD__WS_WT(VSHF_H, vshf.h) 236 DO_MSA__WD__WS_WT(VSHF_W, vshf.w) 237 DO_MSA__WD__WS_WT(VSHF_D, vshf.d) 238 239 DO_MSA__WD__WS_WT(SLL_B, sll.b) 240 DO_MSA__WD__WS_WT(SLL_H, sll.h) 241 DO_MSA__WD__WS_WT(SLL_W, sll.w) 242 DO_MSA__WD__WS_WT(SLL_D, sll.d) 243 244 DO_MSA__WD__WS_WT(SRA_B, sra.b) 245 DO_MSA__WD__WS_WT(SRA_H, sra.h) 246 DO_MSA__WD__WS_WT(SRA_W, sra.w) 247 DO_MSA__WD__WS_WT(SRA_D, sra.d) 248 249 DO_MSA__WD__WS_WT(SRAR_B, srar.b) 250 DO_MSA__WD__WS_WT(SRAR_H, srar.h) 251 DO_MSA__WD__WS_WT(SRAR_W, srar.w) 252 DO_MSA__WD__WS_WT(SRAR_D, srar.d) 253 254 DO_MSA__WD__WS_WT(SRL_B, srl.b) 255 DO_MSA__WD__WS_WT(SRL_H, srl.h) 256 DO_MSA__WD__WS_WT(SRL_W, srl.w) 257 DO_MSA__WD__WS_WT(SRL_D, srl.d) 258 259 DO_MSA__WD__WS_WT(SRLR_B, srlr.b) 260 DO_MSA__WD__WS_WT(SRLR_H, srlr.h) 261 DO_MSA__WD__WS_WT(SRLR_W, srlr.w) 262 DO_MSA__WD__WS_WT(SRLR_D, srlr.d) 263 264 DO_MSA__WD__WS_WT(ADD_A_B, add_a.b) 265 DO_MSA__WD__WS_WT(ADD_A_H, add_a.h) 266 DO_MSA__WD__WS_WT(ADD_A_W, add_a.w) 267 DO_MSA__WD__WS_WT(ADD_A_D, add_a.d) 268 269 DO_MSA__WD__WS_WT(ADDS_A_B, adds_a.b) 270 DO_MSA__WD__WS_WT(ADDS_A_H, adds_a.h) 271 DO_MSA__WD__WS_WT(ADDS_A_W, adds_a.w) 272 DO_MSA__WD__WS_WT(ADDS_A_D, adds_a.d) 273 274 DO_MSA__WD__WS_WT(ADDS_S_B, adds_s.b) 275 DO_MSA__WD__WS_WT(ADDS_S_H, adds_s.h) 276 DO_MSA__WD__WS_WT(ADDS_S_W, adds_s.w) 277 DO_MSA__WD__WS_WT(ADDS_S_D, adds_s.d) 278 279 DO_MSA__WD__WS_WT(ADDS_U_B, adds_u.b) 280 DO_MSA__WD__WS_WT(ADDS_U_H, adds_u.h) 281 DO_MSA__WD__WS_WT(ADDS_U_W, adds_u.w) 282 DO_MSA__WD__WS_WT(ADDS_U_D, adds_u.d) 283 284 DO_MSA__WD__WS_WT(ADDV_B, addv.b) 285 DO_MSA__WD__WS_WT(ADDV_H, addv.h) 286 DO_MSA__WD__WS_WT(ADDV_W, addv.w) 287 DO_MSA__WD__WS_WT(ADDV_D, addv.d) 288 289 DO_MSA__WD__WS_WT(HADD_S_H, hadd_s.h) 290 DO_MSA__WD__WS_WT(HADD_S_W, hadd_s.w) 291 DO_MSA__WD__WS_WT(HADD_S_D, hadd_s.d) 292 293 DO_MSA__WD__WS_WT(HADD_U_H, hadd_u.h) 294 DO_MSA__WD__WS_WT(HADD_U_W, hadd_u.w) 295 DO_MSA__WD__WS_WT(HADD_U_D, hadd_u.d) 296 297 DO_MSA__WD__WS_WT(AVER_S_B, aver_s.b) 298 DO_MSA__WD__WS_WT(AVER_S_H, aver_s.h) 299 DO_MSA__WD__WS_WT(AVER_S_W, aver_s.w) 300 DO_MSA__WD__WS_WT(AVER_S_D, aver_s.d) 301 302 DO_MSA__WD__WS_WT(AVER_U_B, aver_u.b) 303 DO_MSA__WD__WS_WT(AVER_U_H, aver_u.h) 304 DO_MSA__WD__WS_WT(AVER_U_W, aver_u.w) 305 DO_MSA__WD__WS_WT(AVER_U_D, aver_u.d) 306 307 DO_MSA__WD__WS_WT(AVE_S_B, ave_s.b) 308 DO_MSA__WD__WS_WT(AVE_S_H, ave_s.h) 309 DO_MSA__WD__WS_WT(AVE_S_W, ave_s.w) 310 DO_MSA__WD__WS_WT(AVE_S_D, ave_s.d) 311 312 DO_MSA__WD__WS_WT(AVE_U_B, ave_u.b) 313 DO_MSA__WD__WS_WT(AVE_U_H, ave_u.h) 314 DO_MSA__WD__WS_WT(AVE_U_W, ave_u.w) 315 DO_MSA__WD__WS_WT(AVE_U_D, ave_u.d) 316 317 DO_MSA__WD__WS_WT(DIV_S_B, div_s.b) 318 DO_MSA__WD__WS_WT(DIV_S_H, div_s.h) 319 DO_MSA__WD__WS_WT(DIV_S_W, div_s.w) 320 DO_MSA__WD__WS_WT(DIV_S_D, div_s.d) 321 322 DO_MSA__WD__WS_WT(DIV_U_B, div_u.b) 323 DO_MSA__WD__WS_WT(DIV_U_H, div_u.h) 324 DO_MSA__WD__WS_WT(DIV_U_W, div_u.w) 325 DO_MSA__WD__WS_WT(DIV_U_D, div_u.d) 326 327 DO_MSA__WD__WS_WT(DOTP_S_H, dotp_s.h) 328 DO_MSA__WD__WS_WT(DOTP_S_W, dotp_s.w) 329 DO_MSA__WD__WS_WT(DOTP_S_D, dotp_s.d) 330 331 DO_MSA__WD__WS_WT(DOTP_U_H, dotp_u.h) 332 DO_MSA__WD__WS_WT(DOTP_U_W, dotp_u.w) 333 DO_MSA__WD__WS_WT(DOTP_U_D, dotp_u.d) 334 335 DO_MSA__WD__WS_WT(MOD_S_B, mod_s.b) 336 DO_MSA__WD__WS_WT(MOD_S_H, mod_s.h) 337 DO_MSA__WD__WS_WT(MOD_S_W, mod_s.w) 338 DO_MSA__WD__WS_WT(MOD_S_D, mod_s.d) 339 340 DO_MSA__WD__WS_WT(MOD_U_B, mod_u.b) 341 DO_MSA__WD__WS_WT(MOD_U_H, mod_u.h) 342 DO_MSA__WD__WS_WT(MOD_U_W, mod_u.w) 343 DO_MSA__WD__WS_WT(MOD_U_D, mod_u.d) 344 345 DO_MSA__WD__WS_WT(MUL_Q_H, mul_q.h) 346 DO_MSA__WD__WS_WT(MUL_Q_W, mul_q.w) 347 DO_MSA__WD__WS_WT(MULR_Q_H, mulr_q.h) 348 DO_MSA__WD__WS_WT(MULR_Q_W, mulr_q.w) 349 350 DO_MSA__WD__WS_WT(MULV_B, mulv.b) 351 DO_MSA__WD__WS_WT(MULV_H, mulv.h) 352 DO_MSA__WD__WS_WT(MULV_W, mulv.w) 353 DO_MSA__WD__WS_WT(MULV_D, mulv.d) 354 355 DO_MSA__WD__WS_WT(SUBV_B, subv.b) 356 DO_MSA__WD__WS_WT(SUBV_H, subv.h) 357 DO_MSA__WD__WS_WT(SUBV_W, subv.w) 358 DO_MSA__WD__WS_WT(SUBV_D, subv.d) 359 360 DO_MSA__WD__WS_WT(SUBS_S_B, subs_s.b) 361 DO_MSA__WD__WS_WT(SUBS_S_H, subs_s.h) 362 DO_MSA__WD__WS_WT(SUBS_S_W, subs_s.w) 363 DO_MSA__WD__WS_WT(SUBS_S_D, subs_s.d) 364 365 DO_MSA__WD__WS_WT(SUBS_U_B, subs_u.b) 366 DO_MSA__WD__WS_WT(SUBS_U_H, subs_u.h) 367 DO_MSA__WD__WS_WT(SUBS_U_W, subs_u.w) 368 DO_MSA__WD__WS_WT(SUBS_U_D, subs_u.d) 369 370 DO_MSA__WD__WS_WT(ASUB_S_B, asub_s.b) 371 DO_MSA__WD__WS_WT(ASUB_S_H, asub_s.h) 372 DO_MSA__WD__WS_WT(ASUB_S_W, asub_s.w) 373 DO_MSA__WD__WS_WT(ASUB_S_D, asub_s.d) 374 375 DO_MSA__WD__WS_WT(ASUB_U_B, asub_u.b) 376 DO_MSA__WD__WS_WT(ASUB_U_H, asub_u.h) 377 DO_MSA__WD__WS_WT(ASUB_U_W, asub_u.w) 378 DO_MSA__WD__WS_WT(ASUB_U_D, asub_u.d) 379 380 DO_MSA__WD__WS_WT(SUBSUU_S_B, subsuu_s.b) 381 DO_MSA__WD__WS_WT(SUBSUU_S_H, subsuu_s.h) 382 DO_MSA__WD__WS_WT(SUBSUU_S_W, subsuu_s.w) 383 DO_MSA__WD__WS_WT(SUBSUU_S_D, subsuu_s.d) 384 385 DO_MSA__WD__WS_WT(SUBSUS_U_B, subsus_u.b) 386 DO_MSA__WD__WS_WT(SUBSUS_U_H, subsus_u.h) 387 DO_MSA__WD__WS_WT(SUBSUS_U_W, subsus_u.w) 388 DO_MSA__WD__WS_WT(SUBSUS_U_D, subsus_u.d) 389 390 DO_MSA__WD__WS_WT(HSUB_S_H, hsub_s.h) 391 DO_MSA__WD__WS_WT(HSUB_S_W, hsub_s.w) 392 DO_MSA__WD__WS_WT(HSUB_S_D, hsub_s.d) 393 394 DO_MSA__WD__WS_WT(HSUB_U_H, hsub_u.h) 395 DO_MSA__WD__WS_WT(HSUB_U_W, hsub_u.w) 396 DO_MSA__WD__WS_WT(HSUB_U_D, hsub_u.d) 397 398 399 400 DO_MSA__WD__WS_WT(BMNZ_V, bmnz.v) 401 DO_MSA__WD__WS_WT(BMZ_V, bmz.v) 402 403 DO_MSA__WD__WS_WT(FMAX_W, fmax.w) 404 DO_MSA__WD__WS_WT(FMAX_D, fmax.d) 405 406 DO_MSA__WD__WS_WT(FMAX_A_W, fmax_a.w) 407 DO_MSA__WD__WS_WT(FMAX_A_D, fmax_a.d) 408 409 DO_MSA__WD__WS_WT(FMIN_W, fmin.w) 410 DO_MSA__WD__WS_WT(FMIN_D, fmin.d) 411 412 DO_MSA__WD__WS_WT(FMIN_A_W, fmin_a.w) 413 DO_MSA__WD__WS_WT(FMIN_A_D, fmin_a.d) 414 415 416 #endif 417