1 /*
2  *  Header file for wrappers around MSA instructions assembler invocations
3  *
4  *  Copyright (C) 2019  Wave Computing, Inc.
5  *  Copyright (C) 2019  Aleksandar Markovic <amarkovic@wavecomp.com>
6  *
7  *  This program is free software: you can redistribute it and/or modify
8  *  it under the terms of the GNU General Public License as published by
9  *  the Free Software Foundation, either version 2 of the License, or
10  *  (at your option) any later version.
11  *
12  *  This program is distributed in the hope that it will be useful,
13  *  but WITHOUT ANY WARRANTY; without even the implied warranty of
14  *  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
15  *  GNU General Public License for more details.
16  *
17  *  You should have received a copy of the GNU General Public License
18  *  along with this program.  If not, see <https://www.gnu.org/licenses/>.
19  *
20  */
21 
22 #ifndef WRAPPERS_MSA_H
23 #define WRAPPERS_MSA_H
24 
25 
26 #define RESET_MSA_REGISTER(wi)                                         \
27    __asm__ volatile (                                                  \
28       "xor.v $" #wi ", $" #wi ", $" #wi "\n\t"                         \
29       :                                                                \
30       :                                                                \
31       :                                                                \
32    )
33 
34 
35 static inline void reset_msa_registers()
36 {
37 
38    RESET_MSA_REGISTER(w0);
39    RESET_MSA_REGISTER(w1);
40    RESET_MSA_REGISTER(w2);
41    RESET_MSA_REGISTER(w3);
42    RESET_MSA_REGISTER(w4);
43    RESET_MSA_REGISTER(w5);
44    RESET_MSA_REGISTER(w6);
45    RESET_MSA_REGISTER(w7);
46    RESET_MSA_REGISTER(w8);
47    RESET_MSA_REGISTER(w9);
48    RESET_MSA_REGISTER(w10);
49    RESET_MSA_REGISTER(w11);
50    RESET_MSA_REGISTER(w12);
51    RESET_MSA_REGISTER(w13);
52    RESET_MSA_REGISTER(w14);
53    RESET_MSA_REGISTER(w15);
54    RESET_MSA_REGISTER(w16);
55    RESET_MSA_REGISTER(w17);
56    RESET_MSA_REGISTER(w18);
57    RESET_MSA_REGISTER(w19);
58    RESET_MSA_REGISTER(w20);
59    RESET_MSA_REGISTER(w21);
60    RESET_MSA_REGISTER(w22);
61    RESET_MSA_REGISTER(w23);
62    RESET_MSA_REGISTER(w24);
63    RESET_MSA_REGISTER(w25);
64    RESET_MSA_REGISTER(w26);
65    RESET_MSA_REGISTER(w27);
66    RESET_MSA_REGISTER(w28);
67    RESET_MSA_REGISTER(w29);
68    RESET_MSA_REGISTER(w30);
69    RESET_MSA_REGISTER(w31);
70 
71 }
72 
73 
74 #define DO_MSA__WD__WS(suffix, mnemonic)                               \
75 static inline void do_msa_##suffix(const void *input,                  \
76                                    const void *output)                 \
77 {                                                                      \
78    __asm__ volatile (                                                  \
79       "move $t0, %0\n\t"                                               \
80       "ld.d $w11, 0($t0)\n\t"                                          \
81       #mnemonic " $w10, $w11\n\t"                                      \
82       "move $t0, %1\n\t"                                               \
83       "st.d $w10, 0($t0)\n\t"                                          \
84       :                                                                \
85       : "r" (input), "r" (output)                                      \
86       : "t0", "memory"                                                 \
87    );                                                                  \
88 }
89 
90 #define DO_MSA__WD__WD(suffix, mnemonic)                               \
91 static inline void do_msa_##suffix(const void *input,                  \
92                                    const void *output)                 \
93 {                                                                      \
94    __asm__ volatile (                                                  \
95       "move $t0, %0\n\t"                                               \
96       "ld.d $w11, 0($t0)\n\t"                                          \
97       #mnemonic " $w10, $w10\n\t"                                      \
98       "move $t0, %1\n\t"                                               \
99       "st.d $w10, 0($t0)\n\t"                                          \
100       :                                                                \
101       : "r" (input), "r" (output)                                      \
102       : "t0", "memory"                                                 \
103    );                                                                  \
104 }
105 
106 
107 #define DO_MSA__WD__WS_WT(suffix, mnemonic)                            \
108 static inline void do_msa_##suffix(const void *input1,                 \
109                                    const void *input2,                 \
110                                    const void *output)                 \
111 {                                                                      \
112    __asm__ volatile (                                                  \
113       "move $t0, %0\n\t"                                               \
114       "ld.d $w11, 0($t0)\n\t"                                          \
115       "move $t0, %1\n\t"                                               \
116       "ld.d $w12, 0($t0)\n\t"                                          \
117       #mnemonic " $w10, $w11, $w12\n\t"                                \
118       "move $t0, %2\n\t"                                               \
119       "st.d $w10, 0($t0)\n\t"                                          \
120       :                                                                \
121       : "r" (input1), "r" (input2), "r" (output)                       \
122       : "t0", "memory"                                                 \
123    );                                                                  \
124 }
125 
126 #define DO_MSA__WD__WD_WT(suffix, mnemonic)                            \
127 static inline void do_msa_##suffix(void *input1, void *input2,         \
128                                    void *output)                       \
129 {                                                                      \
130    __asm__ volatile (                                                  \
131       "move $t0, %0\n\t"                                               \
132       "ld.d $w11, 0($t0)\n\t"                                          \
133       "move $t0, %1\n\t"                                               \
134       "ld.d $w12, 0($t0)\n\t"                                          \
135       #mnemonic " $w10, $w10, $w12\n\t"                                \
136       "move $t0, %2\n\t"                                               \
137       "st.d $w10, 0($t0)\n\t"                                          \
138       :                                                                \
139       : "r" (input1), "r" (input2), "r" (output)                       \
140       : "t0", "memory"                                                 \
141    );                                                                  \
142 }
143 
144 #define DO_MSA__WD__WS_WD(suffix, mnemonic)                            \
145 static inline void do_msa_##suffix(void *input1, void *input2,         \
146                                    void *output)                       \
147 {                                                                      \
148    __asm__ volatile (                                                  \
149       "move $t0, %0\n\t"                                               \
150       "ld.d $w11, 0($t0)\n\t"                                          \
151       "move $t0, %1\n\t"                                               \
152       "ld.d $w12, 0($t0)\n\t"                                          \
153       #mnemonic " $w10, $w11, $w10\n\t"                                \
154       "move $t0, %2\n\t"                                               \
155       "st.d $w10, 0($t0)\n\t"                                          \
156       :                                                                \
157       : "r" (input1), "r" (input2), "r" (output)                       \
158       : "t0", "memory"                                                 \
159    );                                                                  \
160 }
161 
162 
163 /*
164  * Bit Count
165  * ---------
166  */
167 
168 DO_MSA__WD__WS(NLOC_B, nloc.b)
169 DO_MSA__WD__WS(NLOC_H, nloc.h)
170 DO_MSA__WD__WS(NLOC_W, nloc.w)
171 DO_MSA__WD__WS(NLOC_D, nloc.d)
172 
173 DO_MSA__WD__WS(NLZC_B, nlzc.b)
174 DO_MSA__WD__WS(NLZC_H, nlzc.h)
175 DO_MSA__WD__WS(NLZC_W, nlzc.w)
176 DO_MSA__WD__WS(NLZC_D, nlzc.d)
177 
178 DO_MSA__WD__WS(PCNT_B, pcnt.b)
179 DO_MSA__WD__WS(PCNT_H, pcnt.h)
180 DO_MSA__WD__WS(PCNT_W, pcnt.w)
181 DO_MSA__WD__WS(PCNT_D, pcnt.d)
182 
183 
184 /*
185  * Bit move
186  * --------
187  */
188 
189 DO_MSA__WD__WS_WT(BINSL_B, binsl.b)
190 DO_MSA__WD__WS_WT(BINSL_H, binsl.h)
191 DO_MSA__WD__WS_WT(BINSL_W, binsl.w)
192 DO_MSA__WD__WS_WT(BINSL_D, binsl.d)
193 
194 DO_MSA__WD__WS_WT(BINSR_B, binsr.b)
195 DO_MSA__WD__WS_WT(BINSR_H, binsr.h)
196 DO_MSA__WD__WS_WT(BINSR_W, binsr.w)
197 DO_MSA__WD__WS_WT(BINSR_D, binsr.d)
198 
199 DO_MSA__WD__WS_WT(BMNZ_V, bmnz.v)
200 DO_MSA__WD__WS_WT(BMZ_V, bmz.v)
201 DO_MSA__WD__WS_WT(BSEL_V, bsel.v)
202 
203 
204 /*
205  * Bit Set
206  * -------
207  */
208 
209 DO_MSA__WD__WS_WT(BCLR_B, bclr.b)
210 DO_MSA__WD__WS_WT(BCLR_H, bclr.h)
211 DO_MSA__WD__WS_WT(BCLR_W, bclr.w)
212 DO_MSA__WD__WS_WT(BCLR_D, bclr.d)
213 
214 DO_MSA__WD__WS_WT(BSET_B, bset.b)
215 DO_MSA__WD__WS_WT(BSET_H, bset.h)
216 DO_MSA__WD__WS_WT(BSET_W, bset.w)
217 DO_MSA__WD__WS_WT(BSET_D, bset.d)
218 
219 DO_MSA__WD__WS_WT(BNEG_B, bneg.b)
220 DO_MSA__WD__WS_WT(BNEG_H, bneg.h)
221 DO_MSA__WD__WS_WT(BNEG_W, bneg.w)
222 DO_MSA__WD__WS_WT(BNEG_D, bneg.d)
223 
224 
225 /*
226  * Fixed Multiply
227  * --------------
228  */
229 
230 DO_MSA__WD__WS_WT(MADD_Q_H, madd_q.h)
231 DO_MSA__WD__WS_WT(MADD_Q_W, madd_q.w)
232 
233 DO_MSA__WD__WS_WT(MADDR_Q_H, maddr_q.h)
234 DO_MSA__WD__WS_WT(MADDR_Q_W, maddr_q.w)
235 
236 DO_MSA__WD__WS_WT(MSUB_Q_H, msub_q.h)
237 DO_MSA__WD__WS_WT(MSUB_Q_W, msub_q.w)
238 
239 DO_MSA__WD__WS_WT(MSUBR_Q_H, msubr_q.h)
240 DO_MSA__WD__WS_WT(MSUBR_Q_W, msubr_q.w)
241 
242 DO_MSA__WD__WS_WT(MUL_Q_H, mul_q.h)
243 DO_MSA__WD__WS_WT(MUL_Q_W, mul_q.w)
244 
245 DO_MSA__WD__WS_WT(MULR_Q_H, mulr_q.h)
246 DO_MSA__WD__WS_WT(MULR_Q_W, mulr_q.w)
247 
248 
249 /*
250  * Float Max Min
251  * -------------
252  */
253 
254 DO_MSA__WD__WS_WT(FMAX_W, fmax.w)
255 DO_MSA__WD__WS_WT(FMAX_D, fmax.d)
256 
257 DO_MSA__WD__WS_WT(FMAX_A_W, fmax_a.w)
258 DO_MSA__WD__WS_WT(FMAX_A_D, fmax_a.d)
259 
260 DO_MSA__WD__WS_WT(FMIN_W, fmin.w)
261 DO_MSA__WD__WS_WT(FMIN_D, fmin.d)
262 
263 DO_MSA__WD__WS_WT(FMIN_A_W, fmin_a.w)
264 DO_MSA__WD__WS_WT(FMIN_A_D, fmin_a.d)
265 
266 
267 /*
268  * Int Add
269  * -------
270  */
271 
272 DO_MSA__WD__WS_WT(ADD_A_B, add_a.b)
273 DO_MSA__WD__WS_WT(ADD_A_H, add_a.h)
274 DO_MSA__WD__WS_WT(ADD_A_W, add_a.w)
275 DO_MSA__WD__WS_WT(ADD_A_D, add_a.d)
276 
277 DO_MSA__WD__WS_WT(ADDS_A_B, adds_a.b)
278 DO_MSA__WD__WS_WT(ADDS_A_H, adds_a.h)
279 DO_MSA__WD__WS_WT(ADDS_A_W, adds_a.w)
280 DO_MSA__WD__WS_WT(ADDS_A_D, adds_a.d)
281 
282 DO_MSA__WD__WS_WT(ADDS_S_B, adds_s.b)
283 DO_MSA__WD__WS_WT(ADDS_S_H, adds_s.h)
284 DO_MSA__WD__WS_WT(ADDS_S_W, adds_s.w)
285 DO_MSA__WD__WS_WT(ADDS_S_D, adds_s.d)
286 
287 DO_MSA__WD__WS_WT(ADDS_U_B, adds_u.b)
288 DO_MSA__WD__WS_WT(ADDS_U_H, adds_u.h)
289 DO_MSA__WD__WS_WT(ADDS_U_W, adds_u.w)
290 DO_MSA__WD__WS_WT(ADDS_U_D, adds_u.d)
291 
292 DO_MSA__WD__WS_WT(ADDV_B, addv.b)
293 DO_MSA__WD__WS_WT(ADDV_H, addv.h)
294 DO_MSA__WD__WS_WT(ADDV_W, addv.w)
295 DO_MSA__WD__WS_WT(ADDV_D, addv.d)
296 
297 DO_MSA__WD__WS_WT(HADD_S_H, hadd_s.h)
298 DO_MSA__WD__WS_WT(HADD_S_W, hadd_s.w)
299 DO_MSA__WD__WS_WT(HADD_S_D, hadd_s.d)
300 
301 DO_MSA__WD__WS_WT(HADD_U_H, hadd_u.h)
302 DO_MSA__WD__WS_WT(HADD_U_W, hadd_u.w)
303 DO_MSA__WD__WS_WT(HADD_U_D, hadd_u.d)
304 
305 
306 /*
307  * Int Average
308  * -----------
309  */
310 
311 DO_MSA__WD__WS_WT(AVE_S_B, ave_s.b)
312 DO_MSA__WD__WS_WT(AVE_S_H, ave_s.h)
313 DO_MSA__WD__WS_WT(AVE_S_W, ave_s.w)
314 DO_MSA__WD__WS_WT(AVE_S_D, ave_s.d)
315 
316 DO_MSA__WD__WS_WT(AVE_U_B, ave_u.b)
317 DO_MSA__WD__WS_WT(AVE_U_H, ave_u.h)
318 DO_MSA__WD__WS_WT(AVE_U_W, ave_u.w)
319 DO_MSA__WD__WS_WT(AVE_U_D, ave_u.d)
320 
321 DO_MSA__WD__WS_WT(AVER_S_B, aver_s.b)
322 DO_MSA__WD__WS_WT(AVER_S_H, aver_s.h)
323 DO_MSA__WD__WS_WT(AVER_S_W, aver_s.w)
324 DO_MSA__WD__WS_WT(AVER_S_D, aver_s.d)
325 
326 DO_MSA__WD__WS_WT(AVER_U_B, aver_u.b)
327 DO_MSA__WD__WS_WT(AVER_U_H, aver_u.h)
328 DO_MSA__WD__WS_WT(AVER_U_W, aver_u.w)
329 DO_MSA__WD__WS_WT(AVER_U_D, aver_u.d)
330 
331 
332 /*
333  * Int Compare
334  * -----------
335  */
336 
337 DO_MSA__WD__WS_WT(CEQ_B, ceq.b)
338 DO_MSA__WD__WS_WT(CEQ_H, ceq.h)
339 DO_MSA__WD__WS_WT(CEQ_W, ceq.w)
340 DO_MSA__WD__WS_WT(CEQ_D, ceq.d)
341 
342 DO_MSA__WD__WS_WT(CLE_S_B, cle_s.b)
343 DO_MSA__WD__WS_WT(CLE_S_H, cle_s.h)
344 DO_MSA__WD__WS_WT(CLE_S_W, cle_s.w)
345 DO_MSA__WD__WS_WT(CLE_S_D, cle_s.d)
346 
347 DO_MSA__WD__WS_WT(CLE_U_B, cle_u.b)
348 DO_MSA__WD__WS_WT(CLE_U_H, cle_u.h)
349 DO_MSA__WD__WS_WT(CLE_U_W, cle_u.w)
350 DO_MSA__WD__WS_WT(CLE_U_D, cle_u.d)
351 
352 DO_MSA__WD__WS_WT(CLT_S_B, clt_s.b)
353 DO_MSA__WD__WS_WT(CLT_S_H, clt_s.h)
354 DO_MSA__WD__WS_WT(CLT_S_W, clt_s.w)
355 DO_MSA__WD__WS_WT(CLT_S_D, clt_s.d)
356 
357 DO_MSA__WD__WS_WT(CLT_U_B, clt_u.b)
358 DO_MSA__WD__WS_WT(CLT_U_H, clt_u.h)
359 DO_MSA__WD__WS_WT(CLT_U_W, clt_u.w)
360 DO_MSA__WD__WS_WT(CLT_U_D, clt_u.d)
361 
362 
363 /*
364  * Int Divide
365  * ----------
366  */
367 
368 DO_MSA__WD__WS_WT(DIV_S_B, div_s.b)
369 DO_MSA__WD__WS_WT(DIV_S_H, div_s.h)
370 DO_MSA__WD__WS_WT(DIV_S_W, div_s.w)
371 DO_MSA__WD__WS_WT(DIV_S_D, div_s.d)
372 
373 DO_MSA__WD__WS_WT(DIV_U_B, div_u.b)
374 DO_MSA__WD__WS_WT(DIV_U_H, div_u.h)
375 DO_MSA__WD__WS_WT(DIV_U_W, div_u.w)
376 DO_MSA__WD__WS_WT(DIV_U_D, div_u.d)
377 
378 
379 /*
380  * Int Dot Product
381  * ---------------
382  */
383 
384 DO_MSA__WD__WS_WT(DOTP_S_H, dotp_s.h)
385 DO_MSA__WD__WS_WT(DOTP_S_W, dotp_s.w)
386 DO_MSA__WD__WS_WT(DOTP_S_D, dotp_s.d)
387 
388 DO_MSA__WD__WS_WT(DOTP_U_H, dotp_u.h)
389 DO_MSA__WD__WS_WT(DOTP_U_W, dotp_u.w)
390 DO_MSA__WD__WS_WT(DOTP_U_D, dotp_u.d)
391 
392 
393 /*
394  * Int Max Min
395  * -----------
396  */
397 
398 DO_MSA__WD__WS_WT(MAX_A_B, max_a.b)
399 DO_MSA__WD__WS_WT(MAX_A_H, max_a.h)
400 DO_MSA__WD__WS_WT(MAX_A_W, max_a.w)
401 DO_MSA__WD__WS_WT(MAX_A_D, max_a.d)
402 
403 DO_MSA__WD__WS_WT(MAX_S_B, max_s.b)
404 DO_MSA__WD__WS_WT(MAX_S_H, max_s.h)
405 DO_MSA__WD__WS_WT(MAX_S_W, max_s.w)
406 DO_MSA__WD__WS_WT(MAX_S_D, max_s.d)
407 
408 DO_MSA__WD__WS_WT(MAX_U_B, max_u.b)
409 DO_MSA__WD__WS_WT(MAX_U_H, max_u.h)
410 DO_MSA__WD__WS_WT(MAX_U_W, max_u.w)
411 DO_MSA__WD__WS_WT(MAX_U_D, max_u.d)
412 
413 DO_MSA__WD__WS_WT(MIN_A_B, min_a.b)
414 DO_MSA__WD__WS_WT(MIN_A_H, min_a.h)
415 DO_MSA__WD__WS_WT(MIN_A_W, min_a.w)
416 DO_MSA__WD__WS_WT(MIN_A_D, min_a.d)
417 
418 DO_MSA__WD__WS_WT(MIN_S_B, min_s.b)
419 DO_MSA__WD__WS_WT(MIN_S_H, min_s.h)
420 DO_MSA__WD__WS_WT(MIN_S_W, min_s.w)
421 DO_MSA__WD__WS_WT(MIN_S_D, min_s.d)
422 
423 DO_MSA__WD__WS_WT(MIN_U_B, min_u.b)
424 DO_MSA__WD__WS_WT(MIN_U_H, min_u.h)
425 DO_MSA__WD__WS_WT(MIN_U_W, min_u.w)
426 DO_MSA__WD__WS_WT(MIN_U_D, min_u.d)
427 
428 
429 /*
430  * Int Modulo
431  * ----------
432  */
433 
434 DO_MSA__WD__WS_WT(MOD_S_B, mod_s.b)
435 DO_MSA__WD__WS_WT(MOD_S_H, mod_s.h)
436 DO_MSA__WD__WS_WT(MOD_S_W, mod_s.w)
437 DO_MSA__WD__WS_WT(MOD_S_D, mod_s.d)
438 
439 DO_MSA__WD__WS_WT(MOD_U_B, mod_u.b)
440 DO_MSA__WD__WS_WT(MOD_U_H, mod_u.h)
441 DO_MSA__WD__WS_WT(MOD_U_W, mod_u.w)
442 DO_MSA__WD__WS_WT(MOD_U_D, mod_u.d)
443 
444 
445 /*
446  * Int Multiply
447  * ------------
448  */
449 
450 DO_MSA__WD__WS_WT(MADDV_B, maddv.b)
451 DO_MSA__WD__WS_WT(MADDV_H, maddv.h)
452 DO_MSA__WD__WS_WT(MADDV_W, maddv.w)
453 DO_MSA__WD__WS_WT(MADDV_D, maddv.d)
454 
455 DO_MSA__WD__WS_WT(MSUBV_B, msubv.b)
456 DO_MSA__WD__WS_WT(MSUBV_H, msubv.h)
457 DO_MSA__WD__WS_WT(MSUBV_W, msubv.w)
458 DO_MSA__WD__WS_WT(MSUBV_D, msubv.d)
459 
460 DO_MSA__WD__WS_WT(MULV_B, mulv.b)
461 DO_MSA__WD__WS_WT(MULV_H, mulv.h)
462 DO_MSA__WD__WS_WT(MULV_W, mulv.w)
463 DO_MSA__WD__WS_WT(MULV_D, mulv.d)
464 
465 
466 /*
467  * Int Subtract
468  * ------------
469  */
470 
471 DO_MSA__WD__WS_WT(ASUB_S_B, asub_s.b)
472 DO_MSA__WD__WS_WT(ASUB_S_H, asub_s.h)
473 DO_MSA__WD__WS_WT(ASUB_S_W, asub_s.w)
474 DO_MSA__WD__WS_WT(ASUB_S_D, asub_s.d)
475 
476 DO_MSA__WD__WS_WT(ASUB_U_B, asub_u.b)
477 DO_MSA__WD__WS_WT(ASUB_U_H, asub_u.h)
478 DO_MSA__WD__WS_WT(ASUB_U_W, asub_u.w)
479 DO_MSA__WD__WS_WT(ASUB_U_D, asub_u.d)
480 
481 DO_MSA__WD__WS_WT(HSUB_S_H, hsub_s.h)
482 DO_MSA__WD__WS_WT(HSUB_S_W, hsub_s.w)
483 DO_MSA__WD__WS_WT(HSUB_S_D, hsub_s.d)
484 
485 DO_MSA__WD__WS_WT(HSUB_U_H, hsub_u.h)
486 DO_MSA__WD__WS_WT(HSUB_U_W, hsub_u.w)
487 DO_MSA__WD__WS_WT(HSUB_U_D, hsub_u.d)
488 
489 DO_MSA__WD__WS_WT(SUBS_S_B, subs_s.b)
490 DO_MSA__WD__WS_WT(SUBS_S_H, subs_s.h)
491 DO_MSA__WD__WS_WT(SUBS_S_W, subs_s.w)
492 DO_MSA__WD__WS_WT(SUBS_S_D, subs_s.d)
493 
494 DO_MSA__WD__WS_WT(SUBS_U_B, subs_u.b)
495 DO_MSA__WD__WS_WT(SUBS_U_H, subs_u.h)
496 DO_MSA__WD__WS_WT(SUBS_U_W, subs_u.w)
497 DO_MSA__WD__WS_WT(SUBS_U_D, subs_u.d)
498 
499 DO_MSA__WD__WS_WT(SUBSUS_U_B, subsus_u.b)
500 DO_MSA__WD__WS_WT(SUBSUS_U_H, subsus_u.h)
501 DO_MSA__WD__WS_WT(SUBSUS_U_W, subsus_u.w)
502 DO_MSA__WD__WS_WT(SUBSUS_U_D, subsus_u.d)
503 
504 DO_MSA__WD__WS_WT(SUBSUU_S_B, subsuu_s.b)
505 DO_MSA__WD__WS_WT(SUBSUU_S_H, subsuu_s.h)
506 DO_MSA__WD__WS_WT(SUBSUU_S_W, subsuu_s.w)
507 DO_MSA__WD__WS_WT(SUBSUU_S_D, subsuu_s.d)
508 
509 DO_MSA__WD__WS_WT(SUBV_B, subv.b)
510 DO_MSA__WD__WS_WT(SUBV_H, subv.h)
511 DO_MSA__WD__WS_WT(SUBV_W, subv.w)
512 DO_MSA__WD__WS_WT(SUBV_D, subv.d)
513 
514 
515 /*
516  * Interleave
517  * ----------
518  */
519 
520 DO_MSA__WD__WS_WT(ILVEV_B, ilvev.b)
521 DO_MSA__WD__WS_WT(ILVEV_H, ilvev.h)
522 DO_MSA__WD__WS_WT(ILVEV_W, ilvev.w)
523 DO_MSA__WD__WS_WT(ILVEV_D, ilvev.d)
524 
525 DO_MSA__WD__WS_WT(ILVOD_B, ilvod.b)
526 DO_MSA__WD__WS_WT(ILVOD_H, ilvod.h)
527 DO_MSA__WD__WS_WT(ILVOD_W, ilvod.w)
528 DO_MSA__WD__WS_WT(ILVOD_D, ilvod.d)
529 
530 DO_MSA__WD__WS_WT(ILVL_B, ilvl.b)
531 DO_MSA__WD__WS_WT(ILVL_H, ilvl.h)
532 DO_MSA__WD__WS_WT(ILVL_W, ilvl.w)
533 DO_MSA__WD__WS_WT(ILVL_D, ilvl.d)
534 
535 DO_MSA__WD__WS_WT(ILVR_B, ilvr.b)
536 DO_MSA__WD__WS_WT(ILVR_H, ilvr.h)
537 DO_MSA__WD__WS_WT(ILVR_W, ilvr.w)
538 DO_MSA__WD__WS_WT(ILVR_D, ilvr.d)
539 
540 
541 /*
542  * Logic
543  * -----
544  */
545 
546 DO_MSA__WD__WS_WT(AND_V, and.v)
547 DO_MSA__WD__WS_WT(NOR_V, nor.v)
548 DO_MSA__WD__WS_WT(OR_V, or.v)
549 DO_MSA__WD__WS_WT(XOR_V, xor.v)
550 
551 
552 /*
553  * Pack
554  * ----
555  */
556 
557 DO_MSA__WD__WS_WT(PCKEV_B, pckev.b)
558 DO_MSA__WD__WS_WT(PCKEV_H, pckev.h)
559 DO_MSA__WD__WS_WT(PCKEV_W, pckev.w)
560 DO_MSA__WD__WS_WT(PCKEV_D, pckev.d)
561 
562 DO_MSA__WD__WS_WT(PCKOD_B, pckod.b)
563 DO_MSA__WD__WS_WT(PCKOD_H, pckod.h)
564 DO_MSA__WD__WS_WT(PCKOD_W, pckod.w)
565 DO_MSA__WD__WS_WT(PCKOD_D, pckod.d)
566 
567 DO_MSA__WD__WS_WT(VSHF_B, vshf.b)
568 DO_MSA__WD__WS_WT(VSHF_H, vshf.h)
569 DO_MSA__WD__WS_WT(VSHF_W, vshf.w)
570 DO_MSA__WD__WS_WT(VSHF_D, vshf.d)
571 
572 
573 /*
574  * Shift
575  * -----
576  */
577 
578 DO_MSA__WD__WS_WT(SLL_B, sll.b)
579 DO_MSA__WD__WS_WT(SLL_H, sll.h)
580 DO_MSA__WD__WS_WT(SLL_W, sll.w)
581 DO_MSA__WD__WS_WT(SLL_D, sll.d)
582 
583 DO_MSA__WD__WS_WT(SRA_B, sra.b)
584 DO_MSA__WD__WS_WT(SRA_H, sra.h)
585 DO_MSA__WD__WS_WT(SRA_W, sra.w)
586 DO_MSA__WD__WS_WT(SRA_D, sra.d)
587 
588 DO_MSA__WD__WS_WT(SRAR_B, srar.b)
589 DO_MSA__WD__WS_WT(SRAR_H, srar.h)
590 DO_MSA__WD__WS_WT(SRAR_W, srar.w)
591 DO_MSA__WD__WS_WT(SRAR_D, srar.d)
592 
593 DO_MSA__WD__WS_WT(SRL_B, srl.b)
594 DO_MSA__WD__WS_WT(SRL_H, srl.h)
595 DO_MSA__WD__WS_WT(SRL_W, srl.w)
596 DO_MSA__WD__WS_WT(SRL_D, srl.d)
597 
598 DO_MSA__WD__WS_WT(SRLR_B, srlr.b)
599 DO_MSA__WD__WS_WT(SRLR_H, srlr.h)
600 DO_MSA__WD__WS_WT(SRLR_W, srlr.w)
601 DO_MSA__WD__WS_WT(SRLR_D, srlr.d)
602 
603 
604 #endif
605