1/* SPDX-License-Identifier: GPL-2.0 */ 2/* GENmemcpy.S: Generic sparc64 memcpy. 3 * 4 * Copyright (C) 2007 David S. Miller (davem@davemloft.net) 5 */ 6 7#ifdef __KERNEL__ 8#include <linux/linkage.h> 9#define GLOBAL_SPARE %g7 10#else 11#define GLOBAL_SPARE %g5 12#endif 13 14#ifndef EX_LD 15#define EX_LD(x,y) x 16#endif 17 18#ifndef EX_ST 19#define EX_ST(x,y) x 20#endif 21 22#ifndef LOAD 23#define LOAD(type,addr,dest) type [addr], dest 24#endif 25 26#ifndef STORE 27#define STORE(type,src,addr) type src, [addr] 28#endif 29 30#ifndef FUNC_NAME 31#define FUNC_NAME GENmemcpy 32#endif 33 34#ifndef PREAMBLE 35#define PREAMBLE 36#endif 37 38#ifndef XCC 39#define XCC xcc 40#endif 41 42 .register %g2,#scratch 43 .register %g3,#scratch 44 45 .text 46 47#ifndef EX_RETVAL 48#define EX_RETVAL(x) x 49ENTRY(GEN_retl_o4_1) 50 add %o4, %o2, %o4 51 retl 52 add %o4, 1, %o0 53ENDPROC(GEN_retl_o4_1) 54ENTRY(GEN_retl_g1_8) 55 add %g1, %o2, %g1 56 retl 57 add %g1, 8, %o0 58ENDPROC(GEN_retl_g1_8) 59ENTRY(GEN_retl_o2_4) 60 retl 61 add %o2, 4, %o0 62ENDPROC(GEN_retl_o2_4) 63ENTRY(GEN_retl_o2_1) 64 retl 65 add %o2, 1, %o0 66ENDPROC(GEN_retl_o2_1) 67#endif 68 69 .align 64 70 71 .globl FUNC_NAME 72 .type FUNC_NAME,#function 73FUNC_NAME: /* %o0=dst, %o1=src, %o2=len */ 74 srlx %o2, 31, %g2 75 cmp %g2, 0 76 tne %XCC, 5 77 PREAMBLE 78 mov %o0, GLOBAL_SPARE 79 80 cmp %o2, 0 81 be,pn %XCC, 85f 82 or %o0, %o1, %o3 83 cmp %o2, 16 84 blu,a,pn %XCC, 80f 85 or %o3, %o2, %o3 86 87 xor %o0, %o1, %o4 88 andcc %o4, 0x7, %g0 89 bne,a,pn %XCC, 90f 90 sub %o0, %o1, %o3 91 92 and %o0, 0x7, %o4 93 sub %o4, 0x8, %o4 94 sub %g0, %o4, %o4 95 sub %o2, %o4, %o2 961: subcc %o4, 1, %o4 97 EX_LD(LOAD(ldub, %o1, %g1),GEN_retl_o4_1) 98 EX_ST(STORE(stb, %g1, %o0),GEN_retl_o4_1) 99 add %o1, 1, %o1 100 bne,pt %XCC, 1b 101 add %o0, 1, %o0 102 103 andn %o2, 0x7, %g1 104 sub %o2, %g1, %o2 1051: subcc %g1, 0x8, %g1 106 EX_LD(LOAD(ldx, %o1, %g2),GEN_retl_g1_8) 107 EX_ST(STORE(stx, %g2, %o0),GEN_retl_g1_8) 108 add %o1, 0x8, %o1 109 bne,pt %XCC, 1b 110 add %o0, 0x8, %o0 111 112 brz,pt %o2, 85f 113 sub %o0, %o1, %o3 114 ba,a,pt %XCC, 90f 115 116 .align 64 11780: /* 0 < len <= 16 */ 118 andcc %o3, 0x3, %g0 119 bne,pn %XCC, 90f 120 sub %o0, %o1, %o3 121 1221: 123 subcc %o2, 4, %o2 124 EX_LD(LOAD(lduw, %o1, %g1),GEN_retl_o2_4) 125 EX_ST(STORE(stw, %g1, %o1 + %o3),GEN_retl_o2_4) 126 bgu,pt %XCC, 1b 127 add %o1, 4, %o1 128 12985: retl 130 mov EX_RETVAL(GLOBAL_SPARE), %o0 131 132 .align 32 13390: 134 subcc %o2, 1, %o2 135 EX_LD(LOAD(ldub, %o1, %g1),GEN_retl_o2_1) 136 EX_ST(STORE(stb, %g1, %o1 + %o3),GEN_retl_o2_1) 137 bgu,pt %XCC, 90b 138 add %o1, 1, %o1 139 retl 140 mov EX_RETVAL(GLOBAL_SPARE), %o0 141 142 .size FUNC_NAME, .-FUNC_NAME 143