150acfb2bSThomas Gleixner/* SPDX-License-Identifier: GPL-2.0-only */ 25d8544e2SPalmer Dabbelt/* 35d8544e2SPalmer Dabbelt * Copyright (C) 2013 Regents of the University of California 45d8544e2SPalmer Dabbelt */ 55d8544e2SPalmer Dabbelt 65d8544e2SPalmer Dabbelt 75d8544e2SPalmer Dabbelt#include <linux/linkage.h> 85d8544e2SPalmer Dabbelt#include <asm/asm.h> 95d8544e2SPalmer Dabbelt 105d8544e2SPalmer Dabbelt/* void *memset(void *, int, size_t) */ 118ad8b727SNick HuENTRY(__memset) 128ad8b727SNick HuWEAK(memset) 135d8544e2SPalmer Dabbelt move t0, a0 /* Preserve return value */ 145d8544e2SPalmer Dabbelt 155d8544e2SPalmer Dabbelt /* Defer to byte-oriented fill for small sizes */ 165d8544e2SPalmer Dabbelt sltiu a3, a2, 16 175d8544e2SPalmer Dabbelt bnez a3, 4f 185d8544e2SPalmer Dabbelt 195d8544e2SPalmer Dabbelt /* 205d8544e2SPalmer Dabbelt * Round to nearest XLEN-aligned address 215d8544e2SPalmer Dabbelt * greater than or equal to start address 225d8544e2SPalmer Dabbelt */ 235d8544e2SPalmer Dabbelt addi a3, t0, SZREG-1 245d8544e2SPalmer Dabbelt andi a3, a3, ~(SZREG-1) 255d8544e2SPalmer Dabbelt beq a3, t0, 2f /* Skip if already aligned */ 265d8544e2SPalmer Dabbelt /* Handle initial misalignment */ 275d8544e2SPalmer Dabbelt sub a4, a3, t0 285d8544e2SPalmer Dabbelt1: 295d8544e2SPalmer Dabbelt sb a1, 0(t0) 305d8544e2SPalmer Dabbelt addi t0, t0, 1 315d8544e2SPalmer Dabbelt bltu t0, a3, 1b 325d8544e2SPalmer Dabbelt sub a2, a2, a4 /* Update count */ 335d8544e2SPalmer Dabbelt 345d8544e2SPalmer Dabbelt2: /* Duff's device with 32 XLEN stores per iteration */ 355d8544e2SPalmer Dabbelt /* Broadcast value into all bytes */ 365d8544e2SPalmer Dabbelt andi a1, a1, 0xff 375d8544e2SPalmer Dabbelt slli a3, a1, 8 385d8544e2SPalmer Dabbelt or a1, a3, a1 395d8544e2SPalmer Dabbelt slli a3, a1, 16 405d8544e2SPalmer Dabbelt or a1, a3, a1 415d8544e2SPalmer Dabbelt#ifdef CONFIG_64BIT 425d8544e2SPalmer Dabbelt slli a3, a1, 32 435d8544e2SPalmer Dabbelt or a1, a3, a1 445d8544e2SPalmer Dabbelt#endif 455d8544e2SPalmer Dabbelt 465d8544e2SPalmer Dabbelt /* Calculate end address */ 475d8544e2SPalmer Dabbelt andi a4, a2, ~(SZREG-1) 485d8544e2SPalmer Dabbelt add a3, t0, a4 495d8544e2SPalmer Dabbelt 505d8544e2SPalmer Dabbelt andi a4, a4, 31*SZREG /* Calculate remainder */ 515d8544e2SPalmer Dabbelt beqz a4, 3f /* Shortcut if no remainder */ 525d8544e2SPalmer Dabbelt neg a4, a4 535d8544e2SPalmer Dabbelt addi a4, a4, 32*SZREG /* Calculate initial offset */ 545d8544e2SPalmer Dabbelt 555d8544e2SPalmer Dabbelt /* Adjust start address with offset */ 565d8544e2SPalmer Dabbelt sub t0, t0, a4 575d8544e2SPalmer Dabbelt 585d8544e2SPalmer Dabbelt /* Jump into loop body */ 595d8544e2SPalmer Dabbelt /* Assumes 32-bit instruction lengths */ 605d8544e2SPalmer Dabbelt la a5, 3f 615d8544e2SPalmer Dabbelt#ifdef CONFIG_64BIT 625d8544e2SPalmer Dabbelt srli a4, a4, 1 635d8544e2SPalmer Dabbelt#endif 645d8544e2SPalmer Dabbelt add a5, a5, a4 655d8544e2SPalmer Dabbelt jr a5 665d8544e2SPalmer Dabbelt3: 675d8544e2SPalmer Dabbelt REG_S a1, 0(t0) 685d8544e2SPalmer Dabbelt REG_S a1, SZREG(t0) 695d8544e2SPalmer Dabbelt REG_S a1, 2*SZREG(t0) 705d8544e2SPalmer Dabbelt REG_S a1, 3*SZREG(t0) 715d8544e2SPalmer Dabbelt REG_S a1, 4*SZREG(t0) 725d8544e2SPalmer Dabbelt REG_S a1, 5*SZREG(t0) 735d8544e2SPalmer Dabbelt REG_S a1, 6*SZREG(t0) 745d8544e2SPalmer Dabbelt REG_S a1, 7*SZREG(t0) 755d8544e2SPalmer Dabbelt REG_S a1, 8*SZREG(t0) 765d8544e2SPalmer Dabbelt REG_S a1, 9*SZREG(t0) 775d8544e2SPalmer Dabbelt REG_S a1, 10*SZREG(t0) 785d8544e2SPalmer Dabbelt REG_S a1, 11*SZREG(t0) 795d8544e2SPalmer Dabbelt REG_S a1, 12*SZREG(t0) 805d8544e2SPalmer Dabbelt REG_S a1, 13*SZREG(t0) 815d8544e2SPalmer Dabbelt REG_S a1, 14*SZREG(t0) 825d8544e2SPalmer Dabbelt REG_S a1, 15*SZREG(t0) 835d8544e2SPalmer Dabbelt REG_S a1, 16*SZREG(t0) 845d8544e2SPalmer Dabbelt REG_S a1, 17*SZREG(t0) 855d8544e2SPalmer Dabbelt REG_S a1, 18*SZREG(t0) 865d8544e2SPalmer Dabbelt REG_S a1, 19*SZREG(t0) 875d8544e2SPalmer Dabbelt REG_S a1, 20*SZREG(t0) 885d8544e2SPalmer Dabbelt REG_S a1, 21*SZREG(t0) 895d8544e2SPalmer Dabbelt REG_S a1, 22*SZREG(t0) 905d8544e2SPalmer Dabbelt REG_S a1, 23*SZREG(t0) 915d8544e2SPalmer Dabbelt REG_S a1, 24*SZREG(t0) 925d8544e2SPalmer Dabbelt REG_S a1, 25*SZREG(t0) 935d8544e2SPalmer Dabbelt REG_S a1, 26*SZREG(t0) 945d8544e2SPalmer Dabbelt REG_S a1, 27*SZREG(t0) 955d8544e2SPalmer Dabbelt REG_S a1, 28*SZREG(t0) 965d8544e2SPalmer Dabbelt REG_S a1, 29*SZREG(t0) 975d8544e2SPalmer Dabbelt REG_S a1, 30*SZREG(t0) 985d8544e2SPalmer Dabbelt REG_S a1, 31*SZREG(t0) 995d8544e2SPalmer Dabbelt addi t0, t0, 32*SZREG 1005d8544e2SPalmer Dabbelt bltu t0, a3, 3b 1015d8544e2SPalmer Dabbelt andi a2, a2, SZREG-1 /* Update count */ 1025d8544e2SPalmer Dabbelt 1035d8544e2SPalmer Dabbelt4: 1045d8544e2SPalmer Dabbelt /* Handle trailing misalignment */ 1055d8544e2SPalmer Dabbelt beqz a2, 6f 1065d8544e2SPalmer Dabbelt add a3, t0, a2 1075d8544e2SPalmer Dabbelt5: 1085d8544e2SPalmer Dabbelt sb a1, 0(t0) 1095d8544e2SPalmer Dabbelt addi t0, t0, 1 1105d8544e2SPalmer Dabbelt bltu t0, a3, 5b 1115d8544e2SPalmer Dabbelt6: 1125d8544e2SPalmer Dabbelt ret 1138ad8b727SNick HuEND(__memset) 114