1*d2825fa9SJason A. Donenfeld /* SPDX-License-Identifier: GPL-2.0-only */
2*d2825fa9SJason A. Donenfeld /*
3*d2825fa9SJason A. Donenfeld * SM3 secure hash, as specified by OSCCA GM/T 0004-2012 SM3 and described
4*d2825fa9SJason A. Donenfeld * at https://datatracker.ietf.org/doc/html/draft-sca-cfrg-sm3-02
5*d2825fa9SJason A. Donenfeld *
6*d2825fa9SJason A. Donenfeld * Copyright (C) 2017 ARM Limited or its affiliates.
7*d2825fa9SJason A. Donenfeld * Copyright (C) 2017 Gilad Ben-Yossef <gilad@benyossef.com>
8*d2825fa9SJason A. Donenfeld * Copyright (C) 2021 Tianjia Zhang <tianjia.zhang@linux.alibaba.com>
9*d2825fa9SJason A. Donenfeld */
10*d2825fa9SJason A. Donenfeld
11*d2825fa9SJason A. Donenfeld #include <linux/module.h>
12*d2825fa9SJason A. Donenfeld #include <asm/unaligned.h>
13*d2825fa9SJason A. Donenfeld #include <crypto/sm3.h>
14*d2825fa9SJason A. Donenfeld
15*d2825fa9SJason A. Donenfeld static const u32 ____cacheline_aligned K[64] = {
16*d2825fa9SJason A. Donenfeld 0x79cc4519, 0xf3988a32, 0xe7311465, 0xce6228cb,
17*d2825fa9SJason A. Donenfeld 0x9cc45197, 0x3988a32f, 0x7311465e, 0xe6228cbc,
18*d2825fa9SJason A. Donenfeld 0xcc451979, 0x988a32f3, 0x311465e7, 0x6228cbce,
19*d2825fa9SJason A. Donenfeld 0xc451979c, 0x88a32f39, 0x11465e73, 0x228cbce6,
20*d2825fa9SJason A. Donenfeld 0x9d8a7a87, 0x3b14f50f, 0x7629ea1e, 0xec53d43c,
21*d2825fa9SJason A. Donenfeld 0xd8a7a879, 0xb14f50f3, 0x629ea1e7, 0xc53d43ce,
22*d2825fa9SJason A. Donenfeld 0x8a7a879d, 0x14f50f3b, 0x29ea1e76, 0x53d43cec,
23*d2825fa9SJason A. Donenfeld 0xa7a879d8, 0x4f50f3b1, 0x9ea1e762, 0x3d43cec5,
24*d2825fa9SJason A. Donenfeld 0x7a879d8a, 0xf50f3b14, 0xea1e7629, 0xd43cec53,
25*d2825fa9SJason A. Donenfeld 0xa879d8a7, 0x50f3b14f, 0xa1e7629e, 0x43cec53d,
26*d2825fa9SJason A. Donenfeld 0x879d8a7a, 0x0f3b14f5, 0x1e7629ea, 0x3cec53d4,
27*d2825fa9SJason A. Donenfeld 0x79d8a7a8, 0xf3b14f50, 0xe7629ea1, 0xcec53d43,
28*d2825fa9SJason A. Donenfeld 0x9d8a7a87, 0x3b14f50f, 0x7629ea1e, 0xec53d43c,
29*d2825fa9SJason A. Donenfeld 0xd8a7a879, 0xb14f50f3, 0x629ea1e7, 0xc53d43ce,
30*d2825fa9SJason A. Donenfeld 0x8a7a879d, 0x14f50f3b, 0x29ea1e76, 0x53d43cec,
31*d2825fa9SJason A. Donenfeld 0xa7a879d8, 0x4f50f3b1, 0x9ea1e762, 0x3d43cec5
32*d2825fa9SJason A. Donenfeld };
33*d2825fa9SJason A. Donenfeld
34*d2825fa9SJason A. Donenfeld /*
35*d2825fa9SJason A. Donenfeld * Transform the message X which consists of 16 32-bit-words. See
36*d2825fa9SJason A. Donenfeld * GM/T 004-2012 for details.
37*d2825fa9SJason A. Donenfeld */
38*d2825fa9SJason A. Donenfeld #define R(i, a, b, c, d, e, f, g, h, t, w1, w2) \
39*d2825fa9SJason A. Donenfeld do { \
40*d2825fa9SJason A. Donenfeld ss1 = rol32((rol32((a), 12) + (e) + (t)), 7); \
41*d2825fa9SJason A. Donenfeld ss2 = ss1 ^ rol32((a), 12); \
42*d2825fa9SJason A. Donenfeld d += FF ## i(a, b, c) + ss2 + ((w1) ^ (w2)); \
43*d2825fa9SJason A. Donenfeld h += GG ## i(e, f, g) + ss1 + (w1); \
44*d2825fa9SJason A. Donenfeld b = rol32((b), 9); \
45*d2825fa9SJason A. Donenfeld f = rol32((f), 19); \
46*d2825fa9SJason A. Donenfeld h = P0((h)); \
47*d2825fa9SJason A. Donenfeld } while (0)
48*d2825fa9SJason A. Donenfeld
49*d2825fa9SJason A. Donenfeld #define R1(a, b, c, d, e, f, g, h, t, w1, w2) \
50*d2825fa9SJason A. Donenfeld R(1, a, b, c, d, e, f, g, h, t, w1, w2)
51*d2825fa9SJason A. Donenfeld #define R2(a, b, c, d, e, f, g, h, t, w1, w2) \
52*d2825fa9SJason A. Donenfeld R(2, a, b, c, d, e, f, g, h, t, w1, w2)
53*d2825fa9SJason A. Donenfeld
54*d2825fa9SJason A. Donenfeld #define FF1(x, y, z) (x ^ y ^ z)
55*d2825fa9SJason A. Donenfeld #define FF2(x, y, z) ((x & y) | (x & z) | (y & z))
56*d2825fa9SJason A. Donenfeld
57*d2825fa9SJason A. Donenfeld #define GG1(x, y, z) FF1(x, y, z)
58*d2825fa9SJason A. Donenfeld #define GG2(x, y, z) ((x & y) | (~x & z))
59*d2825fa9SJason A. Donenfeld
60*d2825fa9SJason A. Donenfeld /* Message expansion */
61*d2825fa9SJason A. Donenfeld #define P0(x) ((x) ^ rol32((x), 9) ^ rol32((x), 17))
62*d2825fa9SJason A. Donenfeld #define P1(x) ((x) ^ rol32((x), 15) ^ rol32((x), 23))
63*d2825fa9SJason A. Donenfeld #define I(i) (W[i] = get_unaligned_be32(data + i * 4))
64*d2825fa9SJason A. Donenfeld #define W1(i) (W[i & 0x0f])
65*d2825fa9SJason A. Donenfeld #define W2(i) (W[i & 0x0f] = \
66*d2825fa9SJason A. Donenfeld P1(W[i & 0x0f] \
67*d2825fa9SJason A. Donenfeld ^ W[(i-9) & 0x0f] \
68*d2825fa9SJason A. Donenfeld ^ rol32(W[(i-3) & 0x0f], 15)) \
69*d2825fa9SJason A. Donenfeld ^ rol32(W[(i-13) & 0x0f], 7) \
70*d2825fa9SJason A. Donenfeld ^ W[(i-6) & 0x0f])
71*d2825fa9SJason A. Donenfeld
sm3_transform(struct sm3_state * sctx,u8 const * data,u32 W[16])72*d2825fa9SJason A. Donenfeld static void sm3_transform(struct sm3_state *sctx, u8 const *data, u32 W[16])
73*d2825fa9SJason A. Donenfeld {
74*d2825fa9SJason A. Donenfeld u32 a, b, c, d, e, f, g, h, ss1, ss2;
75*d2825fa9SJason A. Donenfeld
76*d2825fa9SJason A. Donenfeld a = sctx->state[0];
77*d2825fa9SJason A. Donenfeld b = sctx->state[1];
78*d2825fa9SJason A. Donenfeld c = sctx->state[2];
79*d2825fa9SJason A. Donenfeld d = sctx->state[3];
80*d2825fa9SJason A. Donenfeld e = sctx->state[4];
81*d2825fa9SJason A. Donenfeld f = sctx->state[5];
82*d2825fa9SJason A. Donenfeld g = sctx->state[6];
83*d2825fa9SJason A. Donenfeld h = sctx->state[7];
84*d2825fa9SJason A. Donenfeld
85*d2825fa9SJason A. Donenfeld R1(a, b, c, d, e, f, g, h, K[0], I(0), I(4));
86*d2825fa9SJason A. Donenfeld R1(d, a, b, c, h, e, f, g, K[1], I(1), I(5));
87*d2825fa9SJason A. Donenfeld R1(c, d, a, b, g, h, e, f, K[2], I(2), I(6));
88*d2825fa9SJason A. Donenfeld R1(b, c, d, a, f, g, h, e, K[3], I(3), I(7));
89*d2825fa9SJason A. Donenfeld R1(a, b, c, d, e, f, g, h, K[4], W1(4), I(8));
90*d2825fa9SJason A. Donenfeld R1(d, a, b, c, h, e, f, g, K[5], W1(5), I(9));
91*d2825fa9SJason A. Donenfeld R1(c, d, a, b, g, h, e, f, K[6], W1(6), I(10));
92*d2825fa9SJason A. Donenfeld R1(b, c, d, a, f, g, h, e, K[7], W1(7), I(11));
93*d2825fa9SJason A. Donenfeld R1(a, b, c, d, e, f, g, h, K[8], W1(8), I(12));
94*d2825fa9SJason A. Donenfeld R1(d, a, b, c, h, e, f, g, K[9], W1(9), I(13));
95*d2825fa9SJason A. Donenfeld R1(c, d, a, b, g, h, e, f, K[10], W1(10), I(14));
96*d2825fa9SJason A. Donenfeld R1(b, c, d, a, f, g, h, e, K[11], W1(11), I(15));
97*d2825fa9SJason A. Donenfeld R1(a, b, c, d, e, f, g, h, K[12], W1(12), W2(16));
98*d2825fa9SJason A. Donenfeld R1(d, a, b, c, h, e, f, g, K[13], W1(13), W2(17));
99*d2825fa9SJason A. Donenfeld R1(c, d, a, b, g, h, e, f, K[14], W1(14), W2(18));
100*d2825fa9SJason A. Donenfeld R1(b, c, d, a, f, g, h, e, K[15], W1(15), W2(19));
101*d2825fa9SJason A. Donenfeld
102*d2825fa9SJason A. Donenfeld R2(a, b, c, d, e, f, g, h, K[16], W1(16), W2(20));
103*d2825fa9SJason A. Donenfeld R2(d, a, b, c, h, e, f, g, K[17], W1(17), W2(21));
104*d2825fa9SJason A. Donenfeld R2(c, d, a, b, g, h, e, f, K[18], W1(18), W2(22));
105*d2825fa9SJason A. Donenfeld R2(b, c, d, a, f, g, h, e, K[19], W1(19), W2(23));
106*d2825fa9SJason A. Donenfeld R2(a, b, c, d, e, f, g, h, K[20], W1(20), W2(24));
107*d2825fa9SJason A. Donenfeld R2(d, a, b, c, h, e, f, g, K[21], W1(21), W2(25));
108*d2825fa9SJason A. Donenfeld R2(c, d, a, b, g, h, e, f, K[22], W1(22), W2(26));
109*d2825fa9SJason A. Donenfeld R2(b, c, d, a, f, g, h, e, K[23], W1(23), W2(27));
110*d2825fa9SJason A. Donenfeld R2(a, b, c, d, e, f, g, h, K[24], W1(24), W2(28));
111*d2825fa9SJason A. Donenfeld R2(d, a, b, c, h, e, f, g, K[25], W1(25), W2(29));
112*d2825fa9SJason A. Donenfeld R2(c, d, a, b, g, h, e, f, K[26], W1(26), W2(30));
113*d2825fa9SJason A. Donenfeld R2(b, c, d, a, f, g, h, e, K[27], W1(27), W2(31));
114*d2825fa9SJason A. Donenfeld R2(a, b, c, d, e, f, g, h, K[28], W1(28), W2(32));
115*d2825fa9SJason A. Donenfeld R2(d, a, b, c, h, e, f, g, K[29], W1(29), W2(33));
116*d2825fa9SJason A. Donenfeld R2(c, d, a, b, g, h, e, f, K[30], W1(30), W2(34));
117*d2825fa9SJason A. Donenfeld R2(b, c, d, a, f, g, h, e, K[31], W1(31), W2(35));
118*d2825fa9SJason A. Donenfeld
119*d2825fa9SJason A. Donenfeld R2(a, b, c, d, e, f, g, h, K[32], W1(32), W2(36));
120*d2825fa9SJason A. Donenfeld R2(d, a, b, c, h, e, f, g, K[33], W1(33), W2(37));
121*d2825fa9SJason A. Donenfeld R2(c, d, a, b, g, h, e, f, K[34], W1(34), W2(38));
122*d2825fa9SJason A. Donenfeld R2(b, c, d, a, f, g, h, e, K[35], W1(35), W2(39));
123*d2825fa9SJason A. Donenfeld R2(a, b, c, d, e, f, g, h, K[36], W1(36), W2(40));
124*d2825fa9SJason A. Donenfeld R2(d, a, b, c, h, e, f, g, K[37], W1(37), W2(41));
125*d2825fa9SJason A. Donenfeld R2(c, d, a, b, g, h, e, f, K[38], W1(38), W2(42));
126*d2825fa9SJason A. Donenfeld R2(b, c, d, a, f, g, h, e, K[39], W1(39), W2(43));
127*d2825fa9SJason A. Donenfeld R2(a, b, c, d, e, f, g, h, K[40], W1(40), W2(44));
128*d2825fa9SJason A. Donenfeld R2(d, a, b, c, h, e, f, g, K[41], W1(41), W2(45));
129*d2825fa9SJason A. Donenfeld R2(c, d, a, b, g, h, e, f, K[42], W1(42), W2(46));
130*d2825fa9SJason A. Donenfeld R2(b, c, d, a, f, g, h, e, K[43], W1(43), W2(47));
131*d2825fa9SJason A. Donenfeld R2(a, b, c, d, e, f, g, h, K[44], W1(44), W2(48));
132*d2825fa9SJason A. Donenfeld R2(d, a, b, c, h, e, f, g, K[45], W1(45), W2(49));
133*d2825fa9SJason A. Donenfeld R2(c, d, a, b, g, h, e, f, K[46], W1(46), W2(50));
134*d2825fa9SJason A. Donenfeld R2(b, c, d, a, f, g, h, e, K[47], W1(47), W2(51));
135*d2825fa9SJason A. Donenfeld
136*d2825fa9SJason A. Donenfeld R2(a, b, c, d, e, f, g, h, K[48], W1(48), W2(52));
137*d2825fa9SJason A. Donenfeld R2(d, a, b, c, h, e, f, g, K[49], W1(49), W2(53));
138*d2825fa9SJason A. Donenfeld R2(c, d, a, b, g, h, e, f, K[50], W1(50), W2(54));
139*d2825fa9SJason A. Donenfeld R2(b, c, d, a, f, g, h, e, K[51], W1(51), W2(55));
140*d2825fa9SJason A. Donenfeld R2(a, b, c, d, e, f, g, h, K[52], W1(52), W2(56));
141*d2825fa9SJason A. Donenfeld R2(d, a, b, c, h, e, f, g, K[53], W1(53), W2(57));
142*d2825fa9SJason A. Donenfeld R2(c, d, a, b, g, h, e, f, K[54], W1(54), W2(58));
143*d2825fa9SJason A. Donenfeld R2(b, c, d, a, f, g, h, e, K[55], W1(55), W2(59));
144*d2825fa9SJason A. Donenfeld R2(a, b, c, d, e, f, g, h, K[56], W1(56), W2(60));
145*d2825fa9SJason A. Donenfeld R2(d, a, b, c, h, e, f, g, K[57], W1(57), W2(61));
146*d2825fa9SJason A. Donenfeld R2(c, d, a, b, g, h, e, f, K[58], W1(58), W2(62));
147*d2825fa9SJason A. Donenfeld R2(b, c, d, a, f, g, h, e, K[59], W1(59), W2(63));
148*d2825fa9SJason A. Donenfeld R2(a, b, c, d, e, f, g, h, K[60], W1(60), W2(64));
149*d2825fa9SJason A. Donenfeld R2(d, a, b, c, h, e, f, g, K[61], W1(61), W2(65));
150*d2825fa9SJason A. Donenfeld R2(c, d, a, b, g, h, e, f, K[62], W1(62), W2(66));
151*d2825fa9SJason A. Donenfeld R2(b, c, d, a, f, g, h, e, K[63], W1(63), W2(67));
152*d2825fa9SJason A. Donenfeld
153*d2825fa9SJason A. Donenfeld sctx->state[0] ^= a;
154*d2825fa9SJason A. Donenfeld sctx->state[1] ^= b;
155*d2825fa9SJason A. Donenfeld sctx->state[2] ^= c;
156*d2825fa9SJason A. Donenfeld sctx->state[3] ^= d;
157*d2825fa9SJason A. Donenfeld sctx->state[4] ^= e;
158*d2825fa9SJason A. Donenfeld sctx->state[5] ^= f;
159*d2825fa9SJason A. Donenfeld sctx->state[6] ^= g;
160*d2825fa9SJason A. Donenfeld sctx->state[7] ^= h;
161*d2825fa9SJason A. Donenfeld }
162*d2825fa9SJason A. Donenfeld #undef R
163*d2825fa9SJason A. Donenfeld #undef R1
164*d2825fa9SJason A. Donenfeld #undef R2
165*d2825fa9SJason A. Donenfeld #undef I
166*d2825fa9SJason A. Donenfeld #undef W1
167*d2825fa9SJason A. Donenfeld #undef W2
168*d2825fa9SJason A. Donenfeld
sm3_block(struct sm3_state * sctx,u8 const * data,int blocks,u32 W[16])169*d2825fa9SJason A. Donenfeld static inline void sm3_block(struct sm3_state *sctx,
170*d2825fa9SJason A. Donenfeld u8 const *data, int blocks, u32 W[16])
171*d2825fa9SJason A. Donenfeld {
172*d2825fa9SJason A. Donenfeld while (blocks--) {
173*d2825fa9SJason A. Donenfeld sm3_transform(sctx, data, W);
174*d2825fa9SJason A. Donenfeld data += SM3_BLOCK_SIZE;
175*d2825fa9SJason A. Donenfeld }
176*d2825fa9SJason A. Donenfeld }
177*d2825fa9SJason A. Donenfeld
sm3_update(struct sm3_state * sctx,const u8 * data,unsigned int len)178*d2825fa9SJason A. Donenfeld void sm3_update(struct sm3_state *sctx, const u8 *data, unsigned int len)
179*d2825fa9SJason A. Donenfeld {
180*d2825fa9SJason A. Donenfeld unsigned int partial = sctx->count % SM3_BLOCK_SIZE;
181*d2825fa9SJason A. Donenfeld u32 W[16];
182*d2825fa9SJason A. Donenfeld
183*d2825fa9SJason A. Donenfeld sctx->count += len;
184*d2825fa9SJason A. Donenfeld
185*d2825fa9SJason A. Donenfeld if ((partial + len) >= SM3_BLOCK_SIZE) {
186*d2825fa9SJason A. Donenfeld int blocks;
187*d2825fa9SJason A. Donenfeld
188*d2825fa9SJason A. Donenfeld if (partial) {
189*d2825fa9SJason A. Donenfeld int p = SM3_BLOCK_SIZE - partial;
190*d2825fa9SJason A. Donenfeld
191*d2825fa9SJason A. Donenfeld memcpy(sctx->buffer + partial, data, p);
192*d2825fa9SJason A. Donenfeld data += p;
193*d2825fa9SJason A. Donenfeld len -= p;
194*d2825fa9SJason A. Donenfeld
195*d2825fa9SJason A. Donenfeld sm3_block(sctx, sctx->buffer, 1, W);
196*d2825fa9SJason A. Donenfeld }
197*d2825fa9SJason A. Donenfeld
198*d2825fa9SJason A. Donenfeld blocks = len / SM3_BLOCK_SIZE;
199*d2825fa9SJason A. Donenfeld len %= SM3_BLOCK_SIZE;
200*d2825fa9SJason A. Donenfeld
201*d2825fa9SJason A. Donenfeld if (blocks) {
202*d2825fa9SJason A. Donenfeld sm3_block(sctx, data, blocks, W);
203*d2825fa9SJason A. Donenfeld data += blocks * SM3_BLOCK_SIZE;
204*d2825fa9SJason A. Donenfeld }
205*d2825fa9SJason A. Donenfeld
206*d2825fa9SJason A. Donenfeld memzero_explicit(W, sizeof(W));
207*d2825fa9SJason A. Donenfeld
208*d2825fa9SJason A. Donenfeld partial = 0;
209*d2825fa9SJason A. Donenfeld }
210*d2825fa9SJason A. Donenfeld if (len)
211*d2825fa9SJason A. Donenfeld memcpy(sctx->buffer + partial, data, len);
212*d2825fa9SJason A. Donenfeld }
213*d2825fa9SJason A. Donenfeld EXPORT_SYMBOL_GPL(sm3_update);
214*d2825fa9SJason A. Donenfeld
sm3_final(struct sm3_state * sctx,u8 * out)215*d2825fa9SJason A. Donenfeld void sm3_final(struct sm3_state *sctx, u8 *out)
216*d2825fa9SJason A. Donenfeld {
217*d2825fa9SJason A. Donenfeld const int bit_offset = SM3_BLOCK_SIZE - sizeof(u64);
218*d2825fa9SJason A. Donenfeld __be64 *bits = (__be64 *)(sctx->buffer + bit_offset);
219*d2825fa9SJason A. Donenfeld __be32 *digest = (__be32 *)out;
220*d2825fa9SJason A. Donenfeld unsigned int partial = sctx->count % SM3_BLOCK_SIZE;
221*d2825fa9SJason A. Donenfeld u32 W[16];
222*d2825fa9SJason A. Donenfeld int i;
223*d2825fa9SJason A. Donenfeld
224*d2825fa9SJason A. Donenfeld sctx->buffer[partial++] = 0x80;
225*d2825fa9SJason A. Donenfeld if (partial > bit_offset) {
226*d2825fa9SJason A. Donenfeld memset(sctx->buffer + partial, 0, SM3_BLOCK_SIZE - partial);
227*d2825fa9SJason A. Donenfeld partial = 0;
228*d2825fa9SJason A. Donenfeld
229*d2825fa9SJason A. Donenfeld sm3_block(sctx, sctx->buffer, 1, W);
230*d2825fa9SJason A. Donenfeld }
231*d2825fa9SJason A. Donenfeld
232*d2825fa9SJason A. Donenfeld memset(sctx->buffer + partial, 0, bit_offset - partial);
233*d2825fa9SJason A. Donenfeld *bits = cpu_to_be64(sctx->count << 3);
234*d2825fa9SJason A. Donenfeld sm3_block(sctx, sctx->buffer, 1, W);
235*d2825fa9SJason A. Donenfeld
236*d2825fa9SJason A. Donenfeld for (i = 0; i < 8; i++)
237*d2825fa9SJason A. Donenfeld put_unaligned_be32(sctx->state[i], digest++);
238*d2825fa9SJason A. Donenfeld
239*d2825fa9SJason A. Donenfeld /* Zeroize sensitive information. */
240*d2825fa9SJason A. Donenfeld memzero_explicit(W, sizeof(W));
241*d2825fa9SJason A. Donenfeld memzero_explicit(sctx, sizeof(*sctx));
242*d2825fa9SJason A. Donenfeld }
243*d2825fa9SJason A. Donenfeld EXPORT_SYMBOL_GPL(sm3_final);
244*d2825fa9SJason A. Donenfeld
245*d2825fa9SJason A. Donenfeld MODULE_DESCRIPTION("Generic SM3 library");
246*d2825fa9SJason A. Donenfeld MODULE_LICENSE("GPL v2");
247