xref: /openbmc/linux/fs/overlayfs/inode.c (revision a00c2d59e914b8ec46f1637e2e283aa35583c455)
1e9be9d5eSMiklos Szeredi /*
2e9be9d5eSMiklos Szeredi  *
3e9be9d5eSMiklos Szeredi  * Copyright (C) 2011 Novell Inc.
4e9be9d5eSMiklos Szeredi  *
5e9be9d5eSMiklos Szeredi  * This program is free software; you can redistribute it and/or modify it
6e9be9d5eSMiklos Szeredi  * under the terms of the GNU General Public License version 2 as published by
7e9be9d5eSMiklos Szeredi  * the Free Software Foundation.
8e9be9d5eSMiklos Szeredi  */
9e9be9d5eSMiklos Szeredi 
10e9be9d5eSMiklos Szeredi #include <linux/fs.h>
11e9be9d5eSMiklos Szeredi #include <linux/slab.h>
125b825c3aSIngo Molnar #include <linux/cred.h>
13e9be9d5eSMiklos Szeredi #include <linux/xattr.h>
145201dc44SMiklos Szeredi #include <linux/posix_acl.h>
155f8415d6SAmir Goldstein #include <linux/ratelimit.h>
16e9be9d5eSMiklos Szeredi #include "overlayfs.h"
17e9be9d5eSMiklos Szeredi 
18ba1e563cSChandan Rajendra 
19e9be9d5eSMiklos Szeredi int ovl_setattr(struct dentry *dentry, struct iattr *attr)
20e9be9d5eSMiklos Szeredi {
21e9be9d5eSMiklos Szeredi 	int err;
22e9be9d5eSMiklos Szeredi 	struct dentry *upperdentry;
231175b6b8SVivek Goyal 	const struct cred *old_cred;
24e9be9d5eSMiklos Szeredi 
2531051c85SJan Kara 	err = setattr_prepare(dentry, attr);
26cf9a6784SMiklos Szeredi 	if (err)
27cf9a6784SMiklos Szeredi 		return err;
28cf9a6784SMiklos Szeredi 
29e9be9d5eSMiklos Szeredi 	err = ovl_want_write(dentry);
30e9be9d5eSMiklos Szeredi 	if (err)
31e9be9d5eSMiklos Szeredi 		goto out;
32e9be9d5eSMiklos Szeredi 
335812160eSMiklos Szeredi 	if (attr->ia_valid & ATTR_SIZE) {
345812160eSMiklos Szeredi 		struct inode *realinode = d_inode(ovl_dentry_real(dentry));
355812160eSMiklos Szeredi 
365812160eSMiklos Szeredi 		err = -ETXTBSY;
375812160eSMiklos Szeredi 		if (atomic_read(&realinode->i_writecount) < 0)
385812160eSMiklos Szeredi 			goto out_drop_write;
395812160eSMiklos Szeredi 	}
405812160eSMiklos Szeredi 
41acff81ecSMiklos Szeredi 	err = ovl_copy_up(dentry);
42acff81ecSMiklos Szeredi 	if (!err) {
435812160eSMiklos Szeredi 		struct inode *winode = NULL;
445812160eSMiklos Szeredi 
45e9be9d5eSMiklos Szeredi 		upperdentry = ovl_dentry_upper(dentry);
46acff81ecSMiklos Szeredi 
475812160eSMiklos Szeredi 		if (attr->ia_valid & ATTR_SIZE) {
485812160eSMiklos Szeredi 			winode = d_inode(upperdentry);
495812160eSMiklos Szeredi 			err = get_write_access(winode);
505812160eSMiklos Szeredi 			if (err)
515812160eSMiklos Szeredi 				goto out_drop_write;
525812160eSMiklos Szeredi 		}
535812160eSMiklos Szeredi 
54b99c2d91SMiklos Szeredi 		if (attr->ia_valid & (ATTR_KILL_SUID|ATTR_KILL_SGID))
55b99c2d91SMiklos Szeredi 			attr->ia_valid &= ~ATTR_MODE;
56b99c2d91SMiklos Szeredi 
575955102cSAl Viro 		inode_lock(upperdentry->d_inode);
581175b6b8SVivek Goyal 		old_cred = ovl_override_creds(dentry->d_sb);
59e9be9d5eSMiklos Szeredi 		err = notify_change(upperdentry, attr, NULL);
601175b6b8SVivek Goyal 		revert_creds(old_cred);
61b81de061SKonstantin Khlebnikov 		if (!err)
62b81de061SKonstantin Khlebnikov 			ovl_copyattr(upperdentry->d_inode, dentry->d_inode);
635955102cSAl Viro 		inode_unlock(upperdentry->d_inode);
645812160eSMiklos Szeredi 
655812160eSMiklos Szeredi 		if (winode)
665812160eSMiklos Szeredi 			put_write_access(winode);
67e9be9d5eSMiklos Szeredi 	}
685812160eSMiklos Szeredi out_drop_write:
69e9be9d5eSMiklos Szeredi 	ovl_drop_write(dentry);
70e9be9d5eSMiklos Szeredi out:
71e9be9d5eSMiklos Szeredi 	return err;
72e9be9d5eSMiklos Szeredi }
73e9be9d5eSMiklos Szeredi 
74da309e8cSAmir Goldstein static int ovl_map_dev_ino(struct dentry *dentry, struct kstat *stat,
75da309e8cSAmir Goldstein 			   struct ovl_layer *lower_layer)
76da309e8cSAmir Goldstein {
77da309e8cSAmir Goldstein 	bool samefs = ovl_same_sb(dentry->d_sb);
78e487d889SAmir Goldstein 	unsigned int xinobits = ovl_xino_bits(dentry->d_sb);
79da309e8cSAmir Goldstein 
80da309e8cSAmir Goldstein 	if (samefs) {
81da309e8cSAmir Goldstein 		/*
82da309e8cSAmir Goldstein 		 * When all layers are on the same fs, all real inode
83da309e8cSAmir Goldstein 		 * number are unique, so we use the overlay st_dev,
84da309e8cSAmir Goldstein 		 * which is friendly to du -x.
85da309e8cSAmir Goldstein 		 */
86da309e8cSAmir Goldstein 		stat->dev = dentry->d_sb->s_dev;
87e487d889SAmir Goldstein 		return 0;
88e487d889SAmir Goldstein 	} else if (xinobits) {
89e487d889SAmir Goldstein 		unsigned int shift = 64 - xinobits;
90e487d889SAmir Goldstein 		/*
91e487d889SAmir Goldstein 		 * All inode numbers of underlying fs should not be using the
92e487d889SAmir Goldstein 		 * high xinobits, so we use high xinobits to partition the
93e487d889SAmir Goldstein 		 * overlay st_ino address space. The high bits holds the fsid
94e487d889SAmir Goldstein 		 * (upper fsid is 0). This way overlay inode numbers are unique
95e487d889SAmir Goldstein 		 * and all inodes use overlay st_dev. Inode numbers are also
96e487d889SAmir Goldstein 		 * persistent for a given layer configuration.
97e487d889SAmir Goldstein 		 */
98e487d889SAmir Goldstein 		if (stat->ino >> shift) {
99e487d889SAmir Goldstein 			pr_warn_ratelimited("overlayfs: inode number too big (%pd2, ino=%llu, xinobits=%d)\n",
100e487d889SAmir Goldstein 					    dentry, stat->ino, xinobits);
101e487d889SAmir Goldstein 		} else {
102e487d889SAmir Goldstein 			if (lower_layer)
103e487d889SAmir Goldstein 				stat->ino |= ((u64)lower_layer->fsid) << shift;
104e487d889SAmir Goldstein 
105e487d889SAmir Goldstein 			stat->dev = dentry->d_sb->s_dev;
106e487d889SAmir Goldstein 			return 0;
107e487d889SAmir Goldstein 		}
108e487d889SAmir Goldstein 	}
109e487d889SAmir Goldstein 
110e487d889SAmir Goldstein 	/* The inode could not be mapped to a unified st_ino address space */
111e487d889SAmir Goldstein 	if (S_ISDIR(dentry->d_inode->i_mode)) {
112da309e8cSAmir Goldstein 		/*
113da309e8cSAmir Goldstein 		 * Always use the overlay st_dev for directories, so 'find
114da309e8cSAmir Goldstein 		 * -xdev' will scan the entire overlay mount and won't cross the
115da309e8cSAmir Goldstein 		 * overlay mount boundaries.
116da309e8cSAmir Goldstein 		 *
117da309e8cSAmir Goldstein 		 * If not all layers are on the same fs the pair {real st_ino;
118da309e8cSAmir Goldstein 		 * overlay st_dev} is not unique, so use the non persistent
119da309e8cSAmir Goldstein 		 * overlay st_ino for directories.
120da309e8cSAmir Goldstein 		 */
121da309e8cSAmir Goldstein 		stat->dev = dentry->d_sb->s_dev;
122da309e8cSAmir Goldstein 		stat->ino = dentry->d_inode->i_ino;
1235148626bSAmir Goldstein 	} else if (lower_layer && lower_layer->fsid) {
124da309e8cSAmir Goldstein 		/*
125da309e8cSAmir Goldstein 		 * For non-samefs setup, if we cannot map all layers st_ino
126da309e8cSAmir Goldstein 		 * to a unified address space, we need to make sure that st_dev
1275148626bSAmir Goldstein 		 * is unique per lower fs. Upper layer uses real st_dev and
1285148626bSAmir Goldstein 		 * lower layers use the unique anonymous bdev assigned to the
1295148626bSAmir Goldstein 		 * lower fs.
130da309e8cSAmir Goldstein 		 */
1315148626bSAmir Goldstein 		stat->dev = lower_layer->fs->pseudo_dev;
132da309e8cSAmir Goldstein 	}
133da309e8cSAmir Goldstein 
134da309e8cSAmir Goldstein 	return 0;
135da309e8cSAmir Goldstein }
136da309e8cSAmir Goldstein 
1375b712091SMiklos Szeredi int ovl_getattr(const struct path *path, struct kstat *stat,
138a528d35eSDavid Howells 		u32 request_mask, unsigned int flags)
139e9be9d5eSMiklos Szeredi {
140a528d35eSDavid Howells 	struct dentry *dentry = path->dentry;
14172b608f0SAmir Goldstein 	enum ovl_path_type type;
142e9be9d5eSMiklos Szeredi 	struct path realpath;
1431175b6b8SVivek Goyal 	const struct cred *old_cred;
1445b712091SMiklos Szeredi 	bool is_dir = S_ISDIR(dentry->d_inode->i_mode);
145a0c5ad30SAmir Goldstein 	bool samefs = ovl_same_sb(dentry->d_sb);
146da309e8cSAmir Goldstein 	struct ovl_layer *lower_layer = NULL;
1471175b6b8SVivek Goyal 	int err;
14867d756c2SVivek Goyal 	bool metacopy_blocks = false;
14967d756c2SVivek Goyal 
15067d756c2SVivek Goyal 	metacopy_blocks = ovl_is_metacopy_dentry(dentry);
151e9be9d5eSMiklos Szeredi 
15272b608f0SAmir Goldstein 	type = ovl_path_real(dentry, &realpath);
1531175b6b8SVivek Goyal 	old_cred = ovl_override_creds(dentry->d_sb);
154a528d35eSDavid Howells 	err = vfs_getattr(&realpath, stat, request_mask, flags);
15572b608f0SAmir Goldstein 	if (err)
15672b608f0SAmir Goldstein 		goto out;
15772b608f0SAmir Goldstein 
15872b608f0SAmir Goldstein 	/*
159da309e8cSAmir Goldstein 	 * For non-dir or same fs, we use st_ino of the copy up origin.
160da309e8cSAmir Goldstein 	 * This guaranties constant st_dev/st_ino across copy up.
161e487d889SAmir Goldstein 	 * With xino feature and non-samefs, we use st_ino of the copy up
162e487d889SAmir Goldstein 	 * origin masked with high bits that represent the layer id.
16372b608f0SAmir Goldstein 	 *
164da309e8cSAmir Goldstein 	 * If lower filesystem supports NFS file handles, this also guaranties
16572b608f0SAmir Goldstein 	 * persistent st_ino across mount cycle.
16672b608f0SAmir Goldstein 	 */
167e487d889SAmir Goldstein 	if (!is_dir || samefs || ovl_xino_bits(dentry->d_sb)) {
168da309e8cSAmir Goldstein 		if (!OVL_TYPE_UPPER(type)) {
169da309e8cSAmir Goldstein 			lower_layer = ovl_layer_lower(dentry);
170da309e8cSAmir Goldstein 		} else if (OVL_TYPE_ORIGIN(type)) {
17172b608f0SAmir Goldstein 			struct kstat lowerstat;
17267d756c2SVivek Goyal 			u32 lowermask = STATX_INO | STATX_BLOCKS |
17367d756c2SVivek Goyal 					(!is_dir ? STATX_NLINK : 0);
17472b608f0SAmir Goldstein 
17572b608f0SAmir Goldstein 			ovl_path_lower(dentry, &realpath);
17672b608f0SAmir Goldstein 			err = vfs_getattr(&realpath, &lowerstat,
1775b712091SMiklos Szeredi 					  lowermask, flags);
17872b608f0SAmir Goldstein 			if (err)
17972b608f0SAmir Goldstein 				goto out;
18072b608f0SAmir Goldstein 
18172b608f0SAmir Goldstein 			/*
182359f392cSAmir Goldstein 			 * Lower hardlinks may be broken on copy up to different
18372b608f0SAmir Goldstein 			 * upper files, so we cannot use the lower origin st_ino
18472b608f0SAmir Goldstein 			 * for those different files, even for the same fs case.
18586eaa130SAmir Goldstein 			 *
18686eaa130SAmir Goldstein 			 * Similarly, several redirected dirs can point to the
18786eaa130SAmir Goldstein 			 * same dir on a lower layer. With the "verify_lower"
18886eaa130SAmir Goldstein 			 * feature, we do not use the lower origin st_ino, if
18986eaa130SAmir Goldstein 			 * we haven't verified that this redirect is unique.
19086eaa130SAmir Goldstein 			 *
191359f392cSAmir Goldstein 			 * With inodes index enabled, it is safe to use st_ino
19286eaa130SAmir Goldstein 			 * of an indexed origin. The index validates that the
19386eaa130SAmir Goldstein 			 * upper hardlink is not broken and that a redirected
19486eaa130SAmir Goldstein 			 * dir is the only redirect to that origin.
19572b608f0SAmir Goldstein 			 */
19686eaa130SAmir Goldstein 			if (ovl_test_flag(OVL_INDEX, d_inode(dentry)) ||
19786eaa130SAmir Goldstein 			    (!ovl_verify_lower(dentry->d_sb) &&
1989f99e50dSAmir Goldstein 			     (is_dir || lowerstat.nlink == 1))) {
19972b608f0SAmir Goldstein 				stat->ino = lowerstat.ino;
200da309e8cSAmir Goldstein 				lower_layer = ovl_layer_lower(dentry);
20172b608f0SAmir Goldstein 			}
20267d756c2SVivek Goyal 
20367d756c2SVivek Goyal 			/*
20467d756c2SVivek Goyal 			 * If we are querying a metacopy dentry and lower
20567d756c2SVivek Goyal 			 * dentry is data dentry, then use the blocks we
20667d756c2SVivek Goyal 			 * queried just now. We don't have to do additional
20767d756c2SVivek Goyal 			 * vfs_getattr(). If lower itself is metacopy, then
20867d756c2SVivek Goyal 			 * additional vfs_getattr() is unavoidable.
20967d756c2SVivek Goyal 			 */
21067d756c2SVivek Goyal 			if (metacopy_blocks &&
21167d756c2SVivek Goyal 			    realpath.dentry == ovl_dentry_lowerdata(dentry)) {
21267d756c2SVivek Goyal 				stat->blocks = lowerstat.blocks;
21367d756c2SVivek Goyal 				metacopy_blocks = false;
21467d756c2SVivek Goyal 			}
21567d756c2SVivek Goyal 		}
21667d756c2SVivek Goyal 
21767d756c2SVivek Goyal 		if (metacopy_blocks) {
21867d756c2SVivek Goyal 			/*
21967d756c2SVivek Goyal 			 * If lower is not same as lowerdata or if there was
22067d756c2SVivek Goyal 			 * no origin on upper, we can end up here.
22167d756c2SVivek Goyal 			 */
22267d756c2SVivek Goyal 			struct kstat lowerdatastat;
22367d756c2SVivek Goyal 			u32 lowermask = STATX_BLOCKS;
22467d756c2SVivek Goyal 
22567d756c2SVivek Goyal 			ovl_path_lowerdata(dentry, &realpath);
22667d756c2SVivek Goyal 			err = vfs_getattr(&realpath, &lowerdatastat,
22767d756c2SVivek Goyal 					  lowermask, flags);
22867d756c2SVivek Goyal 			if (err)
22967d756c2SVivek Goyal 				goto out;
23067d756c2SVivek Goyal 			stat->blocks = lowerdatastat.blocks;
2319f99e50dSAmir Goldstein 		}
232a0c5ad30SAmir Goldstein 	}
233da309e8cSAmir Goldstein 
234da309e8cSAmir Goldstein 	err = ovl_map_dev_ino(dentry, stat, lower_layer);
235da309e8cSAmir Goldstein 	if (err)
236da309e8cSAmir Goldstein 		goto out;
2375b712091SMiklos Szeredi 
2385b712091SMiklos Szeredi 	/*
2395b712091SMiklos Szeredi 	 * It's probably not worth it to count subdirs to get the
2405b712091SMiklos Szeredi 	 * correct link count.  nlink=1 seems to pacify 'find' and
2415b712091SMiklos Szeredi 	 * other utilities.
2425b712091SMiklos Szeredi 	 */
2435b712091SMiklos Szeredi 	if (is_dir && OVL_TYPE_MERGE(type))
2445b712091SMiklos Szeredi 		stat->nlink = 1;
2455b712091SMiklos Szeredi 
2465f8415d6SAmir Goldstein 	/*
2475f8415d6SAmir Goldstein 	 * Return the overlay inode nlinks for indexed upper inodes.
2485f8415d6SAmir Goldstein 	 * Overlay inode nlink counts the union of the upper hardlinks
2495f8415d6SAmir Goldstein 	 * and non-covered lower hardlinks. It does not include the upper
2505f8415d6SAmir Goldstein 	 * index hardlink.
2515f8415d6SAmir Goldstein 	 */
2525f8415d6SAmir Goldstein 	if (!is_dir && ovl_test_flag(OVL_INDEX, d_inode(dentry)))
2535f8415d6SAmir Goldstein 		stat->nlink = dentry->d_inode->i_nlink;
2545f8415d6SAmir Goldstein 
25572b608f0SAmir Goldstein out:
2561175b6b8SVivek Goyal 	revert_creds(old_cred);
25772b608f0SAmir Goldstein 
2581175b6b8SVivek Goyal 	return err;
259e9be9d5eSMiklos Szeredi }
260e9be9d5eSMiklos Szeredi 
261e9be9d5eSMiklos Szeredi int ovl_permission(struct inode *inode, int mask)
262e9be9d5eSMiklos Szeredi {
26309d8b586SMiklos Szeredi 	struct inode *upperinode = ovl_inode_upper(inode);
26409d8b586SMiklos Szeredi 	struct inode *realinode = upperinode ?: ovl_inode_lower(inode);
265c0ca3d70SVivek Goyal 	const struct cred *old_cred;
266e9be9d5eSMiklos Szeredi 	int err;
267e9be9d5eSMiklos Szeredi 
268e9be9d5eSMiklos Szeredi 	/* Careful in RCU walk mode */
269e9be9d5eSMiklos Szeredi 	if (!realinode) {
270e9be9d5eSMiklos Szeredi 		WARN_ON(!(mask & MAY_NOT_BLOCK));
271a999d7e1SMiklos Szeredi 		return -ECHILD;
272e9be9d5eSMiklos Szeredi 	}
273e9be9d5eSMiklos Szeredi 
274c0ca3d70SVivek Goyal 	/*
275c0ca3d70SVivek Goyal 	 * Check overlay inode with the creds of task and underlying inode
276c0ca3d70SVivek Goyal 	 * with creds of mounter
277c0ca3d70SVivek Goyal 	 */
278c0ca3d70SVivek Goyal 	err = generic_permission(inode, mask);
279c0ca3d70SVivek Goyal 	if (err)
280c0ca3d70SVivek Goyal 		return err;
281c0ca3d70SVivek Goyal 
282c0ca3d70SVivek Goyal 	old_cred = ovl_override_creds(inode->i_sb);
28309d8b586SMiklos Szeredi 	if (!upperinode &&
28409d8b586SMiklos Szeredi 	    !special_file(realinode->i_mode) && mask & MAY_WRITE) {
285754f8cb7SVivek Goyal 		mask &= ~(MAY_WRITE | MAY_APPEND);
286500cac3cSVivek Goyal 		/* Make sure mounter can read file for copy up later */
287500cac3cSVivek Goyal 		mask |= MAY_READ;
288500cac3cSVivek Goyal 	}
2899c630ebeSMiklos Szeredi 	err = inode_permission(realinode, mask);
290c0ca3d70SVivek Goyal 	revert_creds(old_cred);
291c0ca3d70SVivek Goyal 
292c0ca3d70SVivek Goyal 	return err;
293e9be9d5eSMiklos Szeredi }
294e9be9d5eSMiklos Szeredi 
2956b255391SAl Viro static const char *ovl_get_link(struct dentry *dentry,
296fceef393SAl Viro 				struct inode *inode,
297fceef393SAl Viro 				struct delayed_call *done)
298e9be9d5eSMiklos Szeredi {
2991175b6b8SVivek Goyal 	const struct cred *old_cred;
3001175b6b8SVivek Goyal 	const char *p;
301e9be9d5eSMiklos Szeredi 
3026b255391SAl Viro 	if (!dentry)
3036b255391SAl Viro 		return ERR_PTR(-ECHILD);
3046b255391SAl Viro 
3051175b6b8SVivek Goyal 	old_cred = ovl_override_creds(dentry->d_sb);
3067764235bSMiklos Szeredi 	p = vfs_get_link(ovl_dentry_real(dentry), done);
3071175b6b8SVivek Goyal 	revert_creds(old_cred);
3081175b6b8SVivek Goyal 	return p;
309e9be9d5eSMiklos Szeredi }
310e9be9d5eSMiklos Szeredi 
3110956254aSMiklos Szeredi bool ovl_is_private_xattr(const char *name)
312e9be9d5eSMiklos Szeredi {
313fe2b7595SAndreas Gruenbacher 	return strncmp(name, OVL_XATTR_PREFIX,
314fe2b7595SAndreas Gruenbacher 		       sizeof(OVL_XATTR_PREFIX) - 1) == 0;
315e9be9d5eSMiklos Szeredi }
316e9be9d5eSMiklos Szeredi 
3171d88f183SMiklos Szeredi int ovl_xattr_set(struct dentry *dentry, struct inode *inode, const char *name,
3181d88f183SMiklos Szeredi 		  const void *value, size_t size, int flags)
319e9be9d5eSMiklos Szeredi {
320e9be9d5eSMiklos Szeredi 	int err;
3211d88f183SMiklos Szeredi 	struct dentry *upperdentry = ovl_i_dentry_upper(inode);
3221d88f183SMiklos Szeredi 	struct dentry *realdentry = upperdentry ?: ovl_dentry_lower(dentry);
3231175b6b8SVivek Goyal 	const struct cred *old_cred;
324e9be9d5eSMiklos Szeredi 
325e9be9d5eSMiklos Szeredi 	err = ovl_want_write(dentry);
326e9be9d5eSMiklos Szeredi 	if (err)
327e9be9d5eSMiklos Szeredi 		goto out;
328e9be9d5eSMiklos Szeredi 
3291d88f183SMiklos Szeredi 	if (!value && !upperdentry) {
3301d88f183SMiklos Szeredi 		err = vfs_getxattr(realdentry, name, NULL, 0);
3310e585cccSAndreas Gruenbacher 		if (err < 0)
3320e585cccSAndreas Gruenbacher 			goto out_drop_write;
3330e585cccSAndreas Gruenbacher 	}
3340e585cccSAndreas Gruenbacher 
3351d88f183SMiklos Szeredi 	if (!upperdentry) {
336e9be9d5eSMiklos Szeredi 		err = ovl_copy_up(dentry);
337e9be9d5eSMiklos Szeredi 		if (err)
338e9be9d5eSMiklos Szeredi 			goto out_drop_write;
339e9be9d5eSMiklos Szeredi 
3401d88f183SMiklos Szeredi 		realdentry = ovl_dentry_upper(dentry);
3411d88f183SMiklos Szeredi 	}
3420e585cccSAndreas Gruenbacher 
3431175b6b8SVivek Goyal 	old_cred = ovl_override_creds(dentry->d_sb);
3440e585cccSAndreas Gruenbacher 	if (value)
3451d88f183SMiklos Szeredi 		err = vfs_setxattr(realdentry, name, value, size, flags);
3460e585cccSAndreas Gruenbacher 	else {
3470e585cccSAndreas Gruenbacher 		WARN_ON(flags != XATTR_REPLACE);
3481d88f183SMiklos Szeredi 		err = vfs_removexattr(realdentry, name);
3490e585cccSAndreas Gruenbacher 	}
3501175b6b8SVivek Goyal 	revert_creds(old_cred);
351e9be9d5eSMiklos Szeredi 
352d9854c87SMiklos Szeredi 	/* copy c/mtime */
353d9854c87SMiklos Szeredi 	ovl_copyattr(d_inode(realdentry), inode);
354d9854c87SMiklos Szeredi 
355e9be9d5eSMiklos Szeredi out_drop_write:
356e9be9d5eSMiklos Szeredi 	ovl_drop_write(dentry);
357e9be9d5eSMiklos Szeredi out:
358e9be9d5eSMiklos Szeredi 	return err;
359e9be9d5eSMiklos Szeredi }
360e9be9d5eSMiklos Szeredi 
3611d88f183SMiklos Szeredi int ovl_xattr_get(struct dentry *dentry, struct inode *inode, const char *name,
3620eb45fc3SAndreas Gruenbacher 		  void *value, size_t size)
363e9be9d5eSMiklos Szeredi {
3641175b6b8SVivek Goyal 	ssize_t res;
3651175b6b8SVivek Goyal 	const struct cred *old_cred;
3661d88f183SMiklos Szeredi 	struct dentry *realdentry =
3671d88f183SMiklos Szeredi 		ovl_i_dentry_upper(inode) ?: ovl_dentry_lower(dentry);
36852148463SMiklos Szeredi 
3691175b6b8SVivek Goyal 	old_cred = ovl_override_creds(dentry->d_sb);
3701175b6b8SVivek Goyal 	res = vfs_getxattr(realdentry, name, value, size);
3711175b6b8SVivek Goyal 	revert_creds(old_cred);
3721175b6b8SVivek Goyal 	return res;
373e9be9d5eSMiklos Szeredi }
374e9be9d5eSMiklos Szeredi 
375a082c6f6SMiklos Szeredi static bool ovl_can_list(const char *s)
376a082c6f6SMiklos Szeredi {
377a082c6f6SMiklos Szeredi 	/* List all non-trusted xatts */
378a082c6f6SMiklos Szeredi 	if (strncmp(s, XATTR_TRUSTED_PREFIX, XATTR_TRUSTED_PREFIX_LEN) != 0)
379a082c6f6SMiklos Szeredi 		return true;
380a082c6f6SMiklos Szeredi 
381a082c6f6SMiklos Szeredi 	/* Never list trusted.overlay, list other trusted for superuser only */
382a082c6f6SMiklos Szeredi 	return !ovl_is_private_xattr(s) && capable(CAP_SYS_ADMIN);
383a082c6f6SMiklos Szeredi }
384a082c6f6SMiklos Szeredi 
385e9be9d5eSMiklos Szeredi ssize_t ovl_listxattr(struct dentry *dentry, char *list, size_t size)
386e9be9d5eSMiklos Szeredi {
387b581755bSMiklos Szeredi 	struct dentry *realdentry = ovl_dentry_real(dentry);
388e9be9d5eSMiklos Szeredi 	ssize_t res;
3897cb35119SMiklos Szeredi 	size_t len;
3907cb35119SMiklos Szeredi 	char *s;
3911175b6b8SVivek Goyal 	const struct cred *old_cred;
392e9be9d5eSMiklos Szeredi 
3931175b6b8SVivek Goyal 	old_cred = ovl_override_creds(dentry->d_sb);
394b581755bSMiklos Szeredi 	res = vfs_listxattr(realdentry, list, size);
3951175b6b8SVivek Goyal 	revert_creds(old_cred);
396e9be9d5eSMiklos Szeredi 	if (res <= 0 || size == 0)
397e9be9d5eSMiklos Szeredi 		return res;
398e9be9d5eSMiklos Szeredi 
399e9be9d5eSMiklos Szeredi 	/* filter out private xattrs */
4007cb35119SMiklos Szeredi 	for (s = list, len = res; len;) {
4017cb35119SMiklos Szeredi 		size_t slen = strnlen(s, len) + 1;
402e9be9d5eSMiklos Szeredi 
4037cb35119SMiklos Szeredi 		/* underlying fs providing us with an broken xattr list? */
4047cb35119SMiklos Szeredi 		if (WARN_ON(slen > len))
4057cb35119SMiklos Szeredi 			return -EIO;
406e9be9d5eSMiklos Szeredi 
4077cb35119SMiklos Szeredi 		len -= slen;
408a082c6f6SMiklos Szeredi 		if (!ovl_can_list(s)) {
409e9be9d5eSMiklos Szeredi 			res -= slen;
4107cb35119SMiklos Szeredi 			memmove(s, s + slen, len);
411e9be9d5eSMiklos Szeredi 		} else {
4127cb35119SMiklos Szeredi 			s += slen;
413e9be9d5eSMiklos Szeredi 		}
414e9be9d5eSMiklos Szeredi 	}
415e9be9d5eSMiklos Szeredi 
416e9be9d5eSMiklos Szeredi 	return res;
417e9be9d5eSMiklos Szeredi }
418e9be9d5eSMiklos Szeredi 
41939a25b2bSVivek Goyal struct posix_acl *ovl_get_acl(struct inode *inode, int type)
42039a25b2bSVivek Goyal {
42109d8b586SMiklos Szeredi 	struct inode *realinode = ovl_inode_real(inode);
4221175b6b8SVivek Goyal 	const struct cred *old_cred;
4231175b6b8SVivek Goyal 	struct posix_acl *acl;
42439a25b2bSVivek Goyal 
4255201dc44SMiklos Szeredi 	if (!IS_ENABLED(CONFIG_FS_POSIX_ACL) || !IS_POSIXACL(realinode))
42639a25b2bSVivek Goyal 		return NULL;
42739a25b2bSVivek Goyal 
4281175b6b8SVivek Goyal 	old_cred = ovl_override_creds(inode->i_sb);
4295201dc44SMiklos Szeredi 	acl = get_acl(realinode, type);
4301175b6b8SVivek Goyal 	revert_creds(old_cred);
4311175b6b8SVivek Goyal 
4321175b6b8SVivek Goyal 	return acl;
43339a25b2bSVivek Goyal }
43439a25b2bSVivek Goyal 
43595582b00SDeepa Dinamani int ovl_update_time(struct inode *inode, struct timespec64 *ts, int flags)
436d719e8f2SMiklos Szeredi {
4378f35cf51SMiklos Szeredi 	if (flags & S_ATIME) {
4388f35cf51SMiklos Szeredi 		struct ovl_fs *ofs = inode->i_sb->s_fs_info;
4398f35cf51SMiklos Szeredi 		struct path upperpath = {
4408f35cf51SMiklos Szeredi 			.mnt = ofs->upper_mnt,
4418f35cf51SMiklos Szeredi 			.dentry = ovl_upperdentry_dereference(OVL_I(inode)),
4428f35cf51SMiklos Szeredi 		};
443d719e8f2SMiklos Szeredi 
444d719e8f2SMiklos Szeredi 		if (upperpath.dentry) {
445d719e8f2SMiklos Szeredi 			touch_atime(&upperpath);
446d719e8f2SMiklos Szeredi 			inode->i_atime = d_inode(upperpath.dentry)->i_atime;
447d719e8f2SMiklos Szeredi 		}
4488f35cf51SMiklos Szeredi 	}
449d719e8f2SMiklos Szeredi 	return 0;
450d719e8f2SMiklos Szeredi }
451d719e8f2SMiklos Szeredi 
4529e142c41SMiklos Szeredi static int ovl_fiemap(struct inode *inode, struct fiemap_extent_info *fieinfo,
4539e142c41SMiklos Szeredi 		      u64 start, u64 len)
4549e142c41SMiklos Szeredi {
4559e142c41SMiklos Szeredi 	int err;
4569e142c41SMiklos Szeredi 	struct inode *realinode = ovl_inode_real(inode);
4579e142c41SMiklos Szeredi 	const struct cred *old_cred;
4589e142c41SMiklos Szeredi 
4599e142c41SMiklos Szeredi 	if (!realinode->i_op->fiemap)
4609e142c41SMiklos Szeredi 		return -EOPNOTSUPP;
4619e142c41SMiklos Szeredi 
4629e142c41SMiklos Szeredi 	old_cred = ovl_override_creds(inode->i_sb);
4639e142c41SMiklos Szeredi 	err = realinode->i_op->fiemap(realinode, fieinfo, start, len);
4649e142c41SMiklos Szeredi 	revert_creds(old_cred);
4659e142c41SMiklos Szeredi 
4669e142c41SMiklos Szeredi 	return err;
4679e142c41SMiklos Szeredi }
4689e142c41SMiklos Szeredi 
469e9be9d5eSMiklos Szeredi static const struct inode_operations ovl_file_inode_operations = {
470e9be9d5eSMiklos Szeredi 	.setattr	= ovl_setattr,
471e9be9d5eSMiklos Szeredi 	.permission	= ovl_permission,
472e9be9d5eSMiklos Szeredi 	.getattr	= ovl_getattr,
473e9be9d5eSMiklos Szeredi 	.listxattr	= ovl_listxattr,
47439a25b2bSVivek Goyal 	.get_acl	= ovl_get_acl,
475d719e8f2SMiklos Szeredi 	.update_time	= ovl_update_time,
4769e142c41SMiklos Szeredi 	.fiemap		= ovl_fiemap,
477e9be9d5eSMiklos Szeredi };
478e9be9d5eSMiklos Szeredi 
479e9be9d5eSMiklos Szeredi static const struct inode_operations ovl_symlink_inode_operations = {
480e9be9d5eSMiklos Szeredi 	.setattr	= ovl_setattr,
4816b255391SAl Viro 	.get_link	= ovl_get_link,
482e9be9d5eSMiklos Szeredi 	.getattr	= ovl_getattr,
483e9be9d5eSMiklos Szeredi 	.listxattr	= ovl_listxattr,
484d719e8f2SMiklos Szeredi 	.update_time	= ovl_update_time,
485e9be9d5eSMiklos Szeredi };
486e9be9d5eSMiklos Szeredi 
4879e142c41SMiklos Szeredi static const struct inode_operations ovl_special_inode_operations = {
4889e142c41SMiklos Szeredi 	.setattr	= ovl_setattr,
4899e142c41SMiklos Szeredi 	.permission	= ovl_permission,
4909e142c41SMiklos Szeredi 	.getattr	= ovl_getattr,
4919e142c41SMiklos Szeredi 	.listxattr	= ovl_listxattr,
4929e142c41SMiklos Szeredi 	.get_acl	= ovl_get_acl,
4939e142c41SMiklos Szeredi 	.update_time	= ovl_update_time,
4949e142c41SMiklos Szeredi };
4959e142c41SMiklos Szeredi 
496b1eaa950SAmir Goldstein /*
497b1eaa950SAmir Goldstein  * It is possible to stack overlayfs instance on top of another
498b1eaa950SAmir Goldstein  * overlayfs instance as lower layer. We need to annonate the
499b1eaa950SAmir Goldstein  * stackable i_mutex locks according to stack level of the super
500b1eaa950SAmir Goldstein  * block instance. An overlayfs instance can never be in stack
501b1eaa950SAmir Goldstein  * depth 0 (there is always a real fs below it).  An overlayfs
502b1eaa950SAmir Goldstein  * inode lock will use the lockdep annotaion ovl_i_mutex_key[depth].
503b1eaa950SAmir Goldstein  *
504b1eaa950SAmir Goldstein  * For example, here is a snip from /proc/lockdep_chains after
505b1eaa950SAmir Goldstein  * dir_iterate of nested overlayfs:
506b1eaa950SAmir Goldstein  *
507b1eaa950SAmir Goldstein  * [...] &ovl_i_mutex_dir_key[depth]   (stack_depth=2)
508b1eaa950SAmir Goldstein  * [...] &ovl_i_mutex_dir_key[depth]#2 (stack_depth=1)
509b1eaa950SAmir Goldstein  * [...] &type->i_mutex_dir_key        (stack_depth=0)
510b1eaa950SAmir Goldstein  */
511b1eaa950SAmir Goldstein #define OVL_MAX_NESTING FILESYSTEM_MAX_STACK_DEPTH
512b1eaa950SAmir Goldstein 
513b1eaa950SAmir Goldstein static inline void ovl_lockdep_annotate_inode_mutex_key(struct inode *inode)
514b1eaa950SAmir Goldstein {
515b1eaa950SAmir Goldstein #ifdef CONFIG_LOCKDEP
516b1eaa950SAmir Goldstein 	static struct lock_class_key ovl_i_mutex_key[OVL_MAX_NESTING];
517b1eaa950SAmir Goldstein 	static struct lock_class_key ovl_i_mutex_dir_key[OVL_MAX_NESTING];
5184eae06deSAmir Goldstein 	static struct lock_class_key ovl_i_lock_key[OVL_MAX_NESTING];
519b1eaa950SAmir Goldstein 
520b1eaa950SAmir Goldstein 	int depth = inode->i_sb->s_stack_depth - 1;
521b1eaa950SAmir Goldstein 
522b1eaa950SAmir Goldstein 	if (WARN_ON_ONCE(depth < 0 || depth >= OVL_MAX_NESTING))
523b1eaa950SAmir Goldstein 		depth = 0;
524b1eaa950SAmir Goldstein 
525b1eaa950SAmir Goldstein 	if (S_ISDIR(inode->i_mode))
526b1eaa950SAmir Goldstein 		lockdep_set_class(&inode->i_rwsem, &ovl_i_mutex_dir_key[depth]);
527b1eaa950SAmir Goldstein 	else
528b1eaa950SAmir Goldstein 		lockdep_set_class(&inode->i_rwsem, &ovl_i_mutex_key[depth]);
5294eae06deSAmir Goldstein 
5304eae06deSAmir Goldstein 	lockdep_set_class(&OVL_I(inode)->lock, &ovl_i_lock_key[depth]);
531b1eaa950SAmir Goldstein #endif
532b1eaa950SAmir Goldstein }
533b1eaa950SAmir Goldstein 
534695b46e7SAmir Goldstein static void ovl_fill_inode(struct inode *inode, umode_t mode, dev_t rdev,
53512574a9fSAmir Goldstein 			   unsigned long ino, int fsid)
536e9be9d5eSMiklos Szeredi {
53712574a9fSAmir Goldstein 	int xinobits = ovl_xino_bits(inode->i_sb);
53812574a9fSAmir Goldstein 
539695b46e7SAmir Goldstein 	/*
540695b46e7SAmir Goldstein 	 * When NFS export is enabled and d_ino is consistent with st_ino
54112574a9fSAmir Goldstein 	 * (samefs or i_ino has enough bits to encode layer), set the same
54212574a9fSAmir Goldstein 	 * value used for d_ino to i_ino, because nfsd readdirplus compares
54312574a9fSAmir Goldstein 	 * d_ino values to i_ino values of child entries. When called from
54412574a9fSAmir Goldstein 	 * ovl_new_inode(), ino arg is 0, so i_ino will be updated to real
545695b46e7SAmir Goldstein 	 * upper inode i_ino on ovl_inode_init() or ovl_inode_update().
546695b46e7SAmir Goldstein 	 */
54712574a9fSAmir Goldstein 	if (inode->i_sb->s_export_op &&
54812574a9fSAmir Goldstein 	    (ovl_same_sb(inode->i_sb) || xinobits)) {
549695b46e7SAmir Goldstein 		inode->i_ino = ino;
55012574a9fSAmir Goldstein 		if (xinobits && fsid && !(ino >> (64 - xinobits)))
55112574a9fSAmir Goldstein 			inode->i_ino |= (unsigned long)fsid << (64 - xinobits);
55212574a9fSAmir Goldstein 	} else {
553e9be9d5eSMiklos Szeredi 		inode->i_ino = get_next_ino();
55412574a9fSAmir Goldstein 	}
555e9be9d5eSMiklos Szeredi 	inode->i_mode = mode;
556d719e8f2SMiklos Szeredi 	inode->i_flags |= S_NOCMTIME;
5572a3a2a3fSMiklos Szeredi #ifdef CONFIG_FS_POSIX_ACL
5582a3a2a3fSMiklos Szeredi 	inode->i_acl = inode->i_default_acl = ACL_DONT_CACHE;
5592a3a2a3fSMiklos Szeredi #endif
560e9be9d5eSMiklos Szeredi 
561b1eaa950SAmir Goldstein 	ovl_lockdep_annotate_inode_mutex_key(inode);
562b1eaa950SAmir Goldstein 
563ca4c8a3aSMiklos Szeredi 	switch (mode & S_IFMT) {
564ca4c8a3aSMiklos Szeredi 	case S_IFREG:
565ca4c8a3aSMiklos Szeredi 		inode->i_op = &ovl_file_inode_operations;
566d1d04ef8SMiklos Szeredi 		inode->i_fop = &ovl_file_operations;
567ca4c8a3aSMiklos Szeredi 		break;
568ca4c8a3aSMiklos Szeredi 
569e9be9d5eSMiklos Szeredi 	case S_IFDIR:
570e9be9d5eSMiklos Szeredi 		inode->i_op = &ovl_dir_inode_operations;
571e9be9d5eSMiklos Szeredi 		inode->i_fop = &ovl_dir_operations;
572e9be9d5eSMiklos Szeredi 		break;
573e9be9d5eSMiklos Szeredi 
574e9be9d5eSMiklos Szeredi 	case S_IFLNK:
575e9be9d5eSMiklos Szeredi 		inode->i_op = &ovl_symlink_inode_operations;
576e9be9d5eSMiklos Szeredi 		break;
577e9be9d5eSMiklos Szeredi 
57851f7e52dSMiklos Szeredi 	default:
5799e142c41SMiklos Szeredi 		inode->i_op = &ovl_special_inode_operations;
580ca4c8a3aSMiklos Szeredi 		init_special_inode(inode, mode, rdev);
581e9be9d5eSMiklos Szeredi 		break;
58251f7e52dSMiklos Szeredi 	}
58351f7e52dSMiklos Szeredi }
584e9be9d5eSMiklos Szeredi 
5855f8415d6SAmir Goldstein /*
5865f8415d6SAmir Goldstein  * With inodes index enabled, an overlay inode nlink counts the union of upper
5875f8415d6SAmir Goldstein  * hardlinks and non-covered lower hardlinks. During the lifetime of a non-pure
5885f8415d6SAmir Goldstein  * upper inode, the following nlink modifying operations can happen:
5895f8415d6SAmir Goldstein  *
5905f8415d6SAmir Goldstein  * 1. Lower hardlink copy up
5915f8415d6SAmir Goldstein  * 2. Upper hardlink created, unlinked or renamed over
5925f8415d6SAmir Goldstein  * 3. Lower hardlink whiteout or renamed over
5935f8415d6SAmir Goldstein  *
5945f8415d6SAmir Goldstein  * For the first, copy up case, the union nlink does not change, whether the
5955f8415d6SAmir Goldstein  * operation succeeds or fails, but the upper inode nlink may change.
5965f8415d6SAmir Goldstein  * Therefore, before copy up, we store the union nlink value relative to the
5975f8415d6SAmir Goldstein  * lower inode nlink in the index inode xattr trusted.overlay.nlink.
5985f8415d6SAmir Goldstein  *
5995f8415d6SAmir Goldstein  * For the second, upper hardlink case, the union nlink should be incremented
6005f8415d6SAmir Goldstein  * or decremented IFF the operation succeeds, aligned with nlink change of the
6015f8415d6SAmir Goldstein  * upper inode. Therefore, before link/unlink/rename, we store the union nlink
6025f8415d6SAmir Goldstein  * value relative to the upper inode nlink in the index inode.
6035f8415d6SAmir Goldstein  *
6045f8415d6SAmir Goldstein  * For the last, lower cover up case, we simplify things by preceding the
6055f8415d6SAmir Goldstein  * whiteout or cover up with copy up. This makes sure that there is an index
6065f8415d6SAmir Goldstein  * upper inode where the nlink xattr can be stored before the copied up upper
6075f8415d6SAmir Goldstein  * entry is unlink.
6085f8415d6SAmir Goldstein  */
6095f8415d6SAmir Goldstein #define OVL_NLINK_ADD_UPPER	(1 << 0)
6105f8415d6SAmir Goldstein 
6115f8415d6SAmir Goldstein /*
6125f8415d6SAmir Goldstein  * On-disk format for indexed nlink:
6135f8415d6SAmir Goldstein  *
6145f8415d6SAmir Goldstein  * nlink relative to the upper inode - "U[+-]NUM"
6155f8415d6SAmir Goldstein  * nlink relative to the lower inode - "L[+-]NUM"
6165f8415d6SAmir Goldstein  */
6175f8415d6SAmir Goldstein 
6185f8415d6SAmir Goldstein static int ovl_set_nlink_common(struct dentry *dentry,
6195f8415d6SAmir Goldstein 				struct dentry *realdentry, const char *format)
6205f8415d6SAmir Goldstein {
6215f8415d6SAmir Goldstein 	struct inode *inode = d_inode(dentry);
6225f8415d6SAmir Goldstein 	struct inode *realinode = d_inode(realdentry);
6235f8415d6SAmir Goldstein 	char buf[13];
6245f8415d6SAmir Goldstein 	int len;
6255f8415d6SAmir Goldstein 
6265f8415d6SAmir Goldstein 	len = snprintf(buf, sizeof(buf), format,
6275f8415d6SAmir Goldstein 		       (int) (inode->i_nlink - realinode->i_nlink));
6285f8415d6SAmir Goldstein 
6296787341aSMiklos Szeredi 	if (WARN_ON(len >= sizeof(buf)))
6306787341aSMiklos Szeredi 		return -EIO;
6316787341aSMiklos Szeredi 
6325f8415d6SAmir Goldstein 	return ovl_do_setxattr(ovl_dentry_upper(dentry),
6335f8415d6SAmir Goldstein 			       OVL_XATTR_NLINK, buf, len, 0);
6345f8415d6SAmir Goldstein }
6355f8415d6SAmir Goldstein 
6365f8415d6SAmir Goldstein int ovl_set_nlink_upper(struct dentry *dentry)
6375f8415d6SAmir Goldstein {
6385f8415d6SAmir Goldstein 	return ovl_set_nlink_common(dentry, ovl_dentry_upper(dentry), "U%+i");
6395f8415d6SAmir Goldstein }
6405f8415d6SAmir Goldstein 
6415f8415d6SAmir Goldstein int ovl_set_nlink_lower(struct dentry *dentry)
6425f8415d6SAmir Goldstein {
6435f8415d6SAmir Goldstein 	return ovl_set_nlink_common(dentry, ovl_dentry_lower(dentry), "L%+i");
6445f8415d6SAmir Goldstein }
6455f8415d6SAmir Goldstein 
646caf70cb2SAmir Goldstein unsigned int ovl_get_nlink(struct dentry *lowerdentry,
6475f8415d6SAmir Goldstein 			   struct dentry *upperdentry,
6485f8415d6SAmir Goldstein 			   unsigned int fallback)
6495f8415d6SAmir Goldstein {
6505f8415d6SAmir Goldstein 	int nlink_diff;
6515f8415d6SAmir Goldstein 	int nlink;
6525f8415d6SAmir Goldstein 	char buf[13];
6535f8415d6SAmir Goldstein 	int err;
6545f8415d6SAmir Goldstein 
6555f8415d6SAmir Goldstein 	if (!lowerdentry || !upperdentry || d_inode(lowerdentry)->i_nlink == 1)
6565f8415d6SAmir Goldstein 		return fallback;
6575f8415d6SAmir Goldstein 
6585f8415d6SAmir Goldstein 	err = vfs_getxattr(upperdentry, OVL_XATTR_NLINK, &buf, sizeof(buf) - 1);
6595f8415d6SAmir Goldstein 	if (err < 0)
6605f8415d6SAmir Goldstein 		goto fail;
6615f8415d6SAmir Goldstein 
6625f8415d6SAmir Goldstein 	buf[err] = '\0';
6635f8415d6SAmir Goldstein 	if ((buf[0] != 'L' && buf[0] != 'U') ||
6645f8415d6SAmir Goldstein 	    (buf[1] != '+' && buf[1] != '-'))
6655f8415d6SAmir Goldstein 		goto fail;
6665f8415d6SAmir Goldstein 
6675f8415d6SAmir Goldstein 	err = kstrtoint(buf + 1, 10, &nlink_diff);
6685f8415d6SAmir Goldstein 	if (err < 0)
6695f8415d6SAmir Goldstein 		goto fail;
6705f8415d6SAmir Goldstein 
6715f8415d6SAmir Goldstein 	nlink = d_inode(buf[0] == 'L' ? lowerdentry : upperdentry)->i_nlink;
6725f8415d6SAmir Goldstein 	nlink += nlink_diff;
6735f8415d6SAmir Goldstein 
6745f8415d6SAmir Goldstein 	if (nlink <= 0)
6755f8415d6SAmir Goldstein 		goto fail;
6765f8415d6SAmir Goldstein 
6775f8415d6SAmir Goldstein 	return nlink;
6785f8415d6SAmir Goldstein 
6795f8415d6SAmir Goldstein fail:
6805f8415d6SAmir Goldstein 	pr_warn_ratelimited("overlayfs: failed to get index nlink (%pd2, err=%i)\n",
6815f8415d6SAmir Goldstein 			    upperdentry, err);
6825f8415d6SAmir Goldstein 	return fallback;
6835f8415d6SAmir Goldstein }
6845f8415d6SAmir Goldstein 
685ca4c8a3aSMiklos Szeredi struct inode *ovl_new_inode(struct super_block *sb, umode_t mode, dev_t rdev)
68651f7e52dSMiklos Szeredi {
68751f7e52dSMiklos Szeredi 	struct inode *inode;
68851f7e52dSMiklos Szeredi 
68951f7e52dSMiklos Szeredi 	inode = new_inode(sb);
69051f7e52dSMiklos Szeredi 	if (inode)
69112574a9fSAmir Goldstein 		ovl_fill_inode(inode, mode, rdev, 0, 0);
69251f7e52dSMiklos Szeredi 
69351f7e52dSMiklos Szeredi 	return inode;
69451f7e52dSMiklos Szeredi }
69551f7e52dSMiklos Szeredi 
69651f7e52dSMiklos Szeredi static int ovl_inode_test(struct inode *inode, void *data)
69751f7e52dSMiklos Szeredi {
69825b7713aSMiklos Szeredi 	return inode->i_private == data;
69951f7e52dSMiklos Szeredi }
70051f7e52dSMiklos Szeredi 
70151f7e52dSMiklos Szeredi static int ovl_inode_set(struct inode *inode, void *data)
70251f7e52dSMiklos Szeredi {
70325b7713aSMiklos Szeredi 	inode->i_private = data;
70451f7e52dSMiklos Szeredi 	return 0;
70551f7e52dSMiklos Szeredi }
70651f7e52dSMiklos Szeredi 
707b9ac5c27SMiklos Szeredi static bool ovl_verify_inode(struct inode *inode, struct dentry *lowerdentry,
7084b91c30aSAmir Goldstein 			     struct dentry *upperdentry, bool strict)
709b9ac5c27SMiklos Szeredi {
7104b91c30aSAmir Goldstein 	/*
7114b91c30aSAmir Goldstein 	 * For directories, @strict verify from lookup path performs consistency
7124b91c30aSAmir Goldstein 	 * checks, so NULL lower/upper in dentry must match NULL lower/upper in
7134b91c30aSAmir Goldstein 	 * inode. Non @strict verify from NFS handle decode path passes NULL for
7144b91c30aSAmir Goldstein 	 * 'unknown' lower/upper.
7154b91c30aSAmir Goldstein 	 */
7164b91c30aSAmir Goldstein 	if (S_ISDIR(inode->i_mode) && strict) {
71731747edaSAmir Goldstein 		/* Real lower dir moved to upper layer under us? */
71831747edaSAmir Goldstein 		if (!lowerdentry && ovl_inode_lower(inode))
71931747edaSAmir Goldstein 			return false;
72031747edaSAmir Goldstein 
72131747edaSAmir Goldstein 		/* Lookup of an uncovered redirect origin? */
72231747edaSAmir Goldstein 		if (!upperdentry && ovl_inode_upper(inode))
72331747edaSAmir Goldstein 			return false;
72431747edaSAmir Goldstein 	}
72531747edaSAmir Goldstein 
726939ae4efSAmir Goldstein 	/*
727939ae4efSAmir Goldstein 	 * Allow non-NULL lower inode in ovl_inode even if lowerdentry is NULL.
728939ae4efSAmir Goldstein 	 * This happens when finding a copied up overlay inode for a renamed
729939ae4efSAmir Goldstein 	 * or hardlinked overlay dentry and lower dentry cannot be followed
730939ae4efSAmir Goldstein 	 * by origin because lower fs does not support file handles.
731939ae4efSAmir Goldstein 	 */
732939ae4efSAmir Goldstein 	if (lowerdentry && ovl_inode_lower(inode) != d_inode(lowerdentry))
733b9ac5c27SMiklos Szeredi 		return false;
734b9ac5c27SMiklos Szeredi 
735b9ac5c27SMiklos Szeredi 	/*
736b9ac5c27SMiklos Szeredi 	 * Allow non-NULL __upperdentry in inode even if upperdentry is NULL.
737b9ac5c27SMiklos Szeredi 	 * This happens when finding a lower alias for a copied up hard link.
738b9ac5c27SMiklos Szeredi 	 */
739b9ac5c27SMiklos Szeredi 	if (upperdentry && ovl_inode_upper(inode) != d_inode(upperdentry))
740b9ac5c27SMiklos Szeredi 		return false;
741b9ac5c27SMiklos Szeredi 
742b9ac5c27SMiklos Szeredi 	return true;
743b9ac5c27SMiklos Szeredi }
744b9ac5c27SMiklos Szeredi 
7454b91c30aSAmir Goldstein struct inode *ovl_lookup_inode(struct super_block *sb, struct dentry *real,
7464b91c30aSAmir Goldstein 			       bool is_upper)
7479436a1a3SAmir Goldstein {
7484b91c30aSAmir Goldstein 	struct inode *inode, *key = d_inode(real);
7499436a1a3SAmir Goldstein 
7509436a1a3SAmir Goldstein 	inode = ilookup5(sb, (unsigned long) key, ovl_inode_test, key);
7519436a1a3SAmir Goldstein 	if (!inode)
7529436a1a3SAmir Goldstein 		return NULL;
7539436a1a3SAmir Goldstein 
7544b91c30aSAmir Goldstein 	if (!ovl_verify_inode(inode, is_upper ? NULL : real,
7554b91c30aSAmir Goldstein 			      is_upper ? real : NULL, false)) {
7569436a1a3SAmir Goldstein 		iput(inode);
7579436a1a3SAmir Goldstein 		return ERR_PTR(-ESTALE);
7589436a1a3SAmir Goldstein 	}
7599436a1a3SAmir Goldstein 
7609436a1a3SAmir Goldstein 	return inode;
7619436a1a3SAmir Goldstein }
7629436a1a3SAmir Goldstein 
763764baba8SAmir Goldstein /*
764764baba8SAmir Goldstein  * Does overlay inode need to be hashed by lower inode?
765764baba8SAmir Goldstein  */
766764baba8SAmir Goldstein static bool ovl_hash_bylower(struct super_block *sb, struct dentry *upper,
767764baba8SAmir Goldstein 			     struct dentry *lower, struct dentry *index)
768764baba8SAmir Goldstein {
769764baba8SAmir Goldstein 	struct ovl_fs *ofs = sb->s_fs_info;
770764baba8SAmir Goldstein 
771764baba8SAmir Goldstein 	/* No, if pure upper */
772764baba8SAmir Goldstein 	if (!lower)
773764baba8SAmir Goldstein 		return false;
774764baba8SAmir Goldstein 
775764baba8SAmir Goldstein 	/* Yes, if already indexed */
776764baba8SAmir Goldstein 	if (index)
777764baba8SAmir Goldstein 		return true;
778764baba8SAmir Goldstein 
779764baba8SAmir Goldstein 	/* Yes, if won't be copied up */
780764baba8SAmir Goldstein 	if (!ofs->upper_mnt)
781764baba8SAmir Goldstein 		return true;
782764baba8SAmir Goldstein 
783764baba8SAmir Goldstein 	/* No, if lower hardlink is or will be broken on copy up */
784764baba8SAmir Goldstein 	if ((upper || !ovl_indexdir(sb)) &&
785764baba8SAmir Goldstein 	    !d_is_dir(lower) && d_inode(lower)->i_nlink > 1)
786764baba8SAmir Goldstein 		return false;
787764baba8SAmir Goldstein 
788764baba8SAmir Goldstein 	/* No, if non-indexed upper with NFS export */
789764baba8SAmir Goldstein 	if (sb->s_export_op && upper)
790764baba8SAmir Goldstein 		return false;
791764baba8SAmir Goldstein 
792764baba8SAmir Goldstein 	/* Otherwise, hash by lower inode for fsnotify */
793764baba8SAmir Goldstein 	return true;
794764baba8SAmir Goldstein }
795764baba8SAmir Goldstein 
79601b39dccSAmir Goldstein static struct inode *ovl_iget5(struct super_block *sb, struct inode *newinode,
79701b39dccSAmir Goldstein 			       struct inode *key)
79801b39dccSAmir Goldstein {
79901b39dccSAmir Goldstein 	return newinode ? inode_insert5(newinode, (unsigned long) key,
80001b39dccSAmir Goldstein 					 ovl_inode_test, ovl_inode_set, key) :
80101b39dccSAmir Goldstein 			  iget5_locked(sb, (unsigned long) key,
80201b39dccSAmir Goldstein 				       ovl_inode_test, ovl_inode_set, key);
80301b39dccSAmir Goldstein }
80401b39dccSAmir Goldstein 
805ac6a52ebSVivek Goyal struct inode *ovl_get_inode(struct super_block *sb,
806ac6a52ebSVivek Goyal 			    struct ovl_inode_params *oip)
80751f7e52dSMiklos Szeredi {
808ac6a52ebSVivek Goyal 	struct dentry *upperdentry = oip->upperdentry;
809ac6a52ebSVivek Goyal 	struct ovl_path *lowerpath = oip->lowerpath;
81009d8b586SMiklos Szeredi 	struct inode *realinode = upperdentry ? d_inode(upperdentry) : NULL;
81151f7e52dSMiklos Szeredi 	struct inode *inode;
81212574a9fSAmir Goldstein 	struct dentry *lowerdentry = lowerpath ? lowerpath->dentry : NULL;
813ac6a52ebSVivek Goyal 	bool bylower = ovl_hash_bylower(sb, upperdentry, lowerdentry,
814ac6a52ebSVivek Goyal 					oip->index);
815ac6a52ebSVivek Goyal 	int fsid = bylower ? oip->lowerpath->layer->fsid : 0;
8169d3dfea3SVivek Goyal 	bool is_dir, metacopy = false;
817695b46e7SAmir Goldstein 	unsigned long ino = 0;
818027065b7SVivek Goyal 	int err = -ENOMEM;
8196eaf0111SAmir Goldstein 
82009d8b586SMiklos Szeredi 	if (!realinode)
82109d8b586SMiklos Szeredi 		realinode = d_inode(lowerdentry);
82209d8b586SMiklos Szeredi 
8236eaf0111SAmir Goldstein 	/*
824764baba8SAmir Goldstein 	 * Copy up origin (lower) may exist for non-indexed upper, but we must
825764baba8SAmir Goldstein 	 * not use lower as hash key if this is a broken hardlink.
8266eaf0111SAmir Goldstein 	 */
82731747edaSAmir Goldstein 	is_dir = S_ISDIR(realinode->i_mode);
828764baba8SAmir Goldstein 	if (upperdentry || bylower) {
829764baba8SAmir Goldstein 		struct inode *key = d_inode(bylower ? lowerdentry :
830764baba8SAmir Goldstein 						      upperdentry);
83131747edaSAmir Goldstein 		unsigned int nlink = is_dir ? 1 : realinode->i_nlink;
832b9ac5c27SMiklos Szeredi 
83301b39dccSAmir Goldstein 		inode = ovl_iget5(sb, oip->newinode, key);
83409d8b586SMiklos Szeredi 		if (!inode)
835027065b7SVivek Goyal 			goto out_err;
83609d8b586SMiklos Szeredi 		if (!(inode->i_state & I_NEW)) {
837b9ac5c27SMiklos Szeredi 			/*
838b9ac5c27SMiklos Szeredi 			 * Verify that the underlying files stored in the inode
839b9ac5c27SMiklos Szeredi 			 * match those in the dentry.
840b9ac5c27SMiklos Szeredi 			 */
8414b91c30aSAmir Goldstein 			if (!ovl_verify_inode(inode, lowerdentry, upperdentry,
8424b91c30aSAmir Goldstein 					      true)) {
843b9ac5c27SMiklos Szeredi 				iput(inode);
844027065b7SVivek Goyal 				err = -ESTALE;
845027065b7SVivek Goyal 				goto out_err;
846b9ac5c27SMiklos Szeredi 			}
847b9ac5c27SMiklos Szeredi 
84809d8b586SMiklos Szeredi 			dput(upperdentry);
8499cec54c8SVivek Goyal 			kfree(oip->redirect);
85009d8b586SMiklos Szeredi 			goto out;
85109d8b586SMiklos Szeredi 		}
852e9be9d5eSMiklos Szeredi 
85331747edaSAmir Goldstein 		/* Recalculate nlink for non-dir due to indexing */
85431747edaSAmir Goldstein 		if (!is_dir)
85531747edaSAmir Goldstein 			nlink = ovl_get_nlink(lowerdentry, upperdentry, nlink);
8565f8415d6SAmir Goldstein 		set_nlink(inode, nlink);
857695b46e7SAmir Goldstein 		ino = key->i_ino;
858e6d2ebddSMiklos Szeredi 	} else {
859764baba8SAmir Goldstein 		/* Lower hardlink that will be broken on copy up */
8600aceb53eSAmir Goldstein 		inode = new_inode(sb);
861027065b7SVivek Goyal 		if (!inode) {
862027065b7SVivek Goyal 			err = -ENOMEM;
863027065b7SVivek Goyal 			goto out_err;
864027065b7SVivek Goyal 		}
865e6d2ebddSMiklos Szeredi 	}
86612574a9fSAmir Goldstein 	ovl_fill_inode(inode, realinode->i_mode, realinode->i_rdev, ino, fsid);
8672664bd08SVivek Goyal 	ovl_inode_init(inode, upperdentry, lowerdentry, oip->lowerdata);
86813c72075SMiklos Szeredi 
86913c72075SMiklos Szeredi 	if (upperdentry && ovl_is_impuredir(upperdentry))
87013c72075SMiklos Szeredi 		ovl_set_flag(OVL_IMPURE, inode);
87113c72075SMiklos Szeredi 
872ac6a52ebSVivek Goyal 	if (oip->index)
8730471a9cdSVivek Goyal 		ovl_set_flag(OVL_INDEX, inode);
8740471a9cdSVivek Goyal 
8759d3dfea3SVivek Goyal 	if (upperdentry) {
8769d3dfea3SVivek Goyal 		err = ovl_check_metacopy_xattr(upperdentry);
8779d3dfea3SVivek Goyal 		if (err < 0)
8789d3dfea3SVivek Goyal 			goto out_err;
8799d3dfea3SVivek Goyal 		metacopy = err;
8809d3dfea3SVivek Goyal 		if (!metacopy)
8819d3dfea3SVivek Goyal 			ovl_set_flag(OVL_UPPERDATA, inode);
8829d3dfea3SVivek Goyal 	}
8839d3dfea3SVivek Goyal 
8849cec54c8SVivek Goyal 	OVL_I(inode)->redirect = oip->redirect;
8859cec54c8SVivek Goyal 
886*a00c2d59SVivek Goyal 	if (bylower)
887*a00c2d59SVivek Goyal 		ovl_set_flag(OVL_CONST_INO, inode);
888*a00c2d59SVivek Goyal 
889b79e05aaSAmir Goldstein 	/* Check for non-merge dir that may have whiteouts */
89031747edaSAmir Goldstein 	if (is_dir) {
891ac6a52ebSVivek Goyal 		if (((upperdentry && lowerdentry) || oip->numlower > 1) ||
892b79e05aaSAmir Goldstein 		    ovl_check_origin_xattr(upperdentry ?: lowerdentry)) {
893b79e05aaSAmir Goldstein 			ovl_set_flag(OVL_WHITEOUTS, inode);
894b79e05aaSAmir Goldstein 		}
895b79e05aaSAmir Goldstein 	}
896b79e05aaSAmir Goldstein 
897e6d2ebddSMiklos Szeredi 	if (inode->i_state & I_NEW)
898e6d2ebddSMiklos Szeredi 		unlock_new_inode(inode);
899e6d2ebddSMiklos Szeredi out:
900e9be9d5eSMiklos Szeredi 	return inode;
901b9ac5c27SMiklos Szeredi 
902027065b7SVivek Goyal out_err:
903027065b7SVivek Goyal 	inode = ERR_PTR(err);
904b9ac5c27SMiklos Szeredi 	goto out;
905e9be9d5eSMiklos Szeredi }
906