xref: /openbmc/linux/fs/overlayfs/inode.c (revision da309e8c055de8d6461ae01764a3352c77878735)
1e9be9d5eSMiklos Szeredi /*
2e9be9d5eSMiklos Szeredi  *
3e9be9d5eSMiklos Szeredi  * Copyright (C) 2011 Novell Inc.
4e9be9d5eSMiklos Szeredi  *
5e9be9d5eSMiklos Szeredi  * This program is free software; you can redistribute it and/or modify it
6e9be9d5eSMiklos Szeredi  * under the terms of the GNU General Public License version 2 as published by
7e9be9d5eSMiklos Szeredi  * the Free Software Foundation.
8e9be9d5eSMiklos Szeredi  */
9e9be9d5eSMiklos Szeredi 
10e9be9d5eSMiklos Szeredi #include <linux/fs.h>
11e9be9d5eSMiklos Szeredi #include <linux/slab.h>
125b825c3aSIngo Molnar #include <linux/cred.h>
13e9be9d5eSMiklos Szeredi #include <linux/xattr.h>
145201dc44SMiklos Szeredi #include <linux/posix_acl.h>
155f8415d6SAmir Goldstein #include <linux/ratelimit.h>
16e9be9d5eSMiklos Szeredi #include "overlayfs.h"
17e9be9d5eSMiklos Szeredi 
18ba1e563cSChandan Rajendra 
19e9be9d5eSMiklos Szeredi int ovl_setattr(struct dentry *dentry, struct iattr *attr)
20e9be9d5eSMiklos Szeredi {
21e9be9d5eSMiklos Szeredi 	int err;
22e9be9d5eSMiklos Szeredi 	struct dentry *upperdentry;
231175b6b8SVivek Goyal 	const struct cred *old_cred;
24e9be9d5eSMiklos Szeredi 
25cf9a6784SMiklos Szeredi 	/*
26cf9a6784SMiklos Szeredi 	 * Check for permissions before trying to copy-up.  This is redundant
27cf9a6784SMiklos Szeredi 	 * since it will be rechecked later by ->setattr() on upper dentry.  But
28cf9a6784SMiklos Szeredi 	 * without this, copy-up can be triggered by just about anybody.
29cf9a6784SMiklos Szeredi 	 *
30cf9a6784SMiklos Szeredi 	 * We don't initialize inode->size, which just means that
31cf9a6784SMiklos Szeredi 	 * inode_newsize_ok() will always check against MAX_LFS_FILESIZE and not
32cf9a6784SMiklos Szeredi 	 * check for a swapfile (which this won't be anyway).
33cf9a6784SMiklos Szeredi 	 */
3431051c85SJan Kara 	err = setattr_prepare(dentry, attr);
35cf9a6784SMiklos Szeredi 	if (err)
36cf9a6784SMiklos Szeredi 		return err;
37cf9a6784SMiklos Szeredi 
38e9be9d5eSMiklos Szeredi 	err = ovl_want_write(dentry);
39e9be9d5eSMiklos Szeredi 	if (err)
40e9be9d5eSMiklos Szeredi 		goto out;
41e9be9d5eSMiklos Szeredi 
42acff81ecSMiklos Szeredi 	err = ovl_copy_up(dentry);
43acff81ecSMiklos Szeredi 	if (!err) {
44e9be9d5eSMiklos Szeredi 		upperdentry = ovl_dentry_upper(dentry);
45acff81ecSMiklos Szeredi 
46b99c2d91SMiklos Szeredi 		if (attr->ia_valid & (ATTR_KILL_SUID|ATTR_KILL_SGID))
47b99c2d91SMiklos Szeredi 			attr->ia_valid &= ~ATTR_MODE;
48b99c2d91SMiklos Szeredi 
495955102cSAl Viro 		inode_lock(upperdentry->d_inode);
501175b6b8SVivek Goyal 		old_cred = ovl_override_creds(dentry->d_sb);
51e9be9d5eSMiklos Szeredi 		err = notify_change(upperdentry, attr, NULL);
521175b6b8SVivek Goyal 		revert_creds(old_cred);
53b81de061SKonstantin Khlebnikov 		if (!err)
54b81de061SKonstantin Khlebnikov 			ovl_copyattr(upperdentry->d_inode, dentry->d_inode);
555955102cSAl Viro 		inode_unlock(upperdentry->d_inode);
56e9be9d5eSMiklos Szeredi 	}
57e9be9d5eSMiklos Szeredi 	ovl_drop_write(dentry);
58e9be9d5eSMiklos Szeredi out:
59e9be9d5eSMiklos Szeredi 	return err;
60e9be9d5eSMiklos Szeredi }
61e9be9d5eSMiklos Szeredi 
62*da309e8cSAmir Goldstein static int ovl_map_dev_ino(struct dentry *dentry, struct kstat *stat,
63*da309e8cSAmir Goldstein 			   struct ovl_layer *lower_layer)
64*da309e8cSAmir Goldstein {
65*da309e8cSAmir Goldstein 	bool samefs = ovl_same_sb(dentry->d_sb);
66*da309e8cSAmir Goldstein 
67*da309e8cSAmir Goldstein 	if (samefs) {
68*da309e8cSAmir Goldstein 		/*
69*da309e8cSAmir Goldstein 		 * When all layers are on the same fs, all real inode
70*da309e8cSAmir Goldstein 		 * number are unique, so we use the overlay st_dev,
71*da309e8cSAmir Goldstein 		 * which is friendly to du -x.
72*da309e8cSAmir Goldstein 		 */
73*da309e8cSAmir Goldstein 		stat->dev = dentry->d_sb->s_dev;
74*da309e8cSAmir Goldstein 	} else if (S_ISDIR(dentry->d_inode->i_mode)) {
75*da309e8cSAmir Goldstein 		/*
76*da309e8cSAmir Goldstein 		 * Always use the overlay st_dev for directories, so 'find
77*da309e8cSAmir Goldstein 		 * -xdev' will scan the entire overlay mount and won't cross the
78*da309e8cSAmir Goldstein 		 * overlay mount boundaries.
79*da309e8cSAmir Goldstein 		 *
80*da309e8cSAmir Goldstein 		 * If not all layers are on the same fs the pair {real st_ino;
81*da309e8cSAmir Goldstein 		 * overlay st_dev} is not unique, so use the non persistent
82*da309e8cSAmir Goldstein 		 * overlay st_ino for directories.
83*da309e8cSAmir Goldstein 		 */
84*da309e8cSAmir Goldstein 		stat->dev = dentry->d_sb->s_dev;
85*da309e8cSAmir Goldstein 		stat->ino = dentry->d_inode->i_ino;
86*da309e8cSAmir Goldstein 	} else if (lower_layer) {
87*da309e8cSAmir Goldstein 		/*
88*da309e8cSAmir Goldstein 		 * For non-samefs setup, if we cannot map all layers st_ino
89*da309e8cSAmir Goldstein 		 * to a unified address space, we need to make sure that st_dev
90*da309e8cSAmir Goldstein 		 * is unique per layer. Upper layer uses real st_dev and lower
91*da309e8cSAmir Goldstein 		 * layers use the unique anonymous bdev.
92*da309e8cSAmir Goldstein 		 */
93*da309e8cSAmir Goldstein 		stat->dev = lower_layer->pseudo_dev;
94*da309e8cSAmir Goldstein 	}
95*da309e8cSAmir Goldstein 
96*da309e8cSAmir Goldstein 	return 0;
97*da309e8cSAmir Goldstein }
98*da309e8cSAmir Goldstein 
995b712091SMiklos Szeredi int ovl_getattr(const struct path *path, struct kstat *stat,
100a528d35eSDavid Howells 		u32 request_mask, unsigned int flags)
101e9be9d5eSMiklos Szeredi {
102a528d35eSDavid Howells 	struct dentry *dentry = path->dentry;
10372b608f0SAmir Goldstein 	enum ovl_path_type type;
104e9be9d5eSMiklos Szeredi 	struct path realpath;
1051175b6b8SVivek Goyal 	const struct cred *old_cred;
1065b712091SMiklos Szeredi 	bool is_dir = S_ISDIR(dentry->d_inode->i_mode);
107a0c5ad30SAmir Goldstein 	bool samefs = ovl_same_sb(dentry->d_sb);
108*da309e8cSAmir Goldstein 	struct ovl_layer *lower_layer = NULL;
1091175b6b8SVivek Goyal 	int err;
110e9be9d5eSMiklos Szeredi 
11172b608f0SAmir Goldstein 	type = ovl_path_real(dentry, &realpath);
1121175b6b8SVivek Goyal 	old_cred = ovl_override_creds(dentry->d_sb);
113a528d35eSDavid Howells 	err = vfs_getattr(&realpath, stat, request_mask, flags);
11472b608f0SAmir Goldstein 	if (err)
11572b608f0SAmir Goldstein 		goto out;
11672b608f0SAmir Goldstein 
11772b608f0SAmir Goldstein 	/*
118*da309e8cSAmir Goldstein 	 * For non-dir or same fs, we use st_ino of the copy up origin.
119*da309e8cSAmir Goldstein 	 * This guaranties constant st_dev/st_ino across copy up.
12072b608f0SAmir Goldstein 	 *
121*da309e8cSAmir Goldstein 	 * If lower filesystem supports NFS file handles, this also guaranties
12272b608f0SAmir Goldstein 	 * persistent st_ino across mount cycle.
12372b608f0SAmir Goldstein 	 */
124a0c5ad30SAmir Goldstein 	if (!is_dir || samefs) {
125*da309e8cSAmir Goldstein 		if (!OVL_TYPE_UPPER(type)) {
126*da309e8cSAmir Goldstein 			lower_layer = ovl_layer_lower(dentry);
127*da309e8cSAmir Goldstein 		} else if (OVL_TYPE_ORIGIN(type)) {
12872b608f0SAmir Goldstein 			struct kstat lowerstat;
1295b712091SMiklos Szeredi 			u32 lowermask = STATX_INO | (!is_dir ? STATX_NLINK : 0);
13072b608f0SAmir Goldstein 
13172b608f0SAmir Goldstein 			ovl_path_lower(dentry, &realpath);
13272b608f0SAmir Goldstein 			err = vfs_getattr(&realpath, &lowerstat,
1335b712091SMiklos Szeredi 					  lowermask, flags);
13472b608f0SAmir Goldstein 			if (err)
13572b608f0SAmir Goldstein 				goto out;
13672b608f0SAmir Goldstein 
13772b608f0SAmir Goldstein 			/*
138359f392cSAmir Goldstein 			 * Lower hardlinks may be broken on copy up to different
13972b608f0SAmir Goldstein 			 * upper files, so we cannot use the lower origin st_ino
14072b608f0SAmir Goldstein 			 * for those different files, even for the same fs case.
14186eaa130SAmir Goldstein 			 *
14286eaa130SAmir Goldstein 			 * Similarly, several redirected dirs can point to the
14386eaa130SAmir Goldstein 			 * same dir on a lower layer. With the "verify_lower"
14486eaa130SAmir Goldstein 			 * feature, we do not use the lower origin st_ino, if
14586eaa130SAmir Goldstein 			 * we haven't verified that this redirect is unique.
14686eaa130SAmir Goldstein 			 *
147359f392cSAmir Goldstein 			 * With inodes index enabled, it is safe to use st_ino
14886eaa130SAmir Goldstein 			 * of an indexed origin. The index validates that the
14986eaa130SAmir Goldstein 			 * upper hardlink is not broken and that a redirected
15086eaa130SAmir Goldstein 			 * dir is the only redirect to that origin.
15172b608f0SAmir Goldstein 			 */
15286eaa130SAmir Goldstein 			if (ovl_test_flag(OVL_INDEX, d_inode(dentry)) ||
15386eaa130SAmir Goldstein 			    (!ovl_verify_lower(dentry->d_sb) &&
1549f99e50dSAmir Goldstein 			     (is_dir || lowerstat.nlink == 1))) {
15572b608f0SAmir Goldstein 				stat->ino = lowerstat.ino;
156*da309e8cSAmir Goldstein 				lower_layer = ovl_layer_lower(dentry);
15772b608f0SAmir Goldstein 			}
1589f99e50dSAmir Goldstein 		}
159a0c5ad30SAmir Goldstein 	}
160*da309e8cSAmir Goldstein 
161*da309e8cSAmir Goldstein 	err = ovl_map_dev_ino(dentry, stat, lower_layer);
162*da309e8cSAmir Goldstein 	if (err)
163*da309e8cSAmir Goldstein 		goto out;
1645b712091SMiklos Szeredi 
1655b712091SMiklos Szeredi 	/*
1665b712091SMiklos Szeredi 	 * It's probably not worth it to count subdirs to get the
1675b712091SMiklos Szeredi 	 * correct link count.  nlink=1 seems to pacify 'find' and
1685b712091SMiklos Szeredi 	 * other utilities.
1695b712091SMiklos Szeredi 	 */
1705b712091SMiklos Szeredi 	if (is_dir && OVL_TYPE_MERGE(type))
1715b712091SMiklos Szeredi 		stat->nlink = 1;
1725b712091SMiklos Szeredi 
1735f8415d6SAmir Goldstein 	/*
1745f8415d6SAmir Goldstein 	 * Return the overlay inode nlinks for indexed upper inodes.
1755f8415d6SAmir Goldstein 	 * Overlay inode nlink counts the union of the upper hardlinks
1765f8415d6SAmir Goldstein 	 * and non-covered lower hardlinks. It does not include the upper
1775f8415d6SAmir Goldstein 	 * index hardlink.
1785f8415d6SAmir Goldstein 	 */
1795f8415d6SAmir Goldstein 	if (!is_dir && ovl_test_flag(OVL_INDEX, d_inode(dentry)))
1805f8415d6SAmir Goldstein 		stat->nlink = dentry->d_inode->i_nlink;
1815f8415d6SAmir Goldstein 
18272b608f0SAmir Goldstein out:
1831175b6b8SVivek Goyal 	revert_creds(old_cred);
18472b608f0SAmir Goldstein 
1851175b6b8SVivek Goyal 	return err;
186e9be9d5eSMiklos Szeredi }
187e9be9d5eSMiklos Szeredi 
188e9be9d5eSMiklos Szeredi int ovl_permission(struct inode *inode, int mask)
189e9be9d5eSMiklos Szeredi {
19009d8b586SMiklos Szeredi 	struct inode *upperinode = ovl_inode_upper(inode);
19109d8b586SMiklos Szeredi 	struct inode *realinode = upperinode ?: ovl_inode_lower(inode);
192c0ca3d70SVivek Goyal 	const struct cred *old_cred;
193e9be9d5eSMiklos Szeredi 	int err;
194e9be9d5eSMiklos Szeredi 
195e9be9d5eSMiklos Szeredi 	/* Careful in RCU walk mode */
196e9be9d5eSMiklos Szeredi 	if (!realinode) {
197e9be9d5eSMiklos Szeredi 		WARN_ON(!(mask & MAY_NOT_BLOCK));
198a999d7e1SMiklos Szeredi 		return -ECHILD;
199e9be9d5eSMiklos Szeredi 	}
200e9be9d5eSMiklos Szeredi 
201c0ca3d70SVivek Goyal 	/*
202c0ca3d70SVivek Goyal 	 * Check overlay inode with the creds of task and underlying inode
203c0ca3d70SVivek Goyal 	 * with creds of mounter
204c0ca3d70SVivek Goyal 	 */
205c0ca3d70SVivek Goyal 	err = generic_permission(inode, mask);
206c0ca3d70SVivek Goyal 	if (err)
207c0ca3d70SVivek Goyal 		return err;
208c0ca3d70SVivek Goyal 
209c0ca3d70SVivek Goyal 	old_cred = ovl_override_creds(inode->i_sb);
21009d8b586SMiklos Szeredi 	if (!upperinode &&
21109d8b586SMiklos Szeredi 	    !special_file(realinode->i_mode) && mask & MAY_WRITE) {
212754f8cb7SVivek Goyal 		mask &= ~(MAY_WRITE | MAY_APPEND);
213500cac3cSVivek Goyal 		/* Make sure mounter can read file for copy up later */
214500cac3cSVivek Goyal 		mask |= MAY_READ;
215500cac3cSVivek Goyal 	}
2169c630ebeSMiklos Szeredi 	err = inode_permission(realinode, mask);
217c0ca3d70SVivek Goyal 	revert_creds(old_cred);
218c0ca3d70SVivek Goyal 
219c0ca3d70SVivek Goyal 	return err;
220e9be9d5eSMiklos Szeredi }
221e9be9d5eSMiklos Szeredi 
2226b255391SAl Viro static const char *ovl_get_link(struct dentry *dentry,
223fceef393SAl Viro 				struct inode *inode,
224fceef393SAl Viro 				struct delayed_call *done)
225e9be9d5eSMiklos Szeredi {
2261175b6b8SVivek Goyal 	const struct cred *old_cred;
2271175b6b8SVivek Goyal 	const char *p;
228e9be9d5eSMiklos Szeredi 
2296b255391SAl Viro 	if (!dentry)
2306b255391SAl Viro 		return ERR_PTR(-ECHILD);
2316b255391SAl Viro 
2321175b6b8SVivek Goyal 	old_cred = ovl_override_creds(dentry->d_sb);
2337764235bSMiklos Szeredi 	p = vfs_get_link(ovl_dentry_real(dentry), done);
2341175b6b8SVivek Goyal 	revert_creds(old_cred);
2351175b6b8SVivek Goyal 	return p;
236e9be9d5eSMiklos Szeredi }
237e9be9d5eSMiklos Szeredi 
2380956254aSMiklos Szeredi bool ovl_is_private_xattr(const char *name)
239e9be9d5eSMiklos Szeredi {
240fe2b7595SAndreas Gruenbacher 	return strncmp(name, OVL_XATTR_PREFIX,
241fe2b7595SAndreas Gruenbacher 		       sizeof(OVL_XATTR_PREFIX) - 1) == 0;
242e9be9d5eSMiklos Szeredi }
243e9be9d5eSMiklos Szeredi 
2441d88f183SMiklos Szeredi int ovl_xattr_set(struct dentry *dentry, struct inode *inode, const char *name,
2451d88f183SMiklos Szeredi 		  const void *value, size_t size, int flags)
246e9be9d5eSMiklos Szeredi {
247e9be9d5eSMiklos Szeredi 	int err;
2481d88f183SMiklos Szeredi 	struct dentry *upperdentry = ovl_i_dentry_upper(inode);
2491d88f183SMiklos Szeredi 	struct dentry *realdentry = upperdentry ?: ovl_dentry_lower(dentry);
2501175b6b8SVivek Goyal 	const struct cred *old_cred;
251e9be9d5eSMiklos Szeredi 
252e9be9d5eSMiklos Szeredi 	err = ovl_want_write(dentry);
253e9be9d5eSMiklos Szeredi 	if (err)
254e9be9d5eSMiklos Szeredi 		goto out;
255e9be9d5eSMiklos Szeredi 
2561d88f183SMiklos Szeredi 	if (!value && !upperdentry) {
2571d88f183SMiklos Szeredi 		err = vfs_getxattr(realdentry, name, NULL, 0);
2580e585cccSAndreas Gruenbacher 		if (err < 0)
2590e585cccSAndreas Gruenbacher 			goto out_drop_write;
2600e585cccSAndreas Gruenbacher 	}
2610e585cccSAndreas Gruenbacher 
2621d88f183SMiklos Szeredi 	if (!upperdentry) {
263e9be9d5eSMiklos Szeredi 		err = ovl_copy_up(dentry);
264e9be9d5eSMiklos Szeredi 		if (err)
265e9be9d5eSMiklos Szeredi 			goto out_drop_write;
266e9be9d5eSMiklos Szeredi 
2671d88f183SMiklos Szeredi 		realdentry = ovl_dentry_upper(dentry);
2681d88f183SMiklos Szeredi 	}
2690e585cccSAndreas Gruenbacher 
2701175b6b8SVivek Goyal 	old_cred = ovl_override_creds(dentry->d_sb);
2710e585cccSAndreas Gruenbacher 	if (value)
2721d88f183SMiklos Szeredi 		err = vfs_setxattr(realdentry, name, value, size, flags);
2730e585cccSAndreas Gruenbacher 	else {
2740e585cccSAndreas Gruenbacher 		WARN_ON(flags != XATTR_REPLACE);
2751d88f183SMiklos Szeredi 		err = vfs_removexattr(realdentry, name);
2760e585cccSAndreas Gruenbacher 	}
2771175b6b8SVivek Goyal 	revert_creds(old_cred);
278e9be9d5eSMiklos Szeredi 
279e9be9d5eSMiklos Szeredi out_drop_write:
280e9be9d5eSMiklos Szeredi 	ovl_drop_write(dentry);
281e9be9d5eSMiklos Szeredi out:
282e9be9d5eSMiklos Szeredi 	return err;
283e9be9d5eSMiklos Szeredi }
284e9be9d5eSMiklos Szeredi 
2851d88f183SMiklos Szeredi int ovl_xattr_get(struct dentry *dentry, struct inode *inode, const char *name,
2860eb45fc3SAndreas Gruenbacher 		  void *value, size_t size)
287e9be9d5eSMiklos Szeredi {
2881175b6b8SVivek Goyal 	ssize_t res;
2891175b6b8SVivek Goyal 	const struct cred *old_cred;
2901d88f183SMiklos Szeredi 	struct dentry *realdentry =
2911d88f183SMiklos Szeredi 		ovl_i_dentry_upper(inode) ?: ovl_dentry_lower(dentry);
29252148463SMiklos Szeredi 
2931175b6b8SVivek Goyal 	old_cred = ovl_override_creds(dentry->d_sb);
2941175b6b8SVivek Goyal 	res = vfs_getxattr(realdentry, name, value, size);
2951175b6b8SVivek Goyal 	revert_creds(old_cred);
2961175b6b8SVivek Goyal 	return res;
297e9be9d5eSMiklos Szeredi }
298e9be9d5eSMiklos Szeredi 
299a082c6f6SMiklos Szeredi static bool ovl_can_list(const char *s)
300a082c6f6SMiklos Szeredi {
301a082c6f6SMiklos Szeredi 	/* List all non-trusted xatts */
302a082c6f6SMiklos Szeredi 	if (strncmp(s, XATTR_TRUSTED_PREFIX, XATTR_TRUSTED_PREFIX_LEN) != 0)
303a082c6f6SMiklos Szeredi 		return true;
304a082c6f6SMiklos Szeredi 
305a082c6f6SMiklos Szeredi 	/* Never list trusted.overlay, list other trusted for superuser only */
306a082c6f6SMiklos Szeredi 	return !ovl_is_private_xattr(s) && capable(CAP_SYS_ADMIN);
307a082c6f6SMiklos Szeredi }
308a082c6f6SMiklos Szeredi 
309e9be9d5eSMiklos Szeredi ssize_t ovl_listxattr(struct dentry *dentry, char *list, size_t size)
310e9be9d5eSMiklos Szeredi {
311b581755bSMiklos Szeredi 	struct dentry *realdentry = ovl_dentry_real(dentry);
312e9be9d5eSMiklos Szeredi 	ssize_t res;
3137cb35119SMiklos Szeredi 	size_t len;
3147cb35119SMiklos Szeredi 	char *s;
3151175b6b8SVivek Goyal 	const struct cred *old_cred;
316e9be9d5eSMiklos Szeredi 
3171175b6b8SVivek Goyal 	old_cred = ovl_override_creds(dentry->d_sb);
318b581755bSMiklos Szeredi 	res = vfs_listxattr(realdentry, list, size);
3191175b6b8SVivek Goyal 	revert_creds(old_cred);
320e9be9d5eSMiklos Szeredi 	if (res <= 0 || size == 0)
321e9be9d5eSMiklos Szeredi 		return res;
322e9be9d5eSMiklos Szeredi 
323e9be9d5eSMiklos Szeredi 	/* filter out private xattrs */
3247cb35119SMiklos Szeredi 	for (s = list, len = res; len;) {
3257cb35119SMiklos Szeredi 		size_t slen = strnlen(s, len) + 1;
326e9be9d5eSMiklos Szeredi 
3277cb35119SMiklos Szeredi 		/* underlying fs providing us with an broken xattr list? */
3287cb35119SMiklos Szeredi 		if (WARN_ON(slen > len))
3297cb35119SMiklos Szeredi 			return -EIO;
330e9be9d5eSMiklos Szeredi 
3317cb35119SMiklos Szeredi 		len -= slen;
332a082c6f6SMiklos Szeredi 		if (!ovl_can_list(s)) {
333e9be9d5eSMiklos Szeredi 			res -= slen;
3347cb35119SMiklos Szeredi 			memmove(s, s + slen, len);
335e9be9d5eSMiklos Szeredi 		} else {
3367cb35119SMiklos Szeredi 			s += slen;
337e9be9d5eSMiklos Szeredi 		}
338e9be9d5eSMiklos Szeredi 	}
339e9be9d5eSMiklos Szeredi 
340e9be9d5eSMiklos Szeredi 	return res;
341e9be9d5eSMiklos Szeredi }
342e9be9d5eSMiklos Szeredi 
34339a25b2bSVivek Goyal struct posix_acl *ovl_get_acl(struct inode *inode, int type)
34439a25b2bSVivek Goyal {
34509d8b586SMiklos Szeredi 	struct inode *realinode = ovl_inode_real(inode);
3461175b6b8SVivek Goyal 	const struct cred *old_cred;
3471175b6b8SVivek Goyal 	struct posix_acl *acl;
34839a25b2bSVivek Goyal 
3495201dc44SMiklos Szeredi 	if (!IS_ENABLED(CONFIG_FS_POSIX_ACL) || !IS_POSIXACL(realinode))
35039a25b2bSVivek Goyal 		return NULL;
35139a25b2bSVivek Goyal 
3521175b6b8SVivek Goyal 	old_cred = ovl_override_creds(inode->i_sb);
3535201dc44SMiklos Szeredi 	acl = get_acl(realinode, type);
3541175b6b8SVivek Goyal 	revert_creds(old_cred);
3551175b6b8SVivek Goyal 
3561175b6b8SVivek Goyal 	return acl;
35739a25b2bSVivek Goyal }
35839a25b2bSVivek Goyal 
35959be0971SAmir Goldstein static bool ovl_open_need_copy_up(struct dentry *dentry, int flags)
360e9be9d5eSMiklos Szeredi {
361aa3ff3c1SAmir Goldstein 	/* Copy up of disconnected dentry does not set upper alias */
36259be0971SAmir Goldstein 	if (ovl_dentry_upper(dentry) &&
363aa3ff3c1SAmir Goldstein 	    (ovl_dentry_has_upper_alias(dentry) ||
364aa3ff3c1SAmir Goldstein 	     (dentry->d_flags & DCACHE_DISCONNECTED)))
365e9be9d5eSMiklos Szeredi 		return false;
366e9be9d5eSMiklos Szeredi 
36759be0971SAmir Goldstein 	if (special_file(d_inode(dentry)->i_mode))
368e9be9d5eSMiklos Szeredi 		return false;
369e9be9d5eSMiklos Szeredi 
370e9be9d5eSMiklos Szeredi 	if (!(OPEN_FMODE(flags) & FMODE_WRITE) && !(flags & O_TRUNC))
371e9be9d5eSMiklos Szeredi 		return false;
372e9be9d5eSMiklos Szeredi 
373e9be9d5eSMiklos Szeredi 	return true;
374e9be9d5eSMiklos Szeredi }
375e9be9d5eSMiklos Szeredi 
3762d902671SMiklos Szeredi int ovl_open_maybe_copy_up(struct dentry *dentry, unsigned int file_flags)
377e9be9d5eSMiklos Szeredi {
3782d902671SMiklos Szeredi 	int err = 0;
379e9be9d5eSMiklos Szeredi 
38059be0971SAmir Goldstein 	if (ovl_open_need_copy_up(dentry, file_flags)) {
381e9be9d5eSMiklos Szeredi 		err = ovl_want_write(dentry);
3822d902671SMiklos Szeredi 		if (!err) {
3839aba6521SAmir Goldstein 			err = ovl_copy_up_flags(dentry, file_flags);
384f25801eeSDavid Howells 			ovl_drop_write(dentry);
3852d902671SMiklos Szeredi 		}
386e9be9d5eSMiklos Szeredi 	}
387e9be9d5eSMiklos Szeredi 
3882d902671SMiklos Szeredi 	return err;
389e9be9d5eSMiklos Szeredi }
390e9be9d5eSMiklos Szeredi 
391d719e8f2SMiklos Szeredi int ovl_update_time(struct inode *inode, struct timespec *ts, int flags)
392d719e8f2SMiklos Szeredi {
3938f35cf51SMiklos Szeredi 	if (flags & S_ATIME) {
3948f35cf51SMiklos Szeredi 		struct ovl_fs *ofs = inode->i_sb->s_fs_info;
3958f35cf51SMiklos Szeredi 		struct path upperpath = {
3968f35cf51SMiklos Szeredi 			.mnt = ofs->upper_mnt,
3978f35cf51SMiklos Szeredi 			.dentry = ovl_upperdentry_dereference(OVL_I(inode)),
3988f35cf51SMiklos Szeredi 		};
399d719e8f2SMiklos Szeredi 
400d719e8f2SMiklos Szeredi 		if (upperpath.dentry) {
401d719e8f2SMiklos Szeredi 			touch_atime(&upperpath);
402d719e8f2SMiklos Szeredi 			inode->i_atime = d_inode(upperpath.dentry)->i_atime;
403d719e8f2SMiklos Szeredi 		}
4048f35cf51SMiklos Szeredi 	}
405d719e8f2SMiklos Szeredi 	return 0;
406d719e8f2SMiklos Szeredi }
407d719e8f2SMiklos Szeredi 
408e9be9d5eSMiklos Szeredi static const struct inode_operations ovl_file_inode_operations = {
409e9be9d5eSMiklos Szeredi 	.setattr	= ovl_setattr,
410e9be9d5eSMiklos Szeredi 	.permission	= ovl_permission,
411e9be9d5eSMiklos Szeredi 	.getattr	= ovl_getattr,
412e9be9d5eSMiklos Szeredi 	.listxattr	= ovl_listxattr,
41339a25b2bSVivek Goyal 	.get_acl	= ovl_get_acl,
414d719e8f2SMiklos Szeredi 	.update_time	= ovl_update_time,
415e9be9d5eSMiklos Szeredi };
416e9be9d5eSMiklos Szeredi 
417e9be9d5eSMiklos Szeredi static const struct inode_operations ovl_symlink_inode_operations = {
418e9be9d5eSMiklos Szeredi 	.setattr	= ovl_setattr,
4196b255391SAl Viro 	.get_link	= ovl_get_link,
420e9be9d5eSMiklos Szeredi 	.getattr	= ovl_getattr,
421e9be9d5eSMiklos Szeredi 	.listxattr	= ovl_listxattr,
422d719e8f2SMiklos Szeredi 	.update_time	= ovl_update_time,
423e9be9d5eSMiklos Szeredi };
424e9be9d5eSMiklos Szeredi 
425b1eaa950SAmir Goldstein /*
426b1eaa950SAmir Goldstein  * It is possible to stack overlayfs instance on top of another
427b1eaa950SAmir Goldstein  * overlayfs instance as lower layer. We need to annonate the
428b1eaa950SAmir Goldstein  * stackable i_mutex locks according to stack level of the super
429b1eaa950SAmir Goldstein  * block instance. An overlayfs instance can never be in stack
430b1eaa950SAmir Goldstein  * depth 0 (there is always a real fs below it).  An overlayfs
431b1eaa950SAmir Goldstein  * inode lock will use the lockdep annotaion ovl_i_mutex_key[depth].
432b1eaa950SAmir Goldstein  *
433b1eaa950SAmir Goldstein  * For example, here is a snip from /proc/lockdep_chains after
434b1eaa950SAmir Goldstein  * dir_iterate of nested overlayfs:
435b1eaa950SAmir Goldstein  *
436b1eaa950SAmir Goldstein  * [...] &ovl_i_mutex_dir_key[depth]   (stack_depth=2)
437b1eaa950SAmir Goldstein  * [...] &ovl_i_mutex_dir_key[depth]#2 (stack_depth=1)
438b1eaa950SAmir Goldstein  * [...] &type->i_mutex_dir_key        (stack_depth=0)
439b1eaa950SAmir Goldstein  */
440b1eaa950SAmir Goldstein #define OVL_MAX_NESTING FILESYSTEM_MAX_STACK_DEPTH
441b1eaa950SAmir Goldstein 
442b1eaa950SAmir Goldstein static inline void ovl_lockdep_annotate_inode_mutex_key(struct inode *inode)
443b1eaa950SAmir Goldstein {
444b1eaa950SAmir Goldstein #ifdef CONFIG_LOCKDEP
445b1eaa950SAmir Goldstein 	static struct lock_class_key ovl_i_mutex_key[OVL_MAX_NESTING];
446b1eaa950SAmir Goldstein 	static struct lock_class_key ovl_i_mutex_dir_key[OVL_MAX_NESTING];
4474eae06deSAmir Goldstein 	static struct lock_class_key ovl_i_lock_key[OVL_MAX_NESTING];
448b1eaa950SAmir Goldstein 
449b1eaa950SAmir Goldstein 	int depth = inode->i_sb->s_stack_depth - 1;
450b1eaa950SAmir Goldstein 
451b1eaa950SAmir Goldstein 	if (WARN_ON_ONCE(depth < 0 || depth >= OVL_MAX_NESTING))
452b1eaa950SAmir Goldstein 		depth = 0;
453b1eaa950SAmir Goldstein 
454b1eaa950SAmir Goldstein 	if (S_ISDIR(inode->i_mode))
455b1eaa950SAmir Goldstein 		lockdep_set_class(&inode->i_rwsem, &ovl_i_mutex_dir_key[depth]);
456b1eaa950SAmir Goldstein 	else
457b1eaa950SAmir Goldstein 		lockdep_set_class(&inode->i_rwsem, &ovl_i_mutex_key[depth]);
4584eae06deSAmir Goldstein 
4594eae06deSAmir Goldstein 	lockdep_set_class(&OVL_I(inode)->lock, &ovl_i_lock_key[depth]);
460b1eaa950SAmir Goldstein #endif
461b1eaa950SAmir Goldstein }
462b1eaa950SAmir Goldstein 
463695b46e7SAmir Goldstein static void ovl_fill_inode(struct inode *inode, umode_t mode, dev_t rdev,
464695b46e7SAmir Goldstein 			   unsigned long ino)
465e9be9d5eSMiklos Szeredi {
466695b46e7SAmir Goldstein 	/*
467695b46e7SAmir Goldstein 	 * When NFS export is enabled and d_ino is consistent with st_ino
468695b46e7SAmir Goldstein 	 * (samefs), set the same value to i_ino, because nfsd readdirplus
469695b46e7SAmir Goldstein 	 * compares d_ino values to i_ino values of child entries. When called
470695b46e7SAmir Goldstein 	 * from ovl_new_inode(), ino arg is 0, so i_ino will be updated to real
471695b46e7SAmir Goldstein 	 * upper inode i_ino on ovl_inode_init() or ovl_inode_update().
472695b46e7SAmir Goldstein 	 */
473695b46e7SAmir Goldstein 	if (inode->i_sb->s_export_op && ovl_same_sb(inode->i_sb))
474695b46e7SAmir Goldstein 		inode->i_ino = ino;
475695b46e7SAmir Goldstein 	else
476e9be9d5eSMiklos Szeredi 		inode->i_ino = get_next_ino();
477e9be9d5eSMiklos Szeredi 	inode->i_mode = mode;
478d719e8f2SMiklos Szeredi 	inode->i_flags |= S_NOCMTIME;
4792a3a2a3fSMiklos Szeredi #ifdef CONFIG_FS_POSIX_ACL
4802a3a2a3fSMiklos Szeredi 	inode->i_acl = inode->i_default_acl = ACL_DONT_CACHE;
4812a3a2a3fSMiklos Szeredi #endif
482e9be9d5eSMiklos Szeredi 
483b1eaa950SAmir Goldstein 	ovl_lockdep_annotate_inode_mutex_key(inode);
484b1eaa950SAmir Goldstein 
485ca4c8a3aSMiklos Szeredi 	switch (mode & S_IFMT) {
486ca4c8a3aSMiklos Szeredi 	case S_IFREG:
487ca4c8a3aSMiklos Szeredi 		inode->i_op = &ovl_file_inode_operations;
488ca4c8a3aSMiklos Szeredi 		break;
489ca4c8a3aSMiklos Szeredi 
490e9be9d5eSMiklos Szeredi 	case S_IFDIR:
491e9be9d5eSMiklos Szeredi 		inode->i_op = &ovl_dir_inode_operations;
492e9be9d5eSMiklos Szeredi 		inode->i_fop = &ovl_dir_operations;
493e9be9d5eSMiklos Szeredi 		break;
494e9be9d5eSMiklos Szeredi 
495e9be9d5eSMiklos Szeredi 	case S_IFLNK:
496e9be9d5eSMiklos Szeredi 		inode->i_op = &ovl_symlink_inode_operations;
497e9be9d5eSMiklos Szeredi 		break;
498e9be9d5eSMiklos Szeredi 
49951f7e52dSMiklos Szeredi 	default:
500e9be9d5eSMiklos Szeredi 		inode->i_op = &ovl_file_inode_operations;
501ca4c8a3aSMiklos Szeredi 		init_special_inode(inode, mode, rdev);
502e9be9d5eSMiklos Szeredi 		break;
50351f7e52dSMiklos Szeredi 	}
50451f7e52dSMiklos Szeredi }
505e9be9d5eSMiklos Szeredi 
5065f8415d6SAmir Goldstein /*
5075f8415d6SAmir Goldstein  * With inodes index enabled, an overlay inode nlink counts the union of upper
5085f8415d6SAmir Goldstein  * hardlinks and non-covered lower hardlinks. During the lifetime of a non-pure
5095f8415d6SAmir Goldstein  * upper inode, the following nlink modifying operations can happen:
5105f8415d6SAmir Goldstein  *
5115f8415d6SAmir Goldstein  * 1. Lower hardlink copy up
5125f8415d6SAmir Goldstein  * 2. Upper hardlink created, unlinked or renamed over
5135f8415d6SAmir Goldstein  * 3. Lower hardlink whiteout or renamed over
5145f8415d6SAmir Goldstein  *
5155f8415d6SAmir Goldstein  * For the first, copy up case, the union nlink does not change, whether the
5165f8415d6SAmir Goldstein  * operation succeeds or fails, but the upper inode nlink may change.
5175f8415d6SAmir Goldstein  * Therefore, before copy up, we store the union nlink value relative to the
5185f8415d6SAmir Goldstein  * lower inode nlink in the index inode xattr trusted.overlay.nlink.
5195f8415d6SAmir Goldstein  *
5205f8415d6SAmir Goldstein  * For the second, upper hardlink case, the union nlink should be incremented
5215f8415d6SAmir Goldstein  * or decremented IFF the operation succeeds, aligned with nlink change of the
5225f8415d6SAmir Goldstein  * upper inode. Therefore, before link/unlink/rename, we store the union nlink
5235f8415d6SAmir Goldstein  * value relative to the upper inode nlink in the index inode.
5245f8415d6SAmir Goldstein  *
5255f8415d6SAmir Goldstein  * For the last, lower cover up case, we simplify things by preceding the
5265f8415d6SAmir Goldstein  * whiteout or cover up with copy up. This makes sure that there is an index
5275f8415d6SAmir Goldstein  * upper inode where the nlink xattr can be stored before the copied up upper
5285f8415d6SAmir Goldstein  * entry is unlink.
5295f8415d6SAmir Goldstein  */
5305f8415d6SAmir Goldstein #define OVL_NLINK_ADD_UPPER	(1 << 0)
5315f8415d6SAmir Goldstein 
5325f8415d6SAmir Goldstein /*
5335f8415d6SAmir Goldstein  * On-disk format for indexed nlink:
5345f8415d6SAmir Goldstein  *
5355f8415d6SAmir Goldstein  * nlink relative to the upper inode - "U[+-]NUM"
5365f8415d6SAmir Goldstein  * nlink relative to the lower inode - "L[+-]NUM"
5375f8415d6SAmir Goldstein  */
5385f8415d6SAmir Goldstein 
5395f8415d6SAmir Goldstein static int ovl_set_nlink_common(struct dentry *dentry,
5405f8415d6SAmir Goldstein 				struct dentry *realdentry, const char *format)
5415f8415d6SAmir Goldstein {
5425f8415d6SAmir Goldstein 	struct inode *inode = d_inode(dentry);
5435f8415d6SAmir Goldstein 	struct inode *realinode = d_inode(realdentry);
5445f8415d6SAmir Goldstein 	char buf[13];
5455f8415d6SAmir Goldstein 	int len;
5465f8415d6SAmir Goldstein 
5475f8415d6SAmir Goldstein 	len = snprintf(buf, sizeof(buf), format,
5485f8415d6SAmir Goldstein 		       (int) (inode->i_nlink - realinode->i_nlink));
5495f8415d6SAmir Goldstein 
5506787341aSMiklos Szeredi 	if (WARN_ON(len >= sizeof(buf)))
5516787341aSMiklos Szeredi 		return -EIO;
5526787341aSMiklos Szeredi 
5535f8415d6SAmir Goldstein 	return ovl_do_setxattr(ovl_dentry_upper(dentry),
5545f8415d6SAmir Goldstein 			       OVL_XATTR_NLINK, buf, len, 0);
5555f8415d6SAmir Goldstein }
5565f8415d6SAmir Goldstein 
5575f8415d6SAmir Goldstein int ovl_set_nlink_upper(struct dentry *dentry)
5585f8415d6SAmir Goldstein {
5595f8415d6SAmir Goldstein 	return ovl_set_nlink_common(dentry, ovl_dentry_upper(dentry), "U%+i");
5605f8415d6SAmir Goldstein }
5615f8415d6SAmir Goldstein 
5625f8415d6SAmir Goldstein int ovl_set_nlink_lower(struct dentry *dentry)
5635f8415d6SAmir Goldstein {
5645f8415d6SAmir Goldstein 	return ovl_set_nlink_common(dentry, ovl_dentry_lower(dentry), "L%+i");
5655f8415d6SAmir Goldstein }
5665f8415d6SAmir Goldstein 
567caf70cb2SAmir Goldstein unsigned int ovl_get_nlink(struct dentry *lowerdentry,
5685f8415d6SAmir Goldstein 			   struct dentry *upperdentry,
5695f8415d6SAmir Goldstein 			   unsigned int fallback)
5705f8415d6SAmir Goldstein {
5715f8415d6SAmir Goldstein 	int nlink_diff;
5725f8415d6SAmir Goldstein 	int nlink;
5735f8415d6SAmir Goldstein 	char buf[13];
5745f8415d6SAmir Goldstein 	int err;
5755f8415d6SAmir Goldstein 
5765f8415d6SAmir Goldstein 	if (!lowerdentry || !upperdentry || d_inode(lowerdentry)->i_nlink == 1)
5775f8415d6SAmir Goldstein 		return fallback;
5785f8415d6SAmir Goldstein 
5795f8415d6SAmir Goldstein 	err = vfs_getxattr(upperdentry, OVL_XATTR_NLINK, &buf, sizeof(buf) - 1);
5805f8415d6SAmir Goldstein 	if (err < 0)
5815f8415d6SAmir Goldstein 		goto fail;
5825f8415d6SAmir Goldstein 
5835f8415d6SAmir Goldstein 	buf[err] = '\0';
5845f8415d6SAmir Goldstein 	if ((buf[0] != 'L' && buf[0] != 'U') ||
5855f8415d6SAmir Goldstein 	    (buf[1] != '+' && buf[1] != '-'))
5865f8415d6SAmir Goldstein 		goto fail;
5875f8415d6SAmir Goldstein 
5885f8415d6SAmir Goldstein 	err = kstrtoint(buf + 1, 10, &nlink_diff);
5895f8415d6SAmir Goldstein 	if (err < 0)
5905f8415d6SAmir Goldstein 		goto fail;
5915f8415d6SAmir Goldstein 
5925f8415d6SAmir Goldstein 	nlink = d_inode(buf[0] == 'L' ? lowerdentry : upperdentry)->i_nlink;
5935f8415d6SAmir Goldstein 	nlink += nlink_diff;
5945f8415d6SAmir Goldstein 
5955f8415d6SAmir Goldstein 	if (nlink <= 0)
5965f8415d6SAmir Goldstein 		goto fail;
5975f8415d6SAmir Goldstein 
5985f8415d6SAmir Goldstein 	return nlink;
5995f8415d6SAmir Goldstein 
6005f8415d6SAmir Goldstein fail:
6015f8415d6SAmir Goldstein 	pr_warn_ratelimited("overlayfs: failed to get index nlink (%pd2, err=%i)\n",
6025f8415d6SAmir Goldstein 			    upperdentry, err);
6035f8415d6SAmir Goldstein 	return fallback;
6045f8415d6SAmir Goldstein }
6055f8415d6SAmir Goldstein 
606ca4c8a3aSMiklos Szeredi struct inode *ovl_new_inode(struct super_block *sb, umode_t mode, dev_t rdev)
60751f7e52dSMiklos Szeredi {
60851f7e52dSMiklos Szeredi 	struct inode *inode;
60951f7e52dSMiklos Szeredi 
61051f7e52dSMiklos Szeredi 	inode = new_inode(sb);
61151f7e52dSMiklos Szeredi 	if (inode)
612695b46e7SAmir Goldstein 		ovl_fill_inode(inode, mode, rdev, 0);
61351f7e52dSMiklos Szeredi 
61451f7e52dSMiklos Szeredi 	return inode;
61551f7e52dSMiklos Szeredi }
61651f7e52dSMiklos Szeredi 
61751f7e52dSMiklos Szeredi static int ovl_inode_test(struct inode *inode, void *data)
61851f7e52dSMiklos Szeredi {
61925b7713aSMiklos Szeredi 	return inode->i_private == data;
62051f7e52dSMiklos Szeredi }
62151f7e52dSMiklos Szeredi 
62251f7e52dSMiklos Szeredi static int ovl_inode_set(struct inode *inode, void *data)
62351f7e52dSMiklos Szeredi {
62425b7713aSMiklos Szeredi 	inode->i_private = data;
62551f7e52dSMiklos Szeredi 	return 0;
62651f7e52dSMiklos Szeredi }
62751f7e52dSMiklos Szeredi 
628b9ac5c27SMiklos Szeredi static bool ovl_verify_inode(struct inode *inode, struct dentry *lowerdentry,
6294b91c30aSAmir Goldstein 			     struct dentry *upperdentry, bool strict)
630b9ac5c27SMiklos Szeredi {
6314b91c30aSAmir Goldstein 	/*
6324b91c30aSAmir Goldstein 	 * For directories, @strict verify from lookup path performs consistency
6334b91c30aSAmir Goldstein 	 * checks, so NULL lower/upper in dentry must match NULL lower/upper in
6344b91c30aSAmir Goldstein 	 * inode. Non @strict verify from NFS handle decode path passes NULL for
6354b91c30aSAmir Goldstein 	 * 'unknown' lower/upper.
6364b91c30aSAmir Goldstein 	 */
6374b91c30aSAmir Goldstein 	if (S_ISDIR(inode->i_mode) && strict) {
63831747edaSAmir Goldstein 		/* Real lower dir moved to upper layer under us? */
63931747edaSAmir Goldstein 		if (!lowerdentry && ovl_inode_lower(inode))
64031747edaSAmir Goldstein 			return false;
64131747edaSAmir Goldstein 
64231747edaSAmir Goldstein 		/* Lookup of an uncovered redirect origin? */
64331747edaSAmir Goldstein 		if (!upperdentry && ovl_inode_upper(inode))
64431747edaSAmir Goldstein 			return false;
64531747edaSAmir Goldstein 	}
64631747edaSAmir Goldstein 
647939ae4efSAmir Goldstein 	/*
648939ae4efSAmir Goldstein 	 * Allow non-NULL lower inode in ovl_inode even if lowerdentry is NULL.
649939ae4efSAmir Goldstein 	 * This happens when finding a copied up overlay inode for a renamed
650939ae4efSAmir Goldstein 	 * or hardlinked overlay dentry and lower dentry cannot be followed
651939ae4efSAmir Goldstein 	 * by origin because lower fs does not support file handles.
652939ae4efSAmir Goldstein 	 */
653939ae4efSAmir Goldstein 	if (lowerdentry && ovl_inode_lower(inode) != d_inode(lowerdentry))
654b9ac5c27SMiklos Szeredi 		return false;
655b9ac5c27SMiklos Szeredi 
656b9ac5c27SMiklos Szeredi 	/*
657b9ac5c27SMiklos Szeredi 	 * Allow non-NULL __upperdentry in inode even if upperdentry is NULL.
658b9ac5c27SMiklos Szeredi 	 * This happens when finding a lower alias for a copied up hard link.
659b9ac5c27SMiklos Szeredi 	 */
660b9ac5c27SMiklos Szeredi 	if (upperdentry && ovl_inode_upper(inode) != d_inode(upperdentry))
661b9ac5c27SMiklos Szeredi 		return false;
662b9ac5c27SMiklos Szeredi 
663b9ac5c27SMiklos Szeredi 	return true;
664b9ac5c27SMiklos Szeredi }
665b9ac5c27SMiklos Szeredi 
6664b91c30aSAmir Goldstein struct inode *ovl_lookup_inode(struct super_block *sb, struct dentry *real,
6674b91c30aSAmir Goldstein 			       bool is_upper)
6689436a1a3SAmir Goldstein {
6694b91c30aSAmir Goldstein 	struct inode *inode, *key = d_inode(real);
6709436a1a3SAmir Goldstein 
6719436a1a3SAmir Goldstein 	inode = ilookup5(sb, (unsigned long) key, ovl_inode_test, key);
6729436a1a3SAmir Goldstein 	if (!inode)
6739436a1a3SAmir Goldstein 		return NULL;
6749436a1a3SAmir Goldstein 
6754b91c30aSAmir Goldstein 	if (!ovl_verify_inode(inode, is_upper ? NULL : real,
6764b91c30aSAmir Goldstein 			      is_upper ? real : NULL, false)) {
6779436a1a3SAmir Goldstein 		iput(inode);
6789436a1a3SAmir Goldstein 		return ERR_PTR(-ESTALE);
6799436a1a3SAmir Goldstein 	}
6809436a1a3SAmir Goldstein 
6819436a1a3SAmir Goldstein 	return inode;
6829436a1a3SAmir Goldstein }
6839436a1a3SAmir Goldstein 
684764baba8SAmir Goldstein /*
685764baba8SAmir Goldstein  * Does overlay inode need to be hashed by lower inode?
686764baba8SAmir Goldstein  */
687764baba8SAmir Goldstein static bool ovl_hash_bylower(struct super_block *sb, struct dentry *upper,
688764baba8SAmir Goldstein 			     struct dentry *lower, struct dentry *index)
689764baba8SAmir Goldstein {
690764baba8SAmir Goldstein 	struct ovl_fs *ofs = sb->s_fs_info;
691764baba8SAmir Goldstein 
692764baba8SAmir Goldstein 	/* No, if pure upper */
693764baba8SAmir Goldstein 	if (!lower)
694764baba8SAmir Goldstein 		return false;
695764baba8SAmir Goldstein 
696764baba8SAmir Goldstein 	/* Yes, if already indexed */
697764baba8SAmir Goldstein 	if (index)
698764baba8SAmir Goldstein 		return true;
699764baba8SAmir Goldstein 
700764baba8SAmir Goldstein 	/* Yes, if won't be copied up */
701764baba8SAmir Goldstein 	if (!ofs->upper_mnt)
702764baba8SAmir Goldstein 		return true;
703764baba8SAmir Goldstein 
704764baba8SAmir Goldstein 	/* No, if lower hardlink is or will be broken on copy up */
705764baba8SAmir Goldstein 	if ((upper || !ovl_indexdir(sb)) &&
706764baba8SAmir Goldstein 	    !d_is_dir(lower) && d_inode(lower)->i_nlink > 1)
707764baba8SAmir Goldstein 		return false;
708764baba8SAmir Goldstein 
709764baba8SAmir Goldstein 	/* No, if non-indexed upper with NFS export */
710764baba8SAmir Goldstein 	if (sb->s_export_op && upper)
711764baba8SAmir Goldstein 		return false;
712764baba8SAmir Goldstein 
713764baba8SAmir Goldstein 	/* Otherwise, hash by lower inode for fsnotify */
714764baba8SAmir Goldstein 	return true;
715764baba8SAmir Goldstein }
716764baba8SAmir Goldstein 
7170aceb53eSAmir Goldstein struct inode *ovl_get_inode(struct super_block *sb, struct dentry *upperdentry,
7180aceb53eSAmir Goldstein 			    struct dentry *lowerdentry, struct dentry *index,
7190aceb53eSAmir Goldstein 			    unsigned int numlower)
72051f7e52dSMiklos Szeredi {
72109d8b586SMiklos Szeredi 	struct inode *realinode = upperdentry ? d_inode(upperdentry) : NULL;
72251f7e52dSMiklos Szeredi 	struct inode *inode;
723764baba8SAmir Goldstein 	bool bylower = ovl_hash_bylower(sb, upperdentry, lowerdentry, index);
72431747edaSAmir Goldstein 	bool is_dir;
725695b46e7SAmir Goldstein 	unsigned long ino = 0;
7266eaf0111SAmir Goldstein 
72709d8b586SMiklos Szeredi 	if (!realinode)
72809d8b586SMiklos Szeredi 		realinode = d_inode(lowerdentry);
72909d8b586SMiklos Szeredi 
7306eaf0111SAmir Goldstein 	/*
731764baba8SAmir Goldstein 	 * Copy up origin (lower) may exist for non-indexed upper, but we must
732764baba8SAmir Goldstein 	 * not use lower as hash key if this is a broken hardlink.
7336eaf0111SAmir Goldstein 	 */
73431747edaSAmir Goldstein 	is_dir = S_ISDIR(realinode->i_mode);
735764baba8SAmir Goldstein 	if (upperdentry || bylower) {
736764baba8SAmir Goldstein 		struct inode *key = d_inode(bylower ? lowerdentry :
737764baba8SAmir Goldstein 						      upperdentry);
73831747edaSAmir Goldstein 		unsigned int nlink = is_dir ? 1 : realinode->i_nlink;
739b9ac5c27SMiklos Szeredi 
7400aceb53eSAmir Goldstein 		inode = iget5_locked(sb, (unsigned long) key,
741b9ac5c27SMiklos Szeredi 				     ovl_inode_test, ovl_inode_set, key);
74209d8b586SMiklos Szeredi 		if (!inode)
743b9ac5c27SMiklos Szeredi 			goto out_nomem;
74409d8b586SMiklos Szeredi 		if (!(inode->i_state & I_NEW)) {
745b9ac5c27SMiklos Szeredi 			/*
746b9ac5c27SMiklos Szeredi 			 * Verify that the underlying files stored in the inode
747b9ac5c27SMiklos Szeredi 			 * match those in the dentry.
748b9ac5c27SMiklos Szeredi 			 */
7494b91c30aSAmir Goldstein 			if (!ovl_verify_inode(inode, lowerdentry, upperdentry,
7504b91c30aSAmir Goldstein 					      true)) {
751b9ac5c27SMiklos Szeredi 				iput(inode);
752b9ac5c27SMiklos Szeredi 				inode = ERR_PTR(-ESTALE);
753b9ac5c27SMiklos Szeredi 				goto out;
754b9ac5c27SMiklos Szeredi 			}
755b9ac5c27SMiklos Szeredi 
75609d8b586SMiklos Szeredi 			dput(upperdentry);
75709d8b586SMiklos Szeredi 			goto out;
75809d8b586SMiklos Szeredi 		}
759e9be9d5eSMiklos Szeredi 
76031747edaSAmir Goldstein 		/* Recalculate nlink for non-dir due to indexing */
76131747edaSAmir Goldstein 		if (!is_dir)
76231747edaSAmir Goldstein 			nlink = ovl_get_nlink(lowerdentry, upperdentry, nlink);
7635f8415d6SAmir Goldstein 		set_nlink(inode, nlink);
764695b46e7SAmir Goldstein 		ino = key->i_ino;
765e6d2ebddSMiklos Szeredi 	} else {
766764baba8SAmir Goldstein 		/* Lower hardlink that will be broken on copy up */
7670aceb53eSAmir Goldstein 		inode = new_inode(sb);
768e6d2ebddSMiklos Szeredi 		if (!inode)
769b9ac5c27SMiklos Szeredi 			goto out_nomem;
770e6d2ebddSMiklos Szeredi 	}
771695b46e7SAmir Goldstein 	ovl_fill_inode(inode, realinode->i_mode, realinode->i_rdev, ino);
77209d8b586SMiklos Szeredi 	ovl_inode_init(inode, upperdentry, lowerdentry);
77313c72075SMiklos Szeredi 
77413c72075SMiklos Szeredi 	if (upperdentry && ovl_is_impuredir(upperdentry))
77513c72075SMiklos Szeredi 		ovl_set_flag(OVL_IMPURE, inode);
77613c72075SMiklos Szeredi 
7770471a9cdSVivek Goyal 	if (index)
7780471a9cdSVivek Goyal 		ovl_set_flag(OVL_INDEX, inode);
7790471a9cdSVivek Goyal 
780b79e05aaSAmir Goldstein 	/* Check for non-merge dir that may have whiteouts */
78131747edaSAmir Goldstein 	if (is_dir) {
7820aceb53eSAmir Goldstein 		if (((upperdentry && lowerdentry) || numlower > 1) ||
783b79e05aaSAmir Goldstein 		    ovl_check_origin_xattr(upperdentry ?: lowerdentry)) {
784b79e05aaSAmir Goldstein 			ovl_set_flag(OVL_WHITEOUTS, inode);
785b79e05aaSAmir Goldstein 		}
786b79e05aaSAmir Goldstein 	}
787b79e05aaSAmir Goldstein 
788e6d2ebddSMiklos Szeredi 	if (inode->i_state & I_NEW)
789e6d2ebddSMiklos Szeredi 		unlock_new_inode(inode);
790e6d2ebddSMiklos Szeredi out:
791e9be9d5eSMiklos Szeredi 	return inode;
792b9ac5c27SMiklos Szeredi 
793b9ac5c27SMiklos Szeredi out_nomem:
794b9ac5c27SMiklos Szeredi 	inode = ERR_PTR(-ENOMEM);
795b9ac5c27SMiklos Szeredi 	goto out;
796e9be9d5eSMiklos Szeredi }
797