xref: /openbmc/linux/fs/overlayfs/inode.c (revision 9f99e50d)
1e9be9d5eSMiklos Szeredi /*
2e9be9d5eSMiklos Szeredi  *
3e9be9d5eSMiklos Szeredi  * Copyright (C) 2011 Novell Inc.
4e9be9d5eSMiklos Szeredi  *
5e9be9d5eSMiklos Szeredi  * This program is free software; you can redistribute it and/or modify it
6e9be9d5eSMiklos Szeredi  * under the terms of the GNU General Public License version 2 as published by
7e9be9d5eSMiklos Szeredi  * the Free Software Foundation.
8e9be9d5eSMiklos Szeredi  */
9e9be9d5eSMiklos Szeredi 
10e9be9d5eSMiklos Szeredi #include <linux/fs.h>
11e9be9d5eSMiklos Szeredi #include <linux/slab.h>
125b825c3aSIngo Molnar #include <linux/cred.h>
13e9be9d5eSMiklos Szeredi #include <linux/xattr.h>
145201dc44SMiklos Szeredi #include <linux/posix_acl.h>
155f8415d6SAmir Goldstein #include <linux/ratelimit.h>
16e9be9d5eSMiklos Szeredi #include "overlayfs.h"
17e9be9d5eSMiklos Szeredi 
18ba1e563cSChandan Rajendra 
19ba1e563cSChandan Rajendra static dev_t ovl_get_pseudo_dev(struct dentry *dentry)
20ba1e563cSChandan Rajendra {
21ba1e563cSChandan Rajendra 	struct ovl_entry *oe = dentry->d_fsdata;
22ba1e563cSChandan Rajendra 
23ba1e563cSChandan Rajendra 	return oe->lowerstack[0].layer->pseudo_dev;
24ba1e563cSChandan Rajendra }
25ba1e563cSChandan Rajendra 
26e9be9d5eSMiklos Szeredi int ovl_setattr(struct dentry *dentry, struct iattr *attr)
27e9be9d5eSMiklos Szeredi {
28e9be9d5eSMiklos Szeredi 	int err;
29e9be9d5eSMiklos Szeredi 	struct dentry *upperdentry;
301175b6b8SVivek Goyal 	const struct cred *old_cred;
31e9be9d5eSMiklos Szeredi 
32cf9a6784SMiklos Szeredi 	/*
33cf9a6784SMiklos Szeredi 	 * Check for permissions before trying to copy-up.  This is redundant
34cf9a6784SMiklos Szeredi 	 * since it will be rechecked later by ->setattr() on upper dentry.  But
35cf9a6784SMiklos Szeredi 	 * without this, copy-up can be triggered by just about anybody.
36cf9a6784SMiklos Szeredi 	 *
37cf9a6784SMiklos Szeredi 	 * We don't initialize inode->size, which just means that
38cf9a6784SMiklos Szeredi 	 * inode_newsize_ok() will always check against MAX_LFS_FILESIZE and not
39cf9a6784SMiklos Szeredi 	 * check for a swapfile (which this won't be anyway).
40cf9a6784SMiklos Szeredi 	 */
4131051c85SJan Kara 	err = setattr_prepare(dentry, attr);
42cf9a6784SMiklos Szeredi 	if (err)
43cf9a6784SMiklos Szeredi 		return err;
44cf9a6784SMiklos Szeredi 
45e9be9d5eSMiklos Szeredi 	err = ovl_want_write(dentry);
46e9be9d5eSMiklos Szeredi 	if (err)
47e9be9d5eSMiklos Szeredi 		goto out;
48e9be9d5eSMiklos Szeredi 
49acff81ecSMiklos Szeredi 	err = ovl_copy_up(dentry);
50acff81ecSMiklos Szeredi 	if (!err) {
51e9be9d5eSMiklos Szeredi 		upperdentry = ovl_dentry_upper(dentry);
52acff81ecSMiklos Szeredi 
53b99c2d91SMiklos Szeredi 		if (attr->ia_valid & (ATTR_KILL_SUID|ATTR_KILL_SGID))
54b99c2d91SMiklos Szeredi 			attr->ia_valid &= ~ATTR_MODE;
55b99c2d91SMiklos Szeredi 
565955102cSAl Viro 		inode_lock(upperdentry->d_inode);
571175b6b8SVivek Goyal 		old_cred = ovl_override_creds(dentry->d_sb);
58e9be9d5eSMiklos Szeredi 		err = notify_change(upperdentry, attr, NULL);
591175b6b8SVivek Goyal 		revert_creds(old_cred);
60b81de061SKonstantin Khlebnikov 		if (!err)
61b81de061SKonstantin Khlebnikov 			ovl_copyattr(upperdentry->d_inode, dentry->d_inode);
625955102cSAl Viro 		inode_unlock(upperdentry->d_inode);
63e9be9d5eSMiklos Szeredi 	}
64e9be9d5eSMiklos Szeredi 	ovl_drop_write(dentry);
65e9be9d5eSMiklos Szeredi out:
66e9be9d5eSMiklos Szeredi 	return err;
67e9be9d5eSMiklos Szeredi }
68e9be9d5eSMiklos Szeredi 
695b712091SMiklos Szeredi int ovl_getattr(const struct path *path, struct kstat *stat,
70a528d35eSDavid Howells 		u32 request_mask, unsigned int flags)
71e9be9d5eSMiklos Szeredi {
72a528d35eSDavid Howells 	struct dentry *dentry = path->dentry;
7372b608f0SAmir Goldstein 	enum ovl_path_type type;
74e9be9d5eSMiklos Szeredi 	struct path realpath;
751175b6b8SVivek Goyal 	const struct cred *old_cred;
765b712091SMiklos Szeredi 	bool is_dir = S_ISDIR(dentry->d_inode->i_mode);
77a0c5ad30SAmir Goldstein 	bool samefs = ovl_same_sb(dentry->d_sb);
781175b6b8SVivek Goyal 	int err;
79e9be9d5eSMiklos Szeredi 
8072b608f0SAmir Goldstein 	type = ovl_path_real(dentry, &realpath);
811175b6b8SVivek Goyal 	old_cred = ovl_override_creds(dentry->d_sb);
82a528d35eSDavid Howells 	err = vfs_getattr(&realpath, stat, request_mask, flags);
8372b608f0SAmir Goldstein 	if (err)
8472b608f0SAmir Goldstein 		goto out;
8572b608f0SAmir Goldstein 
8672b608f0SAmir Goldstein 	/*
87a0c5ad30SAmir Goldstein 	 * For non-dir or same fs, we use st_ino of the copy up origin, if we
88a0c5ad30SAmir Goldstein 	 * know it. This guaranties constant st_dev/st_ino across copy up.
8972b608f0SAmir Goldstein 	 *
9072b608f0SAmir Goldstein 	 * If filesystem supports NFS export ops, this also guaranties
9172b608f0SAmir Goldstein 	 * persistent st_ino across mount cycle.
9272b608f0SAmir Goldstein 	 */
93a0c5ad30SAmir Goldstein 	if (!is_dir || samefs) {
9472b608f0SAmir Goldstein 		if (OVL_TYPE_ORIGIN(type)) {
9572b608f0SAmir Goldstein 			struct kstat lowerstat;
965b712091SMiklos Szeredi 			u32 lowermask = STATX_INO | (!is_dir ? STATX_NLINK : 0);
9772b608f0SAmir Goldstein 
9872b608f0SAmir Goldstein 			ovl_path_lower(dentry, &realpath);
9972b608f0SAmir Goldstein 			err = vfs_getattr(&realpath, &lowerstat,
1005b712091SMiklos Szeredi 					  lowermask, flags);
10172b608f0SAmir Goldstein 			if (err)
10272b608f0SAmir Goldstein 				goto out;
10372b608f0SAmir Goldstein 
10472b608f0SAmir Goldstein 			/*
105359f392cSAmir Goldstein 			 * Lower hardlinks may be broken on copy up to different
10672b608f0SAmir Goldstein 			 * upper files, so we cannot use the lower origin st_ino
10772b608f0SAmir Goldstein 			 * for those different files, even for the same fs case.
10886eaa130SAmir Goldstein 			 *
10986eaa130SAmir Goldstein 			 * Similarly, several redirected dirs can point to the
11086eaa130SAmir Goldstein 			 * same dir on a lower layer. With the "verify_lower"
11186eaa130SAmir Goldstein 			 * feature, we do not use the lower origin st_ino, if
11286eaa130SAmir Goldstein 			 * we haven't verified that this redirect is unique.
11386eaa130SAmir Goldstein 			 *
114359f392cSAmir Goldstein 			 * With inodes index enabled, it is safe to use st_ino
11586eaa130SAmir Goldstein 			 * of an indexed origin. The index validates that the
11686eaa130SAmir Goldstein 			 * upper hardlink is not broken and that a redirected
11786eaa130SAmir Goldstein 			 * dir is the only redirect to that origin.
11872b608f0SAmir Goldstein 			 */
11986eaa130SAmir Goldstein 			if (ovl_test_flag(OVL_INDEX, d_inode(dentry)) ||
12086eaa130SAmir Goldstein 			    (!ovl_verify_lower(dentry->d_sb) &&
1219f99e50dSAmir Goldstein 			     (is_dir || lowerstat.nlink == 1))) {
12272b608f0SAmir Goldstein 				stat->ino = lowerstat.ino;
123a0c5ad30SAmir Goldstein 				stat->dev = ovl_get_pseudo_dev(dentry);
12472b608f0SAmir Goldstein 			}
1259f99e50dSAmir Goldstein 		}
126a0c5ad30SAmir Goldstein 		if (samefs) {
1275b712091SMiklos Szeredi 			/*
128a0c5ad30SAmir Goldstein 			 * When all layers are on the same fs, all real inode
129a0c5ad30SAmir Goldstein 			 * number are unique, so we use the overlay st_dev,
130a0c5ad30SAmir Goldstein 			 * which is friendly to du -x.
131a0c5ad30SAmir Goldstein 			 */
132a0c5ad30SAmir Goldstein 			stat->dev = dentry->d_sb->s_dev;
133a0c5ad30SAmir Goldstein 		} else if (!OVL_TYPE_UPPER(type)) {
134a0c5ad30SAmir Goldstein 			/*
135a0c5ad30SAmir Goldstein 			 * For non-samefs setup, to make sure that st_dev/st_ino
136a0c5ad30SAmir Goldstein 			 * pair is unique across the system, we use a unique
137a0c5ad30SAmir Goldstein 			 * anonymous st_dev for lower layer inode.
138a0c5ad30SAmir Goldstein 			 */
139a0c5ad30SAmir Goldstein 			stat->dev = ovl_get_pseudo_dev(dentry);
140a0c5ad30SAmir Goldstein 		}
141a0c5ad30SAmir Goldstein 	} else {
142a0c5ad30SAmir Goldstein 		/*
1435b712091SMiklos Szeredi 		 * Always use the overlay st_dev for directories, so 'find
1445b712091SMiklos Szeredi 		 * -xdev' will scan the entire overlay mount and won't cross the
1455b712091SMiklos Szeredi 		 * overlay mount boundaries.
146a0c5ad30SAmir Goldstein 		 *
147a0c5ad30SAmir Goldstein 		 * If not all layers are on the same fs the pair {real st_ino;
148a0c5ad30SAmir Goldstein 		 * overlay st_dev} is not unique, so use the non persistent
149a0c5ad30SAmir Goldstein 		 * overlay st_ino for directories.
1505b712091SMiklos Szeredi 		 */
1515b712091SMiklos Szeredi 		stat->dev = dentry->d_sb->s_dev;
1525b712091SMiklos Szeredi 		stat->ino = dentry->d_inode->i_ino;
15372b608f0SAmir Goldstein 	}
1545b712091SMiklos Szeredi 
1555b712091SMiklos Szeredi 	/*
1565b712091SMiklos Szeredi 	 * It's probably not worth it to count subdirs to get the
1575b712091SMiklos Szeredi 	 * correct link count.  nlink=1 seems to pacify 'find' and
1585b712091SMiklos Szeredi 	 * other utilities.
1595b712091SMiklos Szeredi 	 */
1605b712091SMiklos Szeredi 	if (is_dir && OVL_TYPE_MERGE(type))
1615b712091SMiklos Szeredi 		stat->nlink = 1;
1625b712091SMiklos Szeredi 
1635f8415d6SAmir Goldstein 	/*
1645f8415d6SAmir Goldstein 	 * Return the overlay inode nlinks for indexed upper inodes.
1655f8415d6SAmir Goldstein 	 * Overlay inode nlink counts the union of the upper hardlinks
1665f8415d6SAmir Goldstein 	 * and non-covered lower hardlinks. It does not include the upper
1675f8415d6SAmir Goldstein 	 * index hardlink.
1685f8415d6SAmir Goldstein 	 */
1695f8415d6SAmir Goldstein 	if (!is_dir && ovl_test_flag(OVL_INDEX, d_inode(dentry)))
1705f8415d6SAmir Goldstein 		stat->nlink = dentry->d_inode->i_nlink;
1715f8415d6SAmir Goldstein 
17272b608f0SAmir Goldstein out:
1731175b6b8SVivek Goyal 	revert_creds(old_cred);
17472b608f0SAmir Goldstein 
1751175b6b8SVivek Goyal 	return err;
176e9be9d5eSMiklos Szeredi }
177e9be9d5eSMiklos Szeredi 
178e9be9d5eSMiklos Szeredi int ovl_permission(struct inode *inode, int mask)
179e9be9d5eSMiklos Szeredi {
18009d8b586SMiklos Szeredi 	struct inode *upperinode = ovl_inode_upper(inode);
18109d8b586SMiklos Szeredi 	struct inode *realinode = upperinode ?: ovl_inode_lower(inode);
182c0ca3d70SVivek Goyal 	const struct cred *old_cred;
183e9be9d5eSMiklos Szeredi 	int err;
184e9be9d5eSMiklos Szeredi 
185e9be9d5eSMiklos Szeredi 	/* Careful in RCU walk mode */
186e9be9d5eSMiklos Szeredi 	if (!realinode) {
187e9be9d5eSMiklos Szeredi 		WARN_ON(!(mask & MAY_NOT_BLOCK));
188a999d7e1SMiklos Szeredi 		return -ECHILD;
189e9be9d5eSMiklos Szeredi 	}
190e9be9d5eSMiklos Szeredi 
191c0ca3d70SVivek Goyal 	/*
192c0ca3d70SVivek Goyal 	 * Check overlay inode with the creds of task and underlying inode
193c0ca3d70SVivek Goyal 	 * with creds of mounter
194c0ca3d70SVivek Goyal 	 */
195c0ca3d70SVivek Goyal 	err = generic_permission(inode, mask);
196c0ca3d70SVivek Goyal 	if (err)
197c0ca3d70SVivek Goyal 		return err;
198c0ca3d70SVivek Goyal 
199c0ca3d70SVivek Goyal 	old_cred = ovl_override_creds(inode->i_sb);
20009d8b586SMiklos Szeredi 	if (!upperinode &&
20109d8b586SMiklos Szeredi 	    !special_file(realinode->i_mode) && mask & MAY_WRITE) {
202754f8cb7SVivek Goyal 		mask &= ~(MAY_WRITE | MAY_APPEND);
203500cac3cSVivek Goyal 		/* Make sure mounter can read file for copy up later */
204500cac3cSVivek Goyal 		mask |= MAY_READ;
205500cac3cSVivek Goyal 	}
2069c630ebeSMiklos Szeredi 	err = inode_permission(realinode, mask);
207c0ca3d70SVivek Goyal 	revert_creds(old_cred);
208c0ca3d70SVivek Goyal 
209c0ca3d70SVivek Goyal 	return err;
210e9be9d5eSMiklos Szeredi }
211e9be9d5eSMiklos Szeredi 
2126b255391SAl Viro static const char *ovl_get_link(struct dentry *dentry,
213fceef393SAl Viro 				struct inode *inode,
214fceef393SAl Viro 				struct delayed_call *done)
215e9be9d5eSMiklos Szeredi {
2161175b6b8SVivek Goyal 	const struct cred *old_cred;
2171175b6b8SVivek Goyal 	const char *p;
218e9be9d5eSMiklos Szeredi 
2196b255391SAl Viro 	if (!dentry)
2206b255391SAl Viro 		return ERR_PTR(-ECHILD);
2216b255391SAl Viro 
2221175b6b8SVivek Goyal 	old_cred = ovl_override_creds(dentry->d_sb);
2237764235bSMiklos Szeredi 	p = vfs_get_link(ovl_dentry_real(dentry), done);
2241175b6b8SVivek Goyal 	revert_creds(old_cred);
2251175b6b8SVivek Goyal 	return p;
226e9be9d5eSMiklos Szeredi }
227e9be9d5eSMiklos Szeredi 
2280956254aSMiklos Szeredi bool ovl_is_private_xattr(const char *name)
229e9be9d5eSMiklos Szeredi {
230fe2b7595SAndreas Gruenbacher 	return strncmp(name, OVL_XATTR_PREFIX,
231fe2b7595SAndreas Gruenbacher 		       sizeof(OVL_XATTR_PREFIX) - 1) == 0;
232e9be9d5eSMiklos Szeredi }
233e9be9d5eSMiklos Szeredi 
2341d88f183SMiklos Szeredi int ovl_xattr_set(struct dentry *dentry, struct inode *inode, const char *name,
2351d88f183SMiklos Szeredi 		  const void *value, size_t size, int flags)
236e9be9d5eSMiklos Szeredi {
237e9be9d5eSMiklos Szeredi 	int err;
2381d88f183SMiklos Szeredi 	struct dentry *upperdentry = ovl_i_dentry_upper(inode);
2391d88f183SMiklos Szeredi 	struct dentry *realdentry = upperdentry ?: ovl_dentry_lower(dentry);
2401175b6b8SVivek Goyal 	const struct cred *old_cred;
241e9be9d5eSMiklos Szeredi 
242e9be9d5eSMiklos Szeredi 	err = ovl_want_write(dentry);
243e9be9d5eSMiklos Szeredi 	if (err)
244e9be9d5eSMiklos Szeredi 		goto out;
245e9be9d5eSMiklos Szeredi 
2461d88f183SMiklos Szeredi 	if (!value && !upperdentry) {
2471d88f183SMiklos Szeredi 		err = vfs_getxattr(realdentry, name, NULL, 0);
2480e585cccSAndreas Gruenbacher 		if (err < 0)
2490e585cccSAndreas Gruenbacher 			goto out_drop_write;
2500e585cccSAndreas Gruenbacher 	}
2510e585cccSAndreas Gruenbacher 
2521d88f183SMiklos Szeredi 	if (!upperdentry) {
253e9be9d5eSMiklos Szeredi 		err = ovl_copy_up(dentry);
254e9be9d5eSMiklos Szeredi 		if (err)
255e9be9d5eSMiklos Szeredi 			goto out_drop_write;
256e9be9d5eSMiklos Szeredi 
2571d88f183SMiklos Szeredi 		realdentry = ovl_dentry_upper(dentry);
2581d88f183SMiklos Szeredi 	}
2590e585cccSAndreas Gruenbacher 
2601175b6b8SVivek Goyal 	old_cred = ovl_override_creds(dentry->d_sb);
2610e585cccSAndreas Gruenbacher 	if (value)
2621d88f183SMiklos Szeredi 		err = vfs_setxattr(realdentry, name, value, size, flags);
2630e585cccSAndreas Gruenbacher 	else {
2640e585cccSAndreas Gruenbacher 		WARN_ON(flags != XATTR_REPLACE);
2651d88f183SMiklos Szeredi 		err = vfs_removexattr(realdentry, name);
2660e585cccSAndreas Gruenbacher 	}
2671175b6b8SVivek Goyal 	revert_creds(old_cred);
268e9be9d5eSMiklos Szeredi 
269e9be9d5eSMiklos Szeredi out_drop_write:
270e9be9d5eSMiklos Szeredi 	ovl_drop_write(dentry);
271e9be9d5eSMiklos Szeredi out:
272e9be9d5eSMiklos Szeredi 	return err;
273e9be9d5eSMiklos Szeredi }
274e9be9d5eSMiklos Szeredi 
2751d88f183SMiklos Szeredi int ovl_xattr_get(struct dentry *dentry, struct inode *inode, const char *name,
2760eb45fc3SAndreas Gruenbacher 		  void *value, size_t size)
277e9be9d5eSMiklos Szeredi {
2781175b6b8SVivek Goyal 	ssize_t res;
2791175b6b8SVivek Goyal 	const struct cred *old_cred;
2801d88f183SMiklos Szeredi 	struct dentry *realdentry =
2811d88f183SMiklos Szeredi 		ovl_i_dentry_upper(inode) ?: ovl_dentry_lower(dentry);
28252148463SMiklos Szeredi 
2831175b6b8SVivek Goyal 	old_cred = ovl_override_creds(dentry->d_sb);
2841175b6b8SVivek Goyal 	res = vfs_getxattr(realdentry, name, value, size);
2851175b6b8SVivek Goyal 	revert_creds(old_cred);
2861175b6b8SVivek Goyal 	return res;
287e9be9d5eSMiklos Szeredi }
288e9be9d5eSMiklos Szeredi 
289a082c6f6SMiklos Szeredi static bool ovl_can_list(const char *s)
290a082c6f6SMiklos Szeredi {
291a082c6f6SMiklos Szeredi 	/* List all non-trusted xatts */
292a082c6f6SMiklos Szeredi 	if (strncmp(s, XATTR_TRUSTED_PREFIX, XATTR_TRUSTED_PREFIX_LEN) != 0)
293a082c6f6SMiklos Szeredi 		return true;
294a082c6f6SMiklos Szeredi 
295a082c6f6SMiklos Szeredi 	/* Never list trusted.overlay, list other trusted for superuser only */
296a082c6f6SMiklos Szeredi 	return !ovl_is_private_xattr(s) && capable(CAP_SYS_ADMIN);
297a082c6f6SMiklos Szeredi }
298a082c6f6SMiklos Szeredi 
299e9be9d5eSMiklos Szeredi ssize_t ovl_listxattr(struct dentry *dentry, char *list, size_t size)
300e9be9d5eSMiklos Szeredi {
301b581755bSMiklos Szeredi 	struct dentry *realdentry = ovl_dentry_real(dentry);
302e9be9d5eSMiklos Szeredi 	ssize_t res;
3037cb35119SMiklos Szeredi 	size_t len;
3047cb35119SMiklos Szeredi 	char *s;
3051175b6b8SVivek Goyal 	const struct cred *old_cred;
306e9be9d5eSMiklos Szeredi 
3071175b6b8SVivek Goyal 	old_cred = ovl_override_creds(dentry->d_sb);
308b581755bSMiklos Szeredi 	res = vfs_listxattr(realdentry, list, size);
3091175b6b8SVivek Goyal 	revert_creds(old_cred);
310e9be9d5eSMiklos Szeredi 	if (res <= 0 || size == 0)
311e9be9d5eSMiklos Szeredi 		return res;
312e9be9d5eSMiklos Szeredi 
313e9be9d5eSMiklos Szeredi 	/* filter out private xattrs */
3147cb35119SMiklos Szeredi 	for (s = list, len = res; len;) {
3157cb35119SMiklos Szeredi 		size_t slen = strnlen(s, len) + 1;
316e9be9d5eSMiklos Szeredi 
3177cb35119SMiklos Szeredi 		/* underlying fs providing us with an broken xattr list? */
3187cb35119SMiklos Szeredi 		if (WARN_ON(slen > len))
3197cb35119SMiklos Szeredi 			return -EIO;
320e9be9d5eSMiklos Szeredi 
3217cb35119SMiklos Szeredi 		len -= slen;
322a082c6f6SMiklos Szeredi 		if (!ovl_can_list(s)) {
323e9be9d5eSMiklos Szeredi 			res -= slen;
3247cb35119SMiklos Szeredi 			memmove(s, s + slen, len);
325e9be9d5eSMiklos Szeredi 		} else {
3267cb35119SMiklos Szeredi 			s += slen;
327e9be9d5eSMiklos Szeredi 		}
328e9be9d5eSMiklos Szeredi 	}
329e9be9d5eSMiklos Szeredi 
330e9be9d5eSMiklos Szeredi 	return res;
331e9be9d5eSMiklos Szeredi }
332e9be9d5eSMiklos Szeredi 
33339a25b2bSVivek Goyal struct posix_acl *ovl_get_acl(struct inode *inode, int type)
33439a25b2bSVivek Goyal {
33509d8b586SMiklos Szeredi 	struct inode *realinode = ovl_inode_real(inode);
3361175b6b8SVivek Goyal 	const struct cred *old_cred;
3371175b6b8SVivek Goyal 	struct posix_acl *acl;
33839a25b2bSVivek Goyal 
3395201dc44SMiklos Szeredi 	if (!IS_ENABLED(CONFIG_FS_POSIX_ACL) || !IS_POSIXACL(realinode))
34039a25b2bSVivek Goyal 		return NULL;
34139a25b2bSVivek Goyal 
3421175b6b8SVivek Goyal 	old_cred = ovl_override_creds(inode->i_sb);
3435201dc44SMiklos Szeredi 	acl = get_acl(realinode, type);
3441175b6b8SVivek Goyal 	revert_creds(old_cred);
3451175b6b8SVivek Goyal 
3461175b6b8SVivek Goyal 	return acl;
34739a25b2bSVivek Goyal }
34839a25b2bSVivek Goyal 
34959be0971SAmir Goldstein static bool ovl_open_need_copy_up(struct dentry *dentry, int flags)
350e9be9d5eSMiklos Szeredi {
351aa3ff3c1SAmir Goldstein 	/* Copy up of disconnected dentry does not set upper alias */
35259be0971SAmir Goldstein 	if (ovl_dentry_upper(dentry) &&
353aa3ff3c1SAmir Goldstein 	    (ovl_dentry_has_upper_alias(dentry) ||
354aa3ff3c1SAmir Goldstein 	     (dentry->d_flags & DCACHE_DISCONNECTED)))
355e9be9d5eSMiklos Szeredi 		return false;
356e9be9d5eSMiklos Szeredi 
35759be0971SAmir Goldstein 	if (special_file(d_inode(dentry)->i_mode))
358e9be9d5eSMiklos Szeredi 		return false;
359e9be9d5eSMiklos Szeredi 
360e9be9d5eSMiklos Szeredi 	if (!(OPEN_FMODE(flags) & FMODE_WRITE) && !(flags & O_TRUNC))
361e9be9d5eSMiklos Szeredi 		return false;
362e9be9d5eSMiklos Szeredi 
363e9be9d5eSMiklos Szeredi 	return true;
364e9be9d5eSMiklos Szeredi }
365e9be9d5eSMiklos Szeredi 
3662d902671SMiklos Szeredi int ovl_open_maybe_copy_up(struct dentry *dentry, unsigned int file_flags)
367e9be9d5eSMiklos Szeredi {
3682d902671SMiklos Szeredi 	int err = 0;
369e9be9d5eSMiklos Szeredi 
37059be0971SAmir Goldstein 	if (ovl_open_need_copy_up(dentry, file_flags)) {
371e9be9d5eSMiklos Szeredi 		err = ovl_want_write(dentry);
3722d902671SMiklos Szeredi 		if (!err) {
3739aba6521SAmir Goldstein 			err = ovl_copy_up_flags(dentry, file_flags);
374f25801eeSDavid Howells 			ovl_drop_write(dentry);
3752d902671SMiklos Szeredi 		}
376e9be9d5eSMiklos Szeredi 	}
377e9be9d5eSMiklos Szeredi 
3782d902671SMiklos Szeredi 	return err;
379e9be9d5eSMiklos Szeredi }
380e9be9d5eSMiklos Szeredi 
381d719e8f2SMiklos Szeredi int ovl_update_time(struct inode *inode, struct timespec *ts, int flags)
382d719e8f2SMiklos Szeredi {
383d719e8f2SMiklos Szeredi 	struct dentry *alias;
384d719e8f2SMiklos Szeredi 	struct path upperpath;
385d719e8f2SMiklos Szeredi 
386d719e8f2SMiklos Szeredi 	if (!(flags & S_ATIME))
387d719e8f2SMiklos Szeredi 		return 0;
388d719e8f2SMiklos Szeredi 
389d719e8f2SMiklos Szeredi 	alias = d_find_any_alias(inode);
390d719e8f2SMiklos Szeredi 	if (!alias)
391d719e8f2SMiklos Szeredi 		return 0;
392d719e8f2SMiklos Szeredi 
393d719e8f2SMiklos Szeredi 	ovl_path_upper(alias, &upperpath);
394d719e8f2SMiklos Szeredi 	if (upperpath.dentry) {
395d719e8f2SMiklos Szeredi 		touch_atime(&upperpath);
396d719e8f2SMiklos Szeredi 		inode->i_atime = d_inode(upperpath.dentry)->i_atime;
397d719e8f2SMiklos Szeredi 	}
398d719e8f2SMiklos Szeredi 
399d719e8f2SMiklos Szeredi 	dput(alias);
400d719e8f2SMiklos Szeredi 
401d719e8f2SMiklos Szeredi 	return 0;
402d719e8f2SMiklos Szeredi }
403d719e8f2SMiklos Szeredi 
404e9be9d5eSMiklos Szeredi static const struct inode_operations ovl_file_inode_operations = {
405e9be9d5eSMiklos Szeredi 	.setattr	= ovl_setattr,
406e9be9d5eSMiklos Szeredi 	.permission	= ovl_permission,
407e9be9d5eSMiklos Szeredi 	.getattr	= ovl_getattr,
408e9be9d5eSMiklos Szeredi 	.listxattr	= ovl_listxattr,
40939a25b2bSVivek Goyal 	.get_acl	= ovl_get_acl,
410d719e8f2SMiklos Szeredi 	.update_time	= ovl_update_time,
411e9be9d5eSMiklos Szeredi };
412e9be9d5eSMiklos Szeredi 
413e9be9d5eSMiklos Szeredi static const struct inode_operations ovl_symlink_inode_operations = {
414e9be9d5eSMiklos Szeredi 	.setattr	= ovl_setattr,
4156b255391SAl Viro 	.get_link	= ovl_get_link,
416e9be9d5eSMiklos Szeredi 	.getattr	= ovl_getattr,
417e9be9d5eSMiklos Szeredi 	.listxattr	= ovl_listxattr,
418d719e8f2SMiklos Szeredi 	.update_time	= ovl_update_time,
419e9be9d5eSMiklos Szeredi };
420e9be9d5eSMiklos Szeredi 
421b1eaa950SAmir Goldstein /*
422b1eaa950SAmir Goldstein  * It is possible to stack overlayfs instance on top of another
423b1eaa950SAmir Goldstein  * overlayfs instance as lower layer. We need to annonate the
424b1eaa950SAmir Goldstein  * stackable i_mutex locks according to stack level of the super
425b1eaa950SAmir Goldstein  * block instance. An overlayfs instance can never be in stack
426b1eaa950SAmir Goldstein  * depth 0 (there is always a real fs below it).  An overlayfs
427b1eaa950SAmir Goldstein  * inode lock will use the lockdep annotaion ovl_i_mutex_key[depth].
428b1eaa950SAmir Goldstein  *
429b1eaa950SAmir Goldstein  * For example, here is a snip from /proc/lockdep_chains after
430b1eaa950SAmir Goldstein  * dir_iterate of nested overlayfs:
431b1eaa950SAmir Goldstein  *
432b1eaa950SAmir Goldstein  * [...] &ovl_i_mutex_dir_key[depth]   (stack_depth=2)
433b1eaa950SAmir Goldstein  * [...] &ovl_i_mutex_dir_key[depth]#2 (stack_depth=1)
434b1eaa950SAmir Goldstein  * [...] &type->i_mutex_dir_key        (stack_depth=0)
435b1eaa950SAmir Goldstein  */
436b1eaa950SAmir Goldstein #define OVL_MAX_NESTING FILESYSTEM_MAX_STACK_DEPTH
437b1eaa950SAmir Goldstein 
438b1eaa950SAmir Goldstein static inline void ovl_lockdep_annotate_inode_mutex_key(struct inode *inode)
439b1eaa950SAmir Goldstein {
440b1eaa950SAmir Goldstein #ifdef CONFIG_LOCKDEP
441b1eaa950SAmir Goldstein 	static struct lock_class_key ovl_i_mutex_key[OVL_MAX_NESTING];
442b1eaa950SAmir Goldstein 	static struct lock_class_key ovl_i_mutex_dir_key[OVL_MAX_NESTING];
4434eae06deSAmir Goldstein 	static struct lock_class_key ovl_i_lock_key[OVL_MAX_NESTING];
444b1eaa950SAmir Goldstein 
445b1eaa950SAmir Goldstein 	int depth = inode->i_sb->s_stack_depth - 1;
446b1eaa950SAmir Goldstein 
447b1eaa950SAmir Goldstein 	if (WARN_ON_ONCE(depth < 0 || depth >= OVL_MAX_NESTING))
448b1eaa950SAmir Goldstein 		depth = 0;
449b1eaa950SAmir Goldstein 
450b1eaa950SAmir Goldstein 	if (S_ISDIR(inode->i_mode))
451b1eaa950SAmir Goldstein 		lockdep_set_class(&inode->i_rwsem, &ovl_i_mutex_dir_key[depth]);
452b1eaa950SAmir Goldstein 	else
453b1eaa950SAmir Goldstein 		lockdep_set_class(&inode->i_rwsem, &ovl_i_mutex_key[depth]);
4544eae06deSAmir Goldstein 
4554eae06deSAmir Goldstein 	lockdep_set_class(&OVL_I(inode)->lock, &ovl_i_lock_key[depth]);
456b1eaa950SAmir Goldstein #endif
457b1eaa950SAmir Goldstein }
458b1eaa950SAmir Goldstein 
459695b46e7SAmir Goldstein static void ovl_fill_inode(struct inode *inode, umode_t mode, dev_t rdev,
460695b46e7SAmir Goldstein 			   unsigned long ino)
461e9be9d5eSMiklos Szeredi {
462695b46e7SAmir Goldstein 	/*
463695b46e7SAmir Goldstein 	 * When NFS export is enabled and d_ino is consistent with st_ino
464695b46e7SAmir Goldstein 	 * (samefs), set the same value to i_ino, because nfsd readdirplus
465695b46e7SAmir Goldstein 	 * compares d_ino values to i_ino values of child entries. When called
466695b46e7SAmir Goldstein 	 * from ovl_new_inode(), ino arg is 0, so i_ino will be updated to real
467695b46e7SAmir Goldstein 	 * upper inode i_ino on ovl_inode_init() or ovl_inode_update().
468695b46e7SAmir Goldstein 	 */
469695b46e7SAmir Goldstein 	if (inode->i_sb->s_export_op && ovl_same_sb(inode->i_sb))
470695b46e7SAmir Goldstein 		inode->i_ino = ino;
471695b46e7SAmir Goldstein 	else
472e9be9d5eSMiklos Szeredi 		inode->i_ino = get_next_ino();
473e9be9d5eSMiklos Szeredi 	inode->i_mode = mode;
474d719e8f2SMiklos Szeredi 	inode->i_flags |= S_NOCMTIME;
4752a3a2a3fSMiklos Szeredi #ifdef CONFIG_FS_POSIX_ACL
4762a3a2a3fSMiklos Szeredi 	inode->i_acl = inode->i_default_acl = ACL_DONT_CACHE;
4772a3a2a3fSMiklos Szeredi #endif
478e9be9d5eSMiklos Szeredi 
479b1eaa950SAmir Goldstein 	ovl_lockdep_annotate_inode_mutex_key(inode);
480b1eaa950SAmir Goldstein 
481ca4c8a3aSMiklos Szeredi 	switch (mode & S_IFMT) {
482ca4c8a3aSMiklos Szeredi 	case S_IFREG:
483ca4c8a3aSMiklos Szeredi 		inode->i_op = &ovl_file_inode_operations;
484ca4c8a3aSMiklos Szeredi 		break;
485ca4c8a3aSMiklos Szeredi 
486e9be9d5eSMiklos Szeredi 	case S_IFDIR:
487e9be9d5eSMiklos Szeredi 		inode->i_op = &ovl_dir_inode_operations;
488e9be9d5eSMiklos Szeredi 		inode->i_fop = &ovl_dir_operations;
489e9be9d5eSMiklos Szeredi 		break;
490e9be9d5eSMiklos Szeredi 
491e9be9d5eSMiklos Szeredi 	case S_IFLNK:
492e9be9d5eSMiklos Szeredi 		inode->i_op = &ovl_symlink_inode_operations;
493e9be9d5eSMiklos Szeredi 		break;
494e9be9d5eSMiklos Szeredi 
49551f7e52dSMiklos Szeredi 	default:
496e9be9d5eSMiklos Szeredi 		inode->i_op = &ovl_file_inode_operations;
497ca4c8a3aSMiklos Szeredi 		init_special_inode(inode, mode, rdev);
498e9be9d5eSMiklos Szeredi 		break;
49951f7e52dSMiklos Szeredi 	}
50051f7e52dSMiklos Szeredi }
501e9be9d5eSMiklos Szeredi 
5025f8415d6SAmir Goldstein /*
5035f8415d6SAmir Goldstein  * With inodes index enabled, an overlay inode nlink counts the union of upper
5045f8415d6SAmir Goldstein  * hardlinks and non-covered lower hardlinks. During the lifetime of a non-pure
5055f8415d6SAmir Goldstein  * upper inode, the following nlink modifying operations can happen:
5065f8415d6SAmir Goldstein  *
5075f8415d6SAmir Goldstein  * 1. Lower hardlink copy up
5085f8415d6SAmir Goldstein  * 2. Upper hardlink created, unlinked or renamed over
5095f8415d6SAmir Goldstein  * 3. Lower hardlink whiteout or renamed over
5105f8415d6SAmir Goldstein  *
5115f8415d6SAmir Goldstein  * For the first, copy up case, the union nlink does not change, whether the
5125f8415d6SAmir Goldstein  * operation succeeds or fails, but the upper inode nlink may change.
5135f8415d6SAmir Goldstein  * Therefore, before copy up, we store the union nlink value relative to the
5145f8415d6SAmir Goldstein  * lower inode nlink in the index inode xattr trusted.overlay.nlink.
5155f8415d6SAmir Goldstein  *
5165f8415d6SAmir Goldstein  * For the second, upper hardlink case, the union nlink should be incremented
5175f8415d6SAmir Goldstein  * or decremented IFF the operation succeeds, aligned with nlink change of the
5185f8415d6SAmir Goldstein  * upper inode. Therefore, before link/unlink/rename, we store the union nlink
5195f8415d6SAmir Goldstein  * value relative to the upper inode nlink in the index inode.
5205f8415d6SAmir Goldstein  *
5215f8415d6SAmir Goldstein  * For the last, lower cover up case, we simplify things by preceding the
5225f8415d6SAmir Goldstein  * whiteout or cover up with copy up. This makes sure that there is an index
5235f8415d6SAmir Goldstein  * upper inode where the nlink xattr can be stored before the copied up upper
5245f8415d6SAmir Goldstein  * entry is unlink.
5255f8415d6SAmir Goldstein  */
5265f8415d6SAmir Goldstein #define OVL_NLINK_ADD_UPPER	(1 << 0)
5275f8415d6SAmir Goldstein 
5285f8415d6SAmir Goldstein /*
5295f8415d6SAmir Goldstein  * On-disk format for indexed nlink:
5305f8415d6SAmir Goldstein  *
5315f8415d6SAmir Goldstein  * nlink relative to the upper inode - "U[+-]NUM"
5325f8415d6SAmir Goldstein  * nlink relative to the lower inode - "L[+-]NUM"
5335f8415d6SAmir Goldstein  */
5345f8415d6SAmir Goldstein 
5355f8415d6SAmir Goldstein static int ovl_set_nlink_common(struct dentry *dentry,
5365f8415d6SAmir Goldstein 				struct dentry *realdentry, const char *format)
5375f8415d6SAmir Goldstein {
5385f8415d6SAmir Goldstein 	struct inode *inode = d_inode(dentry);
5395f8415d6SAmir Goldstein 	struct inode *realinode = d_inode(realdentry);
5405f8415d6SAmir Goldstein 	char buf[13];
5415f8415d6SAmir Goldstein 	int len;
5425f8415d6SAmir Goldstein 
5435f8415d6SAmir Goldstein 	len = snprintf(buf, sizeof(buf), format,
5445f8415d6SAmir Goldstein 		       (int) (inode->i_nlink - realinode->i_nlink));
5455f8415d6SAmir Goldstein 
5466787341aSMiklos Szeredi 	if (WARN_ON(len >= sizeof(buf)))
5476787341aSMiklos Szeredi 		return -EIO;
5486787341aSMiklos Szeredi 
5495f8415d6SAmir Goldstein 	return ovl_do_setxattr(ovl_dentry_upper(dentry),
5505f8415d6SAmir Goldstein 			       OVL_XATTR_NLINK, buf, len, 0);
5515f8415d6SAmir Goldstein }
5525f8415d6SAmir Goldstein 
5535f8415d6SAmir Goldstein int ovl_set_nlink_upper(struct dentry *dentry)
5545f8415d6SAmir Goldstein {
5555f8415d6SAmir Goldstein 	return ovl_set_nlink_common(dentry, ovl_dentry_upper(dentry), "U%+i");
5565f8415d6SAmir Goldstein }
5575f8415d6SAmir Goldstein 
5585f8415d6SAmir Goldstein int ovl_set_nlink_lower(struct dentry *dentry)
5595f8415d6SAmir Goldstein {
5605f8415d6SAmir Goldstein 	return ovl_set_nlink_common(dentry, ovl_dentry_lower(dentry), "L%+i");
5615f8415d6SAmir Goldstein }
5625f8415d6SAmir Goldstein 
563caf70cb2SAmir Goldstein unsigned int ovl_get_nlink(struct dentry *lowerdentry,
5645f8415d6SAmir Goldstein 			   struct dentry *upperdentry,
5655f8415d6SAmir Goldstein 			   unsigned int fallback)
5665f8415d6SAmir Goldstein {
5675f8415d6SAmir Goldstein 	int nlink_diff;
5685f8415d6SAmir Goldstein 	int nlink;
5695f8415d6SAmir Goldstein 	char buf[13];
5705f8415d6SAmir Goldstein 	int err;
5715f8415d6SAmir Goldstein 
5725f8415d6SAmir Goldstein 	if (!lowerdentry || !upperdentry || d_inode(lowerdentry)->i_nlink == 1)
5735f8415d6SAmir Goldstein 		return fallback;
5745f8415d6SAmir Goldstein 
5755f8415d6SAmir Goldstein 	err = vfs_getxattr(upperdentry, OVL_XATTR_NLINK, &buf, sizeof(buf) - 1);
5765f8415d6SAmir Goldstein 	if (err < 0)
5775f8415d6SAmir Goldstein 		goto fail;
5785f8415d6SAmir Goldstein 
5795f8415d6SAmir Goldstein 	buf[err] = '\0';
5805f8415d6SAmir Goldstein 	if ((buf[0] != 'L' && buf[0] != 'U') ||
5815f8415d6SAmir Goldstein 	    (buf[1] != '+' && buf[1] != '-'))
5825f8415d6SAmir Goldstein 		goto fail;
5835f8415d6SAmir Goldstein 
5845f8415d6SAmir Goldstein 	err = kstrtoint(buf + 1, 10, &nlink_diff);
5855f8415d6SAmir Goldstein 	if (err < 0)
5865f8415d6SAmir Goldstein 		goto fail;
5875f8415d6SAmir Goldstein 
5885f8415d6SAmir Goldstein 	nlink = d_inode(buf[0] == 'L' ? lowerdentry : upperdentry)->i_nlink;
5895f8415d6SAmir Goldstein 	nlink += nlink_diff;
5905f8415d6SAmir Goldstein 
5915f8415d6SAmir Goldstein 	if (nlink <= 0)
5925f8415d6SAmir Goldstein 		goto fail;
5935f8415d6SAmir Goldstein 
5945f8415d6SAmir Goldstein 	return nlink;
5955f8415d6SAmir Goldstein 
5965f8415d6SAmir Goldstein fail:
5975f8415d6SAmir Goldstein 	pr_warn_ratelimited("overlayfs: failed to get index nlink (%pd2, err=%i)\n",
5985f8415d6SAmir Goldstein 			    upperdentry, err);
5995f8415d6SAmir Goldstein 	return fallback;
6005f8415d6SAmir Goldstein }
6015f8415d6SAmir Goldstein 
602ca4c8a3aSMiklos Szeredi struct inode *ovl_new_inode(struct super_block *sb, umode_t mode, dev_t rdev)
60351f7e52dSMiklos Szeredi {
60451f7e52dSMiklos Szeredi 	struct inode *inode;
60551f7e52dSMiklos Szeredi 
60651f7e52dSMiklos Szeredi 	inode = new_inode(sb);
60751f7e52dSMiklos Szeredi 	if (inode)
608695b46e7SAmir Goldstein 		ovl_fill_inode(inode, mode, rdev, 0);
60951f7e52dSMiklos Szeredi 
61051f7e52dSMiklos Szeredi 	return inode;
61151f7e52dSMiklos Szeredi }
61251f7e52dSMiklos Szeredi 
61351f7e52dSMiklos Szeredi static int ovl_inode_test(struct inode *inode, void *data)
61451f7e52dSMiklos Szeredi {
61525b7713aSMiklos Szeredi 	return inode->i_private == data;
61651f7e52dSMiklos Szeredi }
61751f7e52dSMiklos Szeredi 
61851f7e52dSMiklos Szeredi static int ovl_inode_set(struct inode *inode, void *data)
61951f7e52dSMiklos Szeredi {
62025b7713aSMiklos Szeredi 	inode->i_private = data;
62151f7e52dSMiklos Szeredi 	return 0;
62251f7e52dSMiklos Szeredi }
62351f7e52dSMiklos Szeredi 
624b9ac5c27SMiklos Szeredi static bool ovl_verify_inode(struct inode *inode, struct dentry *lowerdentry,
6254b91c30aSAmir Goldstein 			     struct dentry *upperdentry, bool strict)
626b9ac5c27SMiklos Szeredi {
6274b91c30aSAmir Goldstein 	/*
6284b91c30aSAmir Goldstein 	 * For directories, @strict verify from lookup path performs consistency
6294b91c30aSAmir Goldstein 	 * checks, so NULL lower/upper in dentry must match NULL lower/upper in
6304b91c30aSAmir Goldstein 	 * inode. Non @strict verify from NFS handle decode path passes NULL for
6314b91c30aSAmir Goldstein 	 * 'unknown' lower/upper.
6324b91c30aSAmir Goldstein 	 */
6334b91c30aSAmir Goldstein 	if (S_ISDIR(inode->i_mode) && strict) {
63431747edaSAmir Goldstein 		/* Real lower dir moved to upper layer under us? */
63531747edaSAmir Goldstein 		if (!lowerdentry && ovl_inode_lower(inode))
63631747edaSAmir Goldstein 			return false;
63731747edaSAmir Goldstein 
63831747edaSAmir Goldstein 		/* Lookup of an uncovered redirect origin? */
63931747edaSAmir Goldstein 		if (!upperdentry && ovl_inode_upper(inode))
64031747edaSAmir Goldstein 			return false;
64131747edaSAmir Goldstein 	}
64231747edaSAmir Goldstein 
643939ae4efSAmir Goldstein 	/*
644939ae4efSAmir Goldstein 	 * Allow non-NULL lower inode in ovl_inode even if lowerdentry is NULL.
645939ae4efSAmir Goldstein 	 * This happens when finding a copied up overlay inode for a renamed
646939ae4efSAmir Goldstein 	 * or hardlinked overlay dentry and lower dentry cannot be followed
647939ae4efSAmir Goldstein 	 * by origin because lower fs does not support file handles.
648939ae4efSAmir Goldstein 	 */
649939ae4efSAmir Goldstein 	if (lowerdentry && ovl_inode_lower(inode) != d_inode(lowerdentry))
650b9ac5c27SMiklos Szeredi 		return false;
651b9ac5c27SMiklos Szeredi 
652b9ac5c27SMiklos Szeredi 	/*
653b9ac5c27SMiklos Szeredi 	 * Allow non-NULL __upperdentry in inode even if upperdentry is NULL.
654b9ac5c27SMiklos Szeredi 	 * This happens when finding a lower alias for a copied up hard link.
655b9ac5c27SMiklos Szeredi 	 */
656b9ac5c27SMiklos Szeredi 	if (upperdentry && ovl_inode_upper(inode) != d_inode(upperdentry))
657b9ac5c27SMiklos Szeredi 		return false;
658b9ac5c27SMiklos Szeredi 
659b9ac5c27SMiklos Szeredi 	return true;
660b9ac5c27SMiklos Szeredi }
661b9ac5c27SMiklos Szeredi 
6624b91c30aSAmir Goldstein struct inode *ovl_lookup_inode(struct super_block *sb, struct dentry *real,
6634b91c30aSAmir Goldstein 			       bool is_upper)
6649436a1a3SAmir Goldstein {
6654b91c30aSAmir Goldstein 	struct inode *inode, *key = d_inode(real);
6669436a1a3SAmir Goldstein 
6679436a1a3SAmir Goldstein 	inode = ilookup5(sb, (unsigned long) key, ovl_inode_test, key);
6689436a1a3SAmir Goldstein 	if (!inode)
6699436a1a3SAmir Goldstein 		return NULL;
6709436a1a3SAmir Goldstein 
6714b91c30aSAmir Goldstein 	if (!ovl_verify_inode(inode, is_upper ? NULL : real,
6724b91c30aSAmir Goldstein 			      is_upper ? real : NULL, false)) {
6739436a1a3SAmir Goldstein 		iput(inode);
6749436a1a3SAmir Goldstein 		return ERR_PTR(-ESTALE);
6759436a1a3SAmir Goldstein 	}
6769436a1a3SAmir Goldstein 
6779436a1a3SAmir Goldstein 	return inode;
6789436a1a3SAmir Goldstein }
6799436a1a3SAmir Goldstein 
680764baba8SAmir Goldstein /*
681764baba8SAmir Goldstein  * Does overlay inode need to be hashed by lower inode?
682764baba8SAmir Goldstein  */
683764baba8SAmir Goldstein static bool ovl_hash_bylower(struct super_block *sb, struct dentry *upper,
684764baba8SAmir Goldstein 			     struct dentry *lower, struct dentry *index)
685764baba8SAmir Goldstein {
686764baba8SAmir Goldstein 	struct ovl_fs *ofs = sb->s_fs_info;
687764baba8SAmir Goldstein 
688764baba8SAmir Goldstein 	/* No, if pure upper */
689764baba8SAmir Goldstein 	if (!lower)
690764baba8SAmir Goldstein 		return false;
691764baba8SAmir Goldstein 
692764baba8SAmir Goldstein 	/* Yes, if already indexed */
693764baba8SAmir Goldstein 	if (index)
694764baba8SAmir Goldstein 		return true;
695764baba8SAmir Goldstein 
696764baba8SAmir Goldstein 	/* Yes, if won't be copied up */
697764baba8SAmir Goldstein 	if (!ofs->upper_mnt)
698764baba8SAmir Goldstein 		return true;
699764baba8SAmir Goldstein 
700764baba8SAmir Goldstein 	/* No, if lower hardlink is or will be broken on copy up */
701764baba8SAmir Goldstein 	if ((upper || !ovl_indexdir(sb)) &&
702764baba8SAmir Goldstein 	    !d_is_dir(lower) && d_inode(lower)->i_nlink > 1)
703764baba8SAmir Goldstein 		return false;
704764baba8SAmir Goldstein 
705764baba8SAmir Goldstein 	/* No, if non-indexed upper with NFS export */
706764baba8SAmir Goldstein 	if (sb->s_export_op && upper)
707764baba8SAmir Goldstein 		return false;
708764baba8SAmir Goldstein 
709764baba8SAmir Goldstein 	/* Otherwise, hash by lower inode for fsnotify */
710764baba8SAmir Goldstein 	return true;
711764baba8SAmir Goldstein }
712764baba8SAmir Goldstein 
7130aceb53eSAmir Goldstein struct inode *ovl_get_inode(struct super_block *sb, struct dentry *upperdentry,
7140aceb53eSAmir Goldstein 			    struct dentry *lowerdentry, struct dentry *index,
7150aceb53eSAmir Goldstein 			    unsigned int numlower)
71651f7e52dSMiklos Szeredi {
71709d8b586SMiklos Szeredi 	struct inode *realinode = upperdentry ? d_inode(upperdentry) : NULL;
71851f7e52dSMiklos Szeredi 	struct inode *inode;
719764baba8SAmir Goldstein 	bool bylower = ovl_hash_bylower(sb, upperdentry, lowerdentry, index);
72031747edaSAmir Goldstein 	bool is_dir;
721695b46e7SAmir Goldstein 	unsigned long ino = 0;
7226eaf0111SAmir Goldstein 
72309d8b586SMiklos Szeredi 	if (!realinode)
72409d8b586SMiklos Szeredi 		realinode = d_inode(lowerdentry);
72509d8b586SMiklos Szeredi 
7266eaf0111SAmir Goldstein 	/*
727764baba8SAmir Goldstein 	 * Copy up origin (lower) may exist for non-indexed upper, but we must
728764baba8SAmir Goldstein 	 * not use lower as hash key if this is a broken hardlink.
7296eaf0111SAmir Goldstein 	 */
73031747edaSAmir Goldstein 	is_dir = S_ISDIR(realinode->i_mode);
731764baba8SAmir Goldstein 	if (upperdentry || bylower) {
732764baba8SAmir Goldstein 		struct inode *key = d_inode(bylower ? lowerdentry :
733764baba8SAmir Goldstein 						      upperdentry);
73431747edaSAmir Goldstein 		unsigned int nlink = is_dir ? 1 : realinode->i_nlink;
735b9ac5c27SMiklos Szeredi 
7360aceb53eSAmir Goldstein 		inode = iget5_locked(sb, (unsigned long) key,
737b9ac5c27SMiklos Szeredi 				     ovl_inode_test, ovl_inode_set, key);
73809d8b586SMiklos Szeredi 		if (!inode)
739b9ac5c27SMiklos Szeredi 			goto out_nomem;
74009d8b586SMiklos Szeredi 		if (!(inode->i_state & I_NEW)) {
741b9ac5c27SMiklos Szeredi 			/*
742b9ac5c27SMiklos Szeredi 			 * Verify that the underlying files stored in the inode
743b9ac5c27SMiklos Szeredi 			 * match those in the dentry.
744b9ac5c27SMiklos Szeredi 			 */
7454b91c30aSAmir Goldstein 			if (!ovl_verify_inode(inode, lowerdentry, upperdentry,
7464b91c30aSAmir Goldstein 					      true)) {
747b9ac5c27SMiklos Szeredi 				iput(inode);
748b9ac5c27SMiklos Szeredi 				inode = ERR_PTR(-ESTALE);
749b9ac5c27SMiklos Szeredi 				goto out;
750b9ac5c27SMiklos Szeredi 			}
751b9ac5c27SMiklos Szeredi 
75209d8b586SMiklos Szeredi 			dput(upperdentry);
75309d8b586SMiklos Szeredi 			goto out;
75409d8b586SMiklos Szeredi 		}
755e9be9d5eSMiklos Szeredi 
75631747edaSAmir Goldstein 		/* Recalculate nlink for non-dir due to indexing */
75731747edaSAmir Goldstein 		if (!is_dir)
75831747edaSAmir Goldstein 			nlink = ovl_get_nlink(lowerdentry, upperdentry, nlink);
7595f8415d6SAmir Goldstein 		set_nlink(inode, nlink);
760695b46e7SAmir Goldstein 		ino = key->i_ino;
761e6d2ebddSMiklos Szeredi 	} else {
762764baba8SAmir Goldstein 		/* Lower hardlink that will be broken on copy up */
7630aceb53eSAmir Goldstein 		inode = new_inode(sb);
764e6d2ebddSMiklos Szeredi 		if (!inode)
765b9ac5c27SMiklos Szeredi 			goto out_nomem;
766e6d2ebddSMiklos Szeredi 	}
767695b46e7SAmir Goldstein 	ovl_fill_inode(inode, realinode->i_mode, realinode->i_rdev, ino);
76809d8b586SMiklos Szeredi 	ovl_inode_init(inode, upperdentry, lowerdentry);
76913c72075SMiklos Szeredi 
77013c72075SMiklos Szeredi 	if (upperdentry && ovl_is_impuredir(upperdentry))
77113c72075SMiklos Szeredi 		ovl_set_flag(OVL_IMPURE, inode);
77213c72075SMiklos Szeredi 
773b79e05aaSAmir Goldstein 	/* Check for non-merge dir that may have whiteouts */
77431747edaSAmir Goldstein 	if (is_dir) {
7750aceb53eSAmir Goldstein 		if (((upperdentry && lowerdentry) || numlower > 1) ||
776b79e05aaSAmir Goldstein 		    ovl_check_origin_xattr(upperdentry ?: lowerdentry)) {
777b79e05aaSAmir Goldstein 			ovl_set_flag(OVL_WHITEOUTS, inode);
778b79e05aaSAmir Goldstein 		}
779b79e05aaSAmir Goldstein 	}
780b79e05aaSAmir Goldstein 
781e6d2ebddSMiklos Szeredi 	if (inode->i_state & I_NEW)
782e6d2ebddSMiklos Szeredi 		unlock_new_inode(inode);
783e6d2ebddSMiklos Szeredi out:
784e9be9d5eSMiklos Szeredi 	return inode;
785b9ac5c27SMiklos Szeredi 
786b9ac5c27SMiklos Szeredi out_nomem:
787b9ac5c27SMiklos Szeredi 	inode = ERR_PTR(-ENOMEM);
788b9ac5c27SMiklos Szeredi 	goto out;
789e9be9d5eSMiklos Szeredi }
790