xref: /openbmc/linux/fs/overlayfs/inode.c (revision 8f35cf51cd24a08e3d5b97e7253c93a5c90a4c1e)
1e9be9d5eSMiklos Szeredi /*
2e9be9d5eSMiklos Szeredi  *
3e9be9d5eSMiklos Szeredi  * Copyright (C) 2011 Novell Inc.
4e9be9d5eSMiklos Szeredi  *
5e9be9d5eSMiklos Szeredi  * This program is free software; you can redistribute it and/or modify it
6e9be9d5eSMiklos Szeredi  * under the terms of the GNU General Public License version 2 as published by
7e9be9d5eSMiklos Szeredi  * the Free Software Foundation.
8e9be9d5eSMiklos Szeredi  */
9e9be9d5eSMiklos Szeredi 
10e9be9d5eSMiklos Szeredi #include <linux/fs.h>
11e9be9d5eSMiklos Szeredi #include <linux/slab.h>
125b825c3aSIngo Molnar #include <linux/cred.h>
13e9be9d5eSMiklos Szeredi #include <linux/xattr.h>
145201dc44SMiklos Szeredi #include <linux/posix_acl.h>
155f8415d6SAmir Goldstein #include <linux/ratelimit.h>
16e9be9d5eSMiklos Szeredi #include "overlayfs.h"
17e9be9d5eSMiklos Szeredi 
18ba1e563cSChandan Rajendra 
19ba1e563cSChandan Rajendra static dev_t ovl_get_pseudo_dev(struct dentry *dentry)
20ba1e563cSChandan Rajendra {
21ba1e563cSChandan Rajendra 	struct ovl_entry *oe = dentry->d_fsdata;
22ba1e563cSChandan Rajendra 
23ba1e563cSChandan Rajendra 	return oe->lowerstack[0].layer->pseudo_dev;
24ba1e563cSChandan Rajendra }
25ba1e563cSChandan Rajendra 
26e9be9d5eSMiklos Szeredi int ovl_setattr(struct dentry *dentry, struct iattr *attr)
27e9be9d5eSMiklos Szeredi {
28e9be9d5eSMiklos Szeredi 	int err;
29e9be9d5eSMiklos Szeredi 	struct dentry *upperdentry;
301175b6b8SVivek Goyal 	const struct cred *old_cred;
31e9be9d5eSMiklos Szeredi 
32cf9a6784SMiklos Szeredi 	/*
33cf9a6784SMiklos Szeredi 	 * Check for permissions before trying to copy-up.  This is redundant
34cf9a6784SMiklos Szeredi 	 * since it will be rechecked later by ->setattr() on upper dentry.  But
35cf9a6784SMiklos Szeredi 	 * without this, copy-up can be triggered by just about anybody.
36cf9a6784SMiklos Szeredi 	 *
37cf9a6784SMiklos Szeredi 	 * We don't initialize inode->size, which just means that
38cf9a6784SMiklos Szeredi 	 * inode_newsize_ok() will always check against MAX_LFS_FILESIZE and not
39cf9a6784SMiklos Szeredi 	 * check for a swapfile (which this won't be anyway).
40cf9a6784SMiklos Szeredi 	 */
4131051c85SJan Kara 	err = setattr_prepare(dentry, attr);
42cf9a6784SMiklos Szeredi 	if (err)
43cf9a6784SMiklos Szeredi 		return err;
44cf9a6784SMiklos Szeredi 
45e9be9d5eSMiklos Szeredi 	err = ovl_want_write(dentry);
46e9be9d5eSMiklos Szeredi 	if (err)
47e9be9d5eSMiklos Szeredi 		goto out;
48e9be9d5eSMiklos Szeredi 
49acff81ecSMiklos Szeredi 	err = ovl_copy_up(dentry);
50acff81ecSMiklos Szeredi 	if (!err) {
51e9be9d5eSMiklos Szeredi 		upperdentry = ovl_dentry_upper(dentry);
52acff81ecSMiklos Szeredi 
53b99c2d91SMiklos Szeredi 		if (attr->ia_valid & (ATTR_KILL_SUID|ATTR_KILL_SGID))
54b99c2d91SMiklos Szeredi 			attr->ia_valid &= ~ATTR_MODE;
55b99c2d91SMiklos Szeredi 
565955102cSAl Viro 		inode_lock(upperdentry->d_inode);
571175b6b8SVivek Goyal 		old_cred = ovl_override_creds(dentry->d_sb);
58e9be9d5eSMiklos Szeredi 		err = notify_change(upperdentry, attr, NULL);
591175b6b8SVivek Goyal 		revert_creds(old_cred);
60b81de061SKonstantin Khlebnikov 		if (!err)
61b81de061SKonstantin Khlebnikov 			ovl_copyattr(upperdentry->d_inode, dentry->d_inode);
625955102cSAl Viro 		inode_unlock(upperdentry->d_inode);
63e9be9d5eSMiklos Szeredi 	}
64e9be9d5eSMiklos Szeredi 	ovl_drop_write(dentry);
65e9be9d5eSMiklos Szeredi out:
66e9be9d5eSMiklos Szeredi 	return err;
67e9be9d5eSMiklos Szeredi }
68e9be9d5eSMiklos Szeredi 
695b712091SMiklos Szeredi int ovl_getattr(const struct path *path, struct kstat *stat,
70a528d35eSDavid Howells 		u32 request_mask, unsigned int flags)
71e9be9d5eSMiklos Szeredi {
72a528d35eSDavid Howells 	struct dentry *dentry = path->dentry;
7372b608f0SAmir Goldstein 	enum ovl_path_type type;
74e9be9d5eSMiklos Szeredi 	struct path realpath;
751175b6b8SVivek Goyal 	const struct cred *old_cred;
765b712091SMiklos Szeredi 	bool is_dir = S_ISDIR(dentry->d_inode->i_mode);
77a0c5ad30SAmir Goldstein 	bool samefs = ovl_same_sb(dentry->d_sb);
781175b6b8SVivek Goyal 	int err;
79e9be9d5eSMiklos Szeredi 
8072b608f0SAmir Goldstein 	type = ovl_path_real(dentry, &realpath);
811175b6b8SVivek Goyal 	old_cred = ovl_override_creds(dentry->d_sb);
82a528d35eSDavid Howells 	err = vfs_getattr(&realpath, stat, request_mask, flags);
8372b608f0SAmir Goldstein 	if (err)
8472b608f0SAmir Goldstein 		goto out;
8572b608f0SAmir Goldstein 
8672b608f0SAmir Goldstein 	/*
87a0c5ad30SAmir Goldstein 	 * For non-dir or same fs, we use st_ino of the copy up origin, if we
88a0c5ad30SAmir Goldstein 	 * know it. This guaranties constant st_dev/st_ino across copy up.
8972b608f0SAmir Goldstein 	 *
9072b608f0SAmir Goldstein 	 * If filesystem supports NFS export ops, this also guaranties
9172b608f0SAmir Goldstein 	 * persistent st_ino across mount cycle.
9272b608f0SAmir Goldstein 	 */
93a0c5ad30SAmir Goldstein 	if (!is_dir || samefs) {
9472b608f0SAmir Goldstein 		if (OVL_TYPE_ORIGIN(type)) {
9572b608f0SAmir Goldstein 			struct kstat lowerstat;
965b712091SMiklos Szeredi 			u32 lowermask = STATX_INO | (!is_dir ? STATX_NLINK : 0);
9772b608f0SAmir Goldstein 
9872b608f0SAmir Goldstein 			ovl_path_lower(dentry, &realpath);
9972b608f0SAmir Goldstein 			err = vfs_getattr(&realpath, &lowerstat,
1005b712091SMiklos Szeredi 					  lowermask, flags);
10172b608f0SAmir Goldstein 			if (err)
10272b608f0SAmir Goldstein 				goto out;
10372b608f0SAmir Goldstein 
10472b608f0SAmir Goldstein 			/*
105359f392cSAmir Goldstein 			 * Lower hardlinks may be broken on copy up to different
10672b608f0SAmir Goldstein 			 * upper files, so we cannot use the lower origin st_ino
10772b608f0SAmir Goldstein 			 * for those different files, even for the same fs case.
10886eaa130SAmir Goldstein 			 *
10986eaa130SAmir Goldstein 			 * Similarly, several redirected dirs can point to the
11086eaa130SAmir Goldstein 			 * same dir on a lower layer. With the "verify_lower"
11186eaa130SAmir Goldstein 			 * feature, we do not use the lower origin st_ino, if
11286eaa130SAmir Goldstein 			 * we haven't verified that this redirect is unique.
11386eaa130SAmir Goldstein 			 *
114359f392cSAmir Goldstein 			 * With inodes index enabled, it is safe to use st_ino
11586eaa130SAmir Goldstein 			 * of an indexed origin. The index validates that the
11686eaa130SAmir Goldstein 			 * upper hardlink is not broken and that a redirected
11786eaa130SAmir Goldstein 			 * dir is the only redirect to that origin.
11872b608f0SAmir Goldstein 			 */
11986eaa130SAmir Goldstein 			if (ovl_test_flag(OVL_INDEX, d_inode(dentry)) ||
12086eaa130SAmir Goldstein 			    (!ovl_verify_lower(dentry->d_sb) &&
1219f99e50dSAmir Goldstein 			     (is_dir || lowerstat.nlink == 1))) {
12272b608f0SAmir Goldstein 				stat->ino = lowerstat.ino;
123a0c5ad30SAmir Goldstein 				stat->dev = ovl_get_pseudo_dev(dentry);
12472b608f0SAmir Goldstein 			}
1259f99e50dSAmir Goldstein 		}
126a0c5ad30SAmir Goldstein 		if (samefs) {
1275b712091SMiklos Szeredi 			/*
128a0c5ad30SAmir Goldstein 			 * When all layers are on the same fs, all real inode
129a0c5ad30SAmir Goldstein 			 * number are unique, so we use the overlay st_dev,
130a0c5ad30SAmir Goldstein 			 * which is friendly to du -x.
131a0c5ad30SAmir Goldstein 			 */
132a0c5ad30SAmir Goldstein 			stat->dev = dentry->d_sb->s_dev;
133a0c5ad30SAmir Goldstein 		} else if (!OVL_TYPE_UPPER(type)) {
134a0c5ad30SAmir Goldstein 			/*
135a0c5ad30SAmir Goldstein 			 * For non-samefs setup, to make sure that st_dev/st_ino
136a0c5ad30SAmir Goldstein 			 * pair is unique across the system, we use a unique
137a0c5ad30SAmir Goldstein 			 * anonymous st_dev for lower layer inode.
138a0c5ad30SAmir Goldstein 			 */
139a0c5ad30SAmir Goldstein 			stat->dev = ovl_get_pseudo_dev(dentry);
140a0c5ad30SAmir Goldstein 		}
141a0c5ad30SAmir Goldstein 	} else {
142a0c5ad30SAmir Goldstein 		/*
1435b712091SMiklos Szeredi 		 * Always use the overlay st_dev for directories, so 'find
1445b712091SMiklos Szeredi 		 * -xdev' will scan the entire overlay mount and won't cross the
1455b712091SMiklos Szeredi 		 * overlay mount boundaries.
146a0c5ad30SAmir Goldstein 		 *
147a0c5ad30SAmir Goldstein 		 * If not all layers are on the same fs the pair {real st_ino;
148a0c5ad30SAmir Goldstein 		 * overlay st_dev} is not unique, so use the non persistent
149a0c5ad30SAmir Goldstein 		 * overlay st_ino for directories.
1505b712091SMiklos Szeredi 		 */
1515b712091SMiklos Szeredi 		stat->dev = dentry->d_sb->s_dev;
1525b712091SMiklos Szeredi 		stat->ino = dentry->d_inode->i_ino;
15372b608f0SAmir Goldstein 	}
1545b712091SMiklos Szeredi 
1555b712091SMiklos Szeredi 	/*
1565b712091SMiklos Szeredi 	 * It's probably not worth it to count subdirs to get the
1575b712091SMiklos Szeredi 	 * correct link count.  nlink=1 seems to pacify 'find' and
1585b712091SMiklos Szeredi 	 * other utilities.
1595b712091SMiklos Szeredi 	 */
1605b712091SMiklos Szeredi 	if (is_dir && OVL_TYPE_MERGE(type))
1615b712091SMiklos Szeredi 		stat->nlink = 1;
1625b712091SMiklos Szeredi 
1635f8415d6SAmir Goldstein 	/*
1645f8415d6SAmir Goldstein 	 * Return the overlay inode nlinks for indexed upper inodes.
1655f8415d6SAmir Goldstein 	 * Overlay inode nlink counts the union of the upper hardlinks
1665f8415d6SAmir Goldstein 	 * and non-covered lower hardlinks. It does not include the upper
1675f8415d6SAmir Goldstein 	 * index hardlink.
1685f8415d6SAmir Goldstein 	 */
1695f8415d6SAmir Goldstein 	if (!is_dir && ovl_test_flag(OVL_INDEX, d_inode(dentry)))
1705f8415d6SAmir Goldstein 		stat->nlink = dentry->d_inode->i_nlink;
1715f8415d6SAmir Goldstein 
17272b608f0SAmir Goldstein out:
1731175b6b8SVivek Goyal 	revert_creds(old_cred);
17472b608f0SAmir Goldstein 
1751175b6b8SVivek Goyal 	return err;
176e9be9d5eSMiklos Szeredi }
177e9be9d5eSMiklos Szeredi 
178e9be9d5eSMiklos Szeredi int ovl_permission(struct inode *inode, int mask)
179e9be9d5eSMiklos Szeredi {
18009d8b586SMiklos Szeredi 	struct inode *upperinode = ovl_inode_upper(inode);
18109d8b586SMiklos Szeredi 	struct inode *realinode = upperinode ?: ovl_inode_lower(inode);
182c0ca3d70SVivek Goyal 	const struct cred *old_cred;
183e9be9d5eSMiklos Szeredi 	int err;
184e9be9d5eSMiklos Szeredi 
185e9be9d5eSMiklos Szeredi 	/* Careful in RCU walk mode */
186e9be9d5eSMiklos Szeredi 	if (!realinode) {
187e9be9d5eSMiklos Szeredi 		WARN_ON(!(mask & MAY_NOT_BLOCK));
188a999d7e1SMiklos Szeredi 		return -ECHILD;
189e9be9d5eSMiklos Szeredi 	}
190e9be9d5eSMiklos Szeredi 
191c0ca3d70SVivek Goyal 	/*
192c0ca3d70SVivek Goyal 	 * Check overlay inode with the creds of task and underlying inode
193c0ca3d70SVivek Goyal 	 * with creds of mounter
194c0ca3d70SVivek Goyal 	 */
195c0ca3d70SVivek Goyal 	err = generic_permission(inode, mask);
196c0ca3d70SVivek Goyal 	if (err)
197c0ca3d70SVivek Goyal 		return err;
198c0ca3d70SVivek Goyal 
199c0ca3d70SVivek Goyal 	old_cred = ovl_override_creds(inode->i_sb);
20009d8b586SMiklos Szeredi 	if (!upperinode &&
20109d8b586SMiklos Szeredi 	    !special_file(realinode->i_mode) && mask & MAY_WRITE) {
202754f8cb7SVivek Goyal 		mask &= ~(MAY_WRITE | MAY_APPEND);
203500cac3cSVivek Goyal 		/* Make sure mounter can read file for copy up later */
204500cac3cSVivek Goyal 		mask |= MAY_READ;
205500cac3cSVivek Goyal 	}
2069c630ebeSMiklos Szeredi 	err = inode_permission(realinode, mask);
207c0ca3d70SVivek Goyal 	revert_creds(old_cred);
208c0ca3d70SVivek Goyal 
209c0ca3d70SVivek Goyal 	return err;
210e9be9d5eSMiklos Szeredi }
211e9be9d5eSMiklos Szeredi 
2126b255391SAl Viro static const char *ovl_get_link(struct dentry *dentry,
213fceef393SAl Viro 				struct inode *inode,
214fceef393SAl Viro 				struct delayed_call *done)
215e9be9d5eSMiklos Szeredi {
2161175b6b8SVivek Goyal 	const struct cred *old_cred;
2171175b6b8SVivek Goyal 	const char *p;
218e9be9d5eSMiklos Szeredi 
2196b255391SAl Viro 	if (!dentry)
2206b255391SAl Viro 		return ERR_PTR(-ECHILD);
2216b255391SAl Viro 
2221175b6b8SVivek Goyal 	old_cred = ovl_override_creds(dentry->d_sb);
2237764235bSMiklos Szeredi 	p = vfs_get_link(ovl_dentry_real(dentry), done);
2241175b6b8SVivek Goyal 	revert_creds(old_cred);
2251175b6b8SVivek Goyal 	return p;
226e9be9d5eSMiklos Szeredi }
227e9be9d5eSMiklos Szeredi 
2280956254aSMiklos Szeredi bool ovl_is_private_xattr(const char *name)
229e9be9d5eSMiklos Szeredi {
230fe2b7595SAndreas Gruenbacher 	return strncmp(name, OVL_XATTR_PREFIX,
231fe2b7595SAndreas Gruenbacher 		       sizeof(OVL_XATTR_PREFIX) - 1) == 0;
232e9be9d5eSMiklos Szeredi }
233e9be9d5eSMiklos Szeredi 
2341d88f183SMiklos Szeredi int ovl_xattr_set(struct dentry *dentry, struct inode *inode, const char *name,
2351d88f183SMiklos Szeredi 		  const void *value, size_t size, int flags)
236e9be9d5eSMiklos Szeredi {
237e9be9d5eSMiklos Szeredi 	int err;
2381d88f183SMiklos Szeredi 	struct dentry *upperdentry = ovl_i_dentry_upper(inode);
2391d88f183SMiklos Szeredi 	struct dentry *realdentry = upperdentry ?: ovl_dentry_lower(dentry);
2401175b6b8SVivek Goyal 	const struct cred *old_cred;
241e9be9d5eSMiklos Szeredi 
242e9be9d5eSMiklos Szeredi 	err = ovl_want_write(dentry);
243e9be9d5eSMiklos Szeredi 	if (err)
244e9be9d5eSMiklos Szeredi 		goto out;
245e9be9d5eSMiklos Szeredi 
2461d88f183SMiklos Szeredi 	if (!value && !upperdentry) {
2471d88f183SMiklos Szeredi 		err = vfs_getxattr(realdentry, name, NULL, 0);
2480e585cccSAndreas Gruenbacher 		if (err < 0)
2490e585cccSAndreas Gruenbacher 			goto out_drop_write;
2500e585cccSAndreas Gruenbacher 	}
2510e585cccSAndreas Gruenbacher 
2521d88f183SMiklos Szeredi 	if (!upperdentry) {
253e9be9d5eSMiklos Szeredi 		err = ovl_copy_up(dentry);
254e9be9d5eSMiklos Szeredi 		if (err)
255e9be9d5eSMiklos Szeredi 			goto out_drop_write;
256e9be9d5eSMiklos Szeredi 
2571d88f183SMiklos Szeredi 		realdentry = ovl_dentry_upper(dentry);
2581d88f183SMiklos Szeredi 	}
2590e585cccSAndreas Gruenbacher 
2601175b6b8SVivek Goyal 	old_cred = ovl_override_creds(dentry->d_sb);
2610e585cccSAndreas Gruenbacher 	if (value)
2621d88f183SMiklos Szeredi 		err = vfs_setxattr(realdentry, name, value, size, flags);
2630e585cccSAndreas Gruenbacher 	else {
2640e585cccSAndreas Gruenbacher 		WARN_ON(flags != XATTR_REPLACE);
2651d88f183SMiklos Szeredi 		err = vfs_removexattr(realdentry, name);
2660e585cccSAndreas Gruenbacher 	}
2671175b6b8SVivek Goyal 	revert_creds(old_cred);
268e9be9d5eSMiklos Szeredi 
269e9be9d5eSMiklos Szeredi out_drop_write:
270e9be9d5eSMiklos Szeredi 	ovl_drop_write(dentry);
271e9be9d5eSMiklos Szeredi out:
272e9be9d5eSMiklos Szeredi 	return err;
273e9be9d5eSMiklos Szeredi }
274e9be9d5eSMiklos Szeredi 
2751d88f183SMiklos Szeredi int ovl_xattr_get(struct dentry *dentry, struct inode *inode, const char *name,
2760eb45fc3SAndreas Gruenbacher 		  void *value, size_t size)
277e9be9d5eSMiklos Szeredi {
2781175b6b8SVivek Goyal 	ssize_t res;
2791175b6b8SVivek Goyal 	const struct cred *old_cred;
2801d88f183SMiklos Szeredi 	struct dentry *realdentry =
2811d88f183SMiklos Szeredi 		ovl_i_dentry_upper(inode) ?: ovl_dentry_lower(dentry);
28252148463SMiklos Szeredi 
2831175b6b8SVivek Goyal 	old_cred = ovl_override_creds(dentry->d_sb);
2841175b6b8SVivek Goyal 	res = vfs_getxattr(realdentry, name, value, size);
2851175b6b8SVivek Goyal 	revert_creds(old_cred);
2861175b6b8SVivek Goyal 	return res;
287e9be9d5eSMiklos Szeredi }
288e9be9d5eSMiklos Szeredi 
289a082c6f6SMiklos Szeredi static bool ovl_can_list(const char *s)
290a082c6f6SMiklos Szeredi {
291a082c6f6SMiklos Szeredi 	/* List all non-trusted xatts */
292a082c6f6SMiklos Szeredi 	if (strncmp(s, XATTR_TRUSTED_PREFIX, XATTR_TRUSTED_PREFIX_LEN) != 0)
293a082c6f6SMiklos Szeredi 		return true;
294a082c6f6SMiklos Szeredi 
295a082c6f6SMiklos Szeredi 	/* Never list trusted.overlay, list other trusted for superuser only */
296a082c6f6SMiklos Szeredi 	return !ovl_is_private_xattr(s) && capable(CAP_SYS_ADMIN);
297a082c6f6SMiklos Szeredi }
298a082c6f6SMiklos Szeredi 
299e9be9d5eSMiklos Szeredi ssize_t ovl_listxattr(struct dentry *dentry, char *list, size_t size)
300e9be9d5eSMiklos Szeredi {
301b581755bSMiklos Szeredi 	struct dentry *realdentry = ovl_dentry_real(dentry);
302e9be9d5eSMiklos Szeredi 	ssize_t res;
3037cb35119SMiklos Szeredi 	size_t len;
3047cb35119SMiklos Szeredi 	char *s;
3051175b6b8SVivek Goyal 	const struct cred *old_cred;
306e9be9d5eSMiklos Szeredi 
3071175b6b8SVivek Goyal 	old_cred = ovl_override_creds(dentry->d_sb);
308b581755bSMiklos Szeredi 	res = vfs_listxattr(realdentry, list, size);
3091175b6b8SVivek Goyal 	revert_creds(old_cred);
310e9be9d5eSMiklos Szeredi 	if (res <= 0 || size == 0)
311e9be9d5eSMiklos Szeredi 		return res;
312e9be9d5eSMiklos Szeredi 
313e9be9d5eSMiklos Szeredi 	/* filter out private xattrs */
3147cb35119SMiklos Szeredi 	for (s = list, len = res; len;) {
3157cb35119SMiklos Szeredi 		size_t slen = strnlen(s, len) + 1;
316e9be9d5eSMiklos Szeredi 
3177cb35119SMiklos Szeredi 		/* underlying fs providing us with an broken xattr list? */
3187cb35119SMiklos Szeredi 		if (WARN_ON(slen > len))
3197cb35119SMiklos Szeredi 			return -EIO;
320e9be9d5eSMiklos Szeredi 
3217cb35119SMiklos Szeredi 		len -= slen;
322a082c6f6SMiklos Szeredi 		if (!ovl_can_list(s)) {
323e9be9d5eSMiklos Szeredi 			res -= slen;
3247cb35119SMiklos Szeredi 			memmove(s, s + slen, len);
325e9be9d5eSMiklos Szeredi 		} else {
3267cb35119SMiklos Szeredi 			s += slen;
327e9be9d5eSMiklos Szeredi 		}
328e9be9d5eSMiklos Szeredi 	}
329e9be9d5eSMiklos Szeredi 
330e9be9d5eSMiklos Szeredi 	return res;
331e9be9d5eSMiklos Szeredi }
332e9be9d5eSMiklos Szeredi 
33339a25b2bSVivek Goyal struct posix_acl *ovl_get_acl(struct inode *inode, int type)
33439a25b2bSVivek Goyal {
33509d8b586SMiklos Szeredi 	struct inode *realinode = ovl_inode_real(inode);
3361175b6b8SVivek Goyal 	const struct cred *old_cred;
3371175b6b8SVivek Goyal 	struct posix_acl *acl;
33839a25b2bSVivek Goyal 
3395201dc44SMiklos Szeredi 	if (!IS_ENABLED(CONFIG_FS_POSIX_ACL) || !IS_POSIXACL(realinode))
34039a25b2bSVivek Goyal 		return NULL;
34139a25b2bSVivek Goyal 
3421175b6b8SVivek Goyal 	old_cred = ovl_override_creds(inode->i_sb);
3435201dc44SMiklos Szeredi 	acl = get_acl(realinode, type);
3441175b6b8SVivek Goyal 	revert_creds(old_cred);
3451175b6b8SVivek Goyal 
3461175b6b8SVivek Goyal 	return acl;
34739a25b2bSVivek Goyal }
34839a25b2bSVivek Goyal 
34959be0971SAmir Goldstein static bool ovl_open_need_copy_up(struct dentry *dentry, int flags)
350e9be9d5eSMiklos Szeredi {
351aa3ff3c1SAmir Goldstein 	/* Copy up of disconnected dentry does not set upper alias */
35259be0971SAmir Goldstein 	if (ovl_dentry_upper(dentry) &&
353aa3ff3c1SAmir Goldstein 	    (ovl_dentry_has_upper_alias(dentry) ||
354aa3ff3c1SAmir Goldstein 	     (dentry->d_flags & DCACHE_DISCONNECTED)))
355e9be9d5eSMiklos Szeredi 		return false;
356e9be9d5eSMiklos Szeredi 
35759be0971SAmir Goldstein 	if (special_file(d_inode(dentry)->i_mode))
358e9be9d5eSMiklos Szeredi 		return false;
359e9be9d5eSMiklos Szeredi 
360e9be9d5eSMiklos Szeredi 	if (!(OPEN_FMODE(flags) & FMODE_WRITE) && !(flags & O_TRUNC))
361e9be9d5eSMiklos Szeredi 		return false;
362e9be9d5eSMiklos Szeredi 
363e9be9d5eSMiklos Szeredi 	return true;
364e9be9d5eSMiklos Szeredi }
365e9be9d5eSMiklos Szeredi 
3662d902671SMiklos Szeredi int ovl_open_maybe_copy_up(struct dentry *dentry, unsigned int file_flags)
367e9be9d5eSMiklos Szeredi {
3682d902671SMiklos Szeredi 	int err = 0;
369e9be9d5eSMiklos Szeredi 
37059be0971SAmir Goldstein 	if (ovl_open_need_copy_up(dentry, file_flags)) {
371e9be9d5eSMiklos Szeredi 		err = ovl_want_write(dentry);
3722d902671SMiklos Szeredi 		if (!err) {
3739aba6521SAmir Goldstein 			err = ovl_copy_up_flags(dentry, file_flags);
374f25801eeSDavid Howells 			ovl_drop_write(dentry);
3752d902671SMiklos Szeredi 		}
376e9be9d5eSMiklos Szeredi 	}
377e9be9d5eSMiklos Szeredi 
3782d902671SMiklos Szeredi 	return err;
379e9be9d5eSMiklos Szeredi }
380e9be9d5eSMiklos Szeredi 
381d719e8f2SMiklos Szeredi int ovl_update_time(struct inode *inode, struct timespec *ts, int flags)
382d719e8f2SMiklos Szeredi {
383*8f35cf51SMiklos Szeredi 	if (flags & S_ATIME) {
384*8f35cf51SMiklos Szeredi 		struct ovl_fs *ofs = inode->i_sb->s_fs_info;
385*8f35cf51SMiklos Szeredi 		struct path upperpath = {
386*8f35cf51SMiklos Szeredi 			.mnt = ofs->upper_mnt,
387*8f35cf51SMiklos Szeredi 			.dentry = ovl_upperdentry_dereference(OVL_I(inode)),
388*8f35cf51SMiklos Szeredi 		};
389d719e8f2SMiklos Szeredi 
390d719e8f2SMiklos Szeredi 		if (upperpath.dentry) {
391d719e8f2SMiklos Szeredi 			touch_atime(&upperpath);
392d719e8f2SMiklos Szeredi 			inode->i_atime = d_inode(upperpath.dentry)->i_atime;
393d719e8f2SMiklos Szeredi 		}
394*8f35cf51SMiklos Szeredi 	}
395d719e8f2SMiklos Szeredi 	return 0;
396d719e8f2SMiklos Szeredi }
397d719e8f2SMiklos Szeredi 
398e9be9d5eSMiklos Szeredi static const struct inode_operations ovl_file_inode_operations = {
399e9be9d5eSMiklos Szeredi 	.setattr	= ovl_setattr,
400e9be9d5eSMiklos Szeredi 	.permission	= ovl_permission,
401e9be9d5eSMiklos Szeredi 	.getattr	= ovl_getattr,
402e9be9d5eSMiklos Szeredi 	.listxattr	= ovl_listxattr,
40339a25b2bSVivek Goyal 	.get_acl	= ovl_get_acl,
404d719e8f2SMiklos Szeredi 	.update_time	= ovl_update_time,
405e9be9d5eSMiklos Szeredi };
406e9be9d5eSMiklos Szeredi 
407e9be9d5eSMiklos Szeredi static const struct inode_operations ovl_symlink_inode_operations = {
408e9be9d5eSMiklos Szeredi 	.setattr	= ovl_setattr,
4096b255391SAl Viro 	.get_link	= ovl_get_link,
410e9be9d5eSMiklos Szeredi 	.getattr	= ovl_getattr,
411e9be9d5eSMiklos Szeredi 	.listxattr	= ovl_listxattr,
412d719e8f2SMiklos Szeredi 	.update_time	= ovl_update_time,
413e9be9d5eSMiklos Szeredi };
414e9be9d5eSMiklos Szeredi 
415b1eaa950SAmir Goldstein /*
416b1eaa950SAmir Goldstein  * It is possible to stack overlayfs instance on top of another
417b1eaa950SAmir Goldstein  * overlayfs instance as lower layer. We need to annonate the
418b1eaa950SAmir Goldstein  * stackable i_mutex locks according to stack level of the super
419b1eaa950SAmir Goldstein  * block instance. An overlayfs instance can never be in stack
420b1eaa950SAmir Goldstein  * depth 0 (there is always a real fs below it).  An overlayfs
421b1eaa950SAmir Goldstein  * inode lock will use the lockdep annotaion ovl_i_mutex_key[depth].
422b1eaa950SAmir Goldstein  *
423b1eaa950SAmir Goldstein  * For example, here is a snip from /proc/lockdep_chains after
424b1eaa950SAmir Goldstein  * dir_iterate of nested overlayfs:
425b1eaa950SAmir Goldstein  *
426b1eaa950SAmir Goldstein  * [...] &ovl_i_mutex_dir_key[depth]   (stack_depth=2)
427b1eaa950SAmir Goldstein  * [...] &ovl_i_mutex_dir_key[depth]#2 (stack_depth=1)
428b1eaa950SAmir Goldstein  * [...] &type->i_mutex_dir_key        (stack_depth=0)
429b1eaa950SAmir Goldstein  */
430b1eaa950SAmir Goldstein #define OVL_MAX_NESTING FILESYSTEM_MAX_STACK_DEPTH
431b1eaa950SAmir Goldstein 
432b1eaa950SAmir Goldstein static inline void ovl_lockdep_annotate_inode_mutex_key(struct inode *inode)
433b1eaa950SAmir Goldstein {
434b1eaa950SAmir Goldstein #ifdef CONFIG_LOCKDEP
435b1eaa950SAmir Goldstein 	static struct lock_class_key ovl_i_mutex_key[OVL_MAX_NESTING];
436b1eaa950SAmir Goldstein 	static struct lock_class_key ovl_i_mutex_dir_key[OVL_MAX_NESTING];
4374eae06deSAmir Goldstein 	static struct lock_class_key ovl_i_lock_key[OVL_MAX_NESTING];
438b1eaa950SAmir Goldstein 
439b1eaa950SAmir Goldstein 	int depth = inode->i_sb->s_stack_depth - 1;
440b1eaa950SAmir Goldstein 
441b1eaa950SAmir Goldstein 	if (WARN_ON_ONCE(depth < 0 || depth >= OVL_MAX_NESTING))
442b1eaa950SAmir Goldstein 		depth = 0;
443b1eaa950SAmir Goldstein 
444b1eaa950SAmir Goldstein 	if (S_ISDIR(inode->i_mode))
445b1eaa950SAmir Goldstein 		lockdep_set_class(&inode->i_rwsem, &ovl_i_mutex_dir_key[depth]);
446b1eaa950SAmir Goldstein 	else
447b1eaa950SAmir Goldstein 		lockdep_set_class(&inode->i_rwsem, &ovl_i_mutex_key[depth]);
4484eae06deSAmir Goldstein 
4494eae06deSAmir Goldstein 	lockdep_set_class(&OVL_I(inode)->lock, &ovl_i_lock_key[depth]);
450b1eaa950SAmir Goldstein #endif
451b1eaa950SAmir Goldstein }
452b1eaa950SAmir Goldstein 
453695b46e7SAmir Goldstein static void ovl_fill_inode(struct inode *inode, umode_t mode, dev_t rdev,
454695b46e7SAmir Goldstein 			   unsigned long ino)
455e9be9d5eSMiklos Szeredi {
456695b46e7SAmir Goldstein 	/*
457695b46e7SAmir Goldstein 	 * When NFS export is enabled and d_ino is consistent with st_ino
458695b46e7SAmir Goldstein 	 * (samefs), set the same value to i_ino, because nfsd readdirplus
459695b46e7SAmir Goldstein 	 * compares d_ino values to i_ino values of child entries. When called
460695b46e7SAmir Goldstein 	 * from ovl_new_inode(), ino arg is 0, so i_ino will be updated to real
461695b46e7SAmir Goldstein 	 * upper inode i_ino on ovl_inode_init() or ovl_inode_update().
462695b46e7SAmir Goldstein 	 */
463695b46e7SAmir Goldstein 	if (inode->i_sb->s_export_op && ovl_same_sb(inode->i_sb))
464695b46e7SAmir Goldstein 		inode->i_ino = ino;
465695b46e7SAmir Goldstein 	else
466e9be9d5eSMiklos Szeredi 		inode->i_ino = get_next_ino();
467e9be9d5eSMiklos Szeredi 	inode->i_mode = mode;
468d719e8f2SMiklos Szeredi 	inode->i_flags |= S_NOCMTIME;
4692a3a2a3fSMiklos Szeredi #ifdef CONFIG_FS_POSIX_ACL
4702a3a2a3fSMiklos Szeredi 	inode->i_acl = inode->i_default_acl = ACL_DONT_CACHE;
4712a3a2a3fSMiklos Szeredi #endif
472e9be9d5eSMiklos Szeredi 
473b1eaa950SAmir Goldstein 	ovl_lockdep_annotate_inode_mutex_key(inode);
474b1eaa950SAmir Goldstein 
475ca4c8a3aSMiklos Szeredi 	switch (mode & S_IFMT) {
476ca4c8a3aSMiklos Szeredi 	case S_IFREG:
477ca4c8a3aSMiklos Szeredi 		inode->i_op = &ovl_file_inode_operations;
478ca4c8a3aSMiklos Szeredi 		break;
479ca4c8a3aSMiklos Szeredi 
480e9be9d5eSMiklos Szeredi 	case S_IFDIR:
481e9be9d5eSMiklos Szeredi 		inode->i_op = &ovl_dir_inode_operations;
482e9be9d5eSMiklos Szeredi 		inode->i_fop = &ovl_dir_operations;
483e9be9d5eSMiklos Szeredi 		break;
484e9be9d5eSMiklos Szeredi 
485e9be9d5eSMiklos Szeredi 	case S_IFLNK:
486e9be9d5eSMiklos Szeredi 		inode->i_op = &ovl_symlink_inode_operations;
487e9be9d5eSMiklos Szeredi 		break;
488e9be9d5eSMiklos Szeredi 
48951f7e52dSMiklos Szeredi 	default:
490e9be9d5eSMiklos Szeredi 		inode->i_op = &ovl_file_inode_operations;
491ca4c8a3aSMiklos Szeredi 		init_special_inode(inode, mode, rdev);
492e9be9d5eSMiklos Szeredi 		break;
49351f7e52dSMiklos Szeredi 	}
49451f7e52dSMiklos Szeredi }
495e9be9d5eSMiklos Szeredi 
4965f8415d6SAmir Goldstein /*
4975f8415d6SAmir Goldstein  * With inodes index enabled, an overlay inode nlink counts the union of upper
4985f8415d6SAmir Goldstein  * hardlinks and non-covered lower hardlinks. During the lifetime of a non-pure
4995f8415d6SAmir Goldstein  * upper inode, the following nlink modifying operations can happen:
5005f8415d6SAmir Goldstein  *
5015f8415d6SAmir Goldstein  * 1. Lower hardlink copy up
5025f8415d6SAmir Goldstein  * 2. Upper hardlink created, unlinked or renamed over
5035f8415d6SAmir Goldstein  * 3. Lower hardlink whiteout or renamed over
5045f8415d6SAmir Goldstein  *
5055f8415d6SAmir Goldstein  * For the first, copy up case, the union nlink does not change, whether the
5065f8415d6SAmir Goldstein  * operation succeeds or fails, but the upper inode nlink may change.
5075f8415d6SAmir Goldstein  * Therefore, before copy up, we store the union nlink value relative to the
5085f8415d6SAmir Goldstein  * lower inode nlink in the index inode xattr trusted.overlay.nlink.
5095f8415d6SAmir Goldstein  *
5105f8415d6SAmir Goldstein  * For the second, upper hardlink case, the union nlink should be incremented
5115f8415d6SAmir Goldstein  * or decremented IFF the operation succeeds, aligned with nlink change of the
5125f8415d6SAmir Goldstein  * upper inode. Therefore, before link/unlink/rename, we store the union nlink
5135f8415d6SAmir Goldstein  * value relative to the upper inode nlink in the index inode.
5145f8415d6SAmir Goldstein  *
5155f8415d6SAmir Goldstein  * For the last, lower cover up case, we simplify things by preceding the
5165f8415d6SAmir Goldstein  * whiteout or cover up with copy up. This makes sure that there is an index
5175f8415d6SAmir Goldstein  * upper inode where the nlink xattr can be stored before the copied up upper
5185f8415d6SAmir Goldstein  * entry is unlink.
5195f8415d6SAmir Goldstein  */
5205f8415d6SAmir Goldstein #define OVL_NLINK_ADD_UPPER	(1 << 0)
5215f8415d6SAmir Goldstein 
5225f8415d6SAmir Goldstein /*
5235f8415d6SAmir Goldstein  * On-disk format for indexed nlink:
5245f8415d6SAmir Goldstein  *
5255f8415d6SAmir Goldstein  * nlink relative to the upper inode - "U[+-]NUM"
5265f8415d6SAmir Goldstein  * nlink relative to the lower inode - "L[+-]NUM"
5275f8415d6SAmir Goldstein  */
5285f8415d6SAmir Goldstein 
5295f8415d6SAmir Goldstein static int ovl_set_nlink_common(struct dentry *dentry,
5305f8415d6SAmir Goldstein 				struct dentry *realdentry, const char *format)
5315f8415d6SAmir Goldstein {
5325f8415d6SAmir Goldstein 	struct inode *inode = d_inode(dentry);
5335f8415d6SAmir Goldstein 	struct inode *realinode = d_inode(realdentry);
5345f8415d6SAmir Goldstein 	char buf[13];
5355f8415d6SAmir Goldstein 	int len;
5365f8415d6SAmir Goldstein 
5375f8415d6SAmir Goldstein 	len = snprintf(buf, sizeof(buf), format,
5385f8415d6SAmir Goldstein 		       (int) (inode->i_nlink - realinode->i_nlink));
5395f8415d6SAmir Goldstein 
5406787341aSMiklos Szeredi 	if (WARN_ON(len >= sizeof(buf)))
5416787341aSMiklos Szeredi 		return -EIO;
5426787341aSMiklos Szeredi 
5435f8415d6SAmir Goldstein 	return ovl_do_setxattr(ovl_dentry_upper(dentry),
5445f8415d6SAmir Goldstein 			       OVL_XATTR_NLINK, buf, len, 0);
5455f8415d6SAmir Goldstein }
5465f8415d6SAmir Goldstein 
5475f8415d6SAmir Goldstein int ovl_set_nlink_upper(struct dentry *dentry)
5485f8415d6SAmir Goldstein {
5495f8415d6SAmir Goldstein 	return ovl_set_nlink_common(dentry, ovl_dentry_upper(dentry), "U%+i");
5505f8415d6SAmir Goldstein }
5515f8415d6SAmir Goldstein 
5525f8415d6SAmir Goldstein int ovl_set_nlink_lower(struct dentry *dentry)
5535f8415d6SAmir Goldstein {
5545f8415d6SAmir Goldstein 	return ovl_set_nlink_common(dentry, ovl_dentry_lower(dentry), "L%+i");
5555f8415d6SAmir Goldstein }
5565f8415d6SAmir Goldstein 
557caf70cb2SAmir Goldstein unsigned int ovl_get_nlink(struct dentry *lowerdentry,
5585f8415d6SAmir Goldstein 			   struct dentry *upperdentry,
5595f8415d6SAmir Goldstein 			   unsigned int fallback)
5605f8415d6SAmir Goldstein {
5615f8415d6SAmir Goldstein 	int nlink_diff;
5625f8415d6SAmir Goldstein 	int nlink;
5635f8415d6SAmir Goldstein 	char buf[13];
5645f8415d6SAmir Goldstein 	int err;
5655f8415d6SAmir Goldstein 
5665f8415d6SAmir Goldstein 	if (!lowerdentry || !upperdentry || d_inode(lowerdentry)->i_nlink == 1)
5675f8415d6SAmir Goldstein 		return fallback;
5685f8415d6SAmir Goldstein 
5695f8415d6SAmir Goldstein 	err = vfs_getxattr(upperdentry, OVL_XATTR_NLINK, &buf, sizeof(buf) - 1);
5705f8415d6SAmir Goldstein 	if (err < 0)
5715f8415d6SAmir Goldstein 		goto fail;
5725f8415d6SAmir Goldstein 
5735f8415d6SAmir Goldstein 	buf[err] = '\0';
5745f8415d6SAmir Goldstein 	if ((buf[0] != 'L' && buf[0] != 'U') ||
5755f8415d6SAmir Goldstein 	    (buf[1] != '+' && buf[1] != '-'))
5765f8415d6SAmir Goldstein 		goto fail;
5775f8415d6SAmir Goldstein 
5785f8415d6SAmir Goldstein 	err = kstrtoint(buf + 1, 10, &nlink_diff);
5795f8415d6SAmir Goldstein 	if (err < 0)
5805f8415d6SAmir Goldstein 		goto fail;
5815f8415d6SAmir Goldstein 
5825f8415d6SAmir Goldstein 	nlink = d_inode(buf[0] == 'L' ? lowerdentry : upperdentry)->i_nlink;
5835f8415d6SAmir Goldstein 	nlink += nlink_diff;
5845f8415d6SAmir Goldstein 
5855f8415d6SAmir Goldstein 	if (nlink <= 0)
5865f8415d6SAmir Goldstein 		goto fail;
5875f8415d6SAmir Goldstein 
5885f8415d6SAmir Goldstein 	return nlink;
5895f8415d6SAmir Goldstein 
5905f8415d6SAmir Goldstein fail:
5915f8415d6SAmir Goldstein 	pr_warn_ratelimited("overlayfs: failed to get index nlink (%pd2, err=%i)\n",
5925f8415d6SAmir Goldstein 			    upperdentry, err);
5935f8415d6SAmir Goldstein 	return fallback;
5945f8415d6SAmir Goldstein }
5955f8415d6SAmir Goldstein 
596ca4c8a3aSMiklos Szeredi struct inode *ovl_new_inode(struct super_block *sb, umode_t mode, dev_t rdev)
59751f7e52dSMiklos Szeredi {
59851f7e52dSMiklos Szeredi 	struct inode *inode;
59951f7e52dSMiklos Szeredi 
60051f7e52dSMiklos Szeredi 	inode = new_inode(sb);
60151f7e52dSMiklos Szeredi 	if (inode)
602695b46e7SAmir Goldstein 		ovl_fill_inode(inode, mode, rdev, 0);
60351f7e52dSMiklos Szeredi 
60451f7e52dSMiklos Szeredi 	return inode;
60551f7e52dSMiklos Szeredi }
60651f7e52dSMiklos Szeredi 
60751f7e52dSMiklos Szeredi static int ovl_inode_test(struct inode *inode, void *data)
60851f7e52dSMiklos Szeredi {
60925b7713aSMiklos Szeredi 	return inode->i_private == data;
61051f7e52dSMiklos Szeredi }
61151f7e52dSMiklos Szeredi 
61251f7e52dSMiklos Szeredi static int ovl_inode_set(struct inode *inode, void *data)
61351f7e52dSMiklos Szeredi {
61425b7713aSMiklos Szeredi 	inode->i_private = data;
61551f7e52dSMiklos Szeredi 	return 0;
61651f7e52dSMiklos Szeredi }
61751f7e52dSMiklos Szeredi 
618b9ac5c27SMiklos Szeredi static bool ovl_verify_inode(struct inode *inode, struct dentry *lowerdentry,
6194b91c30aSAmir Goldstein 			     struct dentry *upperdentry, bool strict)
620b9ac5c27SMiklos Szeredi {
6214b91c30aSAmir Goldstein 	/*
6224b91c30aSAmir Goldstein 	 * For directories, @strict verify from lookup path performs consistency
6234b91c30aSAmir Goldstein 	 * checks, so NULL lower/upper in dentry must match NULL lower/upper in
6244b91c30aSAmir Goldstein 	 * inode. Non @strict verify from NFS handle decode path passes NULL for
6254b91c30aSAmir Goldstein 	 * 'unknown' lower/upper.
6264b91c30aSAmir Goldstein 	 */
6274b91c30aSAmir Goldstein 	if (S_ISDIR(inode->i_mode) && strict) {
62831747edaSAmir Goldstein 		/* Real lower dir moved to upper layer under us? */
62931747edaSAmir Goldstein 		if (!lowerdentry && ovl_inode_lower(inode))
63031747edaSAmir Goldstein 			return false;
63131747edaSAmir Goldstein 
63231747edaSAmir Goldstein 		/* Lookup of an uncovered redirect origin? */
63331747edaSAmir Goldstein 		if (!upperdentry && ovl_inode_upper(inode))
63431747edaSAmir Goldstein 			return false;
63531747edaSAmir Goldstein 	}
63631747edaSAmir Goldstein 
637939ae4efSAmir Goldstein 	/*
638939ae4efSAmir Goldstein 	 * Allow non-NULL lower inode in ovl_inode even if lowerdentry is NULL.
639939ae4efSAmir Goldstein 	 * This happens when finding a copied up overlay inode for a renamed
640939ae4efSAmir Goldstein 	 * or hardlinked overlay dentry and lower dentry cannot be followed
641939ae4efSAmir Goldstein 	 * by origin because lower fs does not support file handles.
642939ae4efSAmir Goldstein 	 */
643939ae4efSAmir Goldstein 	if (lowerdentry && ovl_inode_lower(inode) != d_inode(lowerdentry))
644b9ac5c27SMiklos Szeredi 		return false;
645b9ac5c27SMiklos Szeredi 
646b9ac5c27SMiklos Szeredi 	/*
647b9ac5c27SMiklos Szeredi 	 * Allow non-NULL __upperdentry in inode even if upperdentry is NULL.
648b9ac5c27SMiklos Szeredi 	 * This happens when finding a lower alias for a copied up hard link.
649b9ac5c27SMiklos Szeredi 	 */
650b9ac5c27SMiklos Szeredi 	if (upperdentry && ovl_inode_upper(inode) != d_inode(upperdentry))
651b9ac5c27SMiklos Szeredi 		return false;
652b9ac5c27SMiklos Szeredi 
653b9ac5c27SMiklos Szeredi 	return true;
654b9ac5c27SMiklos Szeredi }
655b9ac5c27SMiklos Szeredi 
6564b91c30aSAmir Goldstein struct inode *ovl_lookup_inode(struct super_block *sb, struct dentry *real,
6574b91c30aSAmir Goldstein 			       bool is_upper)
6589436a1a3SAmir Goldstein {
6594b91c30aSAmir Goldstein 	struct inode *inode, *key = d_inode(real);
6609436a1a3SAmir Goldstein 
6619436a1a3SAmir Goldstein 	inode = ilookup5(sb, (unsigned long) key, ovl_inode_test, key);
6629436a1a3SAmir Goldstein 	if (!inode)
6639436a1a3SAmir Goldstein 		return NULL;
6649436a1a3SAmir Goldstein 
6654b91c30aSAmir Goldstein 	if (!ovl_verify_inode(inode, is_upper ? NULL : real,
6664b91c30aSAmir Goldstein 			      is_upper ? real : NULL, false)) {
6679436a1a3SAmir Goldstein 		iput(inode);
6689436a1a3SAmir Goldstein 		return ERR_PTR(-ESTALE);
6699436a1a3SAmir Goldstein 	}
6709436a1a3SAmir Goldstein 
6719436a1a3SAmir Goldstein 	return inode;
6729436a1a3SAmir Goldstein }
6739436a1a3SAmir Goldstein 
674764baba8SAmir Goldstein /*
675764baba8SAmir Goldstein  * Does overlay inode need to be hashed by lower inode?
676764baba8SAmir Goldstein  */
677764baba8SAmir Goldstein static bool ovl_hash_bylower(struct super_block *sb, struct dentry *upper,
678764baba8SAmir Goldstein 			     struct dentry *lower, struct dentry *index)
679764baba8SAmir Goldstein {
680764baba8SAmir Goldstein 	struct ovl_fs *ofs = sb->s_fs_info;
681764baba8SAmir Goldstein 
682764baba8SAmir Goldstein 	/* No, if pure upper */
683764baba8SAmir Goldstein 	if (!lower)
684764baba8SAmir Goldstein 		return false;
685764baba8SAmir Goldstein 
686764baba8SAmir Goldstein 	/* Yes, if already indexed */
687764baba8SAmir Goldstein 	if (index)
688764baba8SAmir Goldstein 		return true;
689764baba8SAmir Goldstein 
690764baba8SAmir Goldstein 	/* Yes, if won't be copied up */
691764baba8SAmir Goldstein 	if (!ofs->upper_mnt)
692764baba8SAmir Goldstein 		return true;
693764baba8SAmir Goldstein 
694764baba8SAmir Goldstein 	/* No, if lower hardlink is or will be broken on copy up */
695764baba8SAmir Goldstein 	if ((upper || !ovl_indexdir(sb)) &&
696764baba8SAmir Goldstein 	    !d_is_dir(lower) && d_inode(lower)->i_nlink > 1)
697764baba8SAmir Goldstein 		return false;
698764baba8SAmir Goldstein 
699764baba8SAmir Goldstein 	/* No, if non-indexed upper with NFS export */
700764baba8SAmir Goldstein 	if (sb->s_export_op && upper)
701764baba8SAmir Goldstein 		return false;
702764baba8SAmir Goldstein 
703764baba8SAmir Goldstein 	/* Otherwise, hash by lower inode for fsnotify */
704764baba8SAmir Goldstein 	return true;
705764baba8SAmir Goldstein }
706764baba8SAmir Goldstein 
7070aceb53eSAmir Goldstein struct inode *ovl_get_inode(struct super_block *sb, struct dentry *upperdentry,
7080aceb53eSAmir Goldstein 			    struct dentry *lowerdentry, struct dentry *index,
7090aceb53eSAmir Goldstein 			    unsigned int numlower)
71051f7e52dSMiklos Szeredi {
71109d8b586SMiklos Szeredi 	struct inode *realinode = upperdentry ? d_inode(upperdentry) : NULL;
71251f7e52dSMiklos Szeredi 	struct inode *inode;
713764baba8SAmir Goldstein 	bool bylower = ovl_hash_bylower(sb, upperdentry, lowerdentry, index);
71431747edaSAmir Goldstein 	bool is_dir;
715695b46e7SAmir Goldstein 	unsigned long ino = 0;
7166eaf0111SAmir Goldstein 
71709d8b586SMiklos Szeredi 	if (!realinode)
71809d8b586SMiklos Szeredi 		realinode = d_inode(lowerdentry);
71909d8b586SMiklos Szeredi 
7206eaf0111SAmir Goldstein 	/*
721764baba8SAmir Goldstein 	 * Copy up origin (lower) may exist for non-indexed upper, but we must
722764baba8SAmir Goldstein 	 * not use lower as hash key if this is a broken hardlink.
7236eaf0111SAmir Goldstein 	 */
72431747edaSAmir Goldstein 	is_dir = S_ISDIR(realinode->i_mode);
725764baba8SAmir Goldstein 	if (upperdentry || bylower) {
726764baba8SAmir Goldstein 		struct inode *key = d_inode(bylower ? lowerdentry :
727764baba8SAmir Goldstein 						      upperdentry);
72831747edaSAmir Goldstein 		unsigned int nlink = is_dir ? 1 : realinode->i_nlink;
729b9ac5c27SMiklos Szeredi 
7300aceb53eSAmir Goldstein 		inode = iget5_locked(sb, (unsigned long) key,
731b9ac5c27SMiklos Szeredi 				     ovl_inode_test, ovl_inode_set, key);
73209d8b586SMiklos Szeredi 		if (!inode)
733b9ac5c27SMiklos Szeredi 			goto out_nomem;
73409d8b586SMiklos Szeredi 		if (!(inode->i_state & I_NEW)) {
735b9ac5c27SMiklos Szeredi 			/*
736b9ac5c27SMiklos Szeredi 			 * Verify that the underlying files stored in the inode
737b9ac5c27SMiklos Szeredi 			 * match those in the dentry.
738b9ac5c27SMiklos Szeredi 			 */
7394b91c30aSAmir Goldstein 			if (!ovl_verify_inode(inode, lowerdentry, upperdentry,
7404b91c30aSAmir Goldstein 					      true)) {
741b9ac5c27SMiklos Szeredi 				iput(inode);
742b9ac5c27SMiklos Szeredi 				inode = ERR_PTR(-ESTALE);
743b9ac5c27SMiklos Szeredi 				goto out;
744b9ac5c27SMiklos Szeredi 			}
745b9ac5c27SMiklos Szeredi 
74609d8b586SMiklos Szeredi 			dput(upperdentry);
74709d8b586SMiklos Szeredi 			goto out;
74809d8b586SMiklos Szeredi 		}
749e9be9d5eSMiklos Szeredi 
75031747edaSAmir Goldstein 		/* Recalculate nlink for non-dir due to indexing */
75131747edaSAmir Goldstein 		if (!is_dir)
75231747edaSAmir Goldstein 			nlink = ovl_get_nlink(lowerdentry, upperdentry, nlink);
7535f8415d6SAmir Goldstein 		set_nlink(inode, nlink);
754695b46e7SAmir Goldstein 		ino = key->i_ino;
755e6d2ebddSMiklos Szeredi 	} else {
756764baba8SAmir Goldstein 		/* Lower hardlink that will be broken on copy up */
7570aceb53eSAmir Goldstein 		inode = new_inode(sb);
758e6d2ebddSMiklos Szeredi 		if (!inode)
759b9ac5c27SMiklos Szeredi 			goto out_nomem;
760e6d2ebddSMiklos Szeredi 	}
761695b46e7SAmir Goldstein 	ovl_fill_inode(inode, realinode->i_mode, realinode->i_rdev, ino);
76209d8b586SMiklos Szeredi 	ovl_inode_init(inode, upperdentry, lowerdentry);
76313c72075SMiklos Szeredi 
76413c72075SMiklos Szeredi 	if (upperdentry && ovl_is_impuredir(upperdentry))
76513c72075SMiklos Szeredi 		ovl_set_flag(OVL_IMPURE, inode);
76613c72075SMiklos Szeredi 
7670471a9cdSVivek Goyal 	if (index)
7680471a9cdSVivek Goyal 		ovl_set_flag(OVL_INDEX, inode);
7690471a9cdSVivek Goyal 
770b79e05aaSAmir Goldstein 	/* Check for non-merge dir that may have whiteouts */
77131747edaSAmir Goldstein 	if (is_dir) {
7720aceb53eSAmir Goldstein 		if (((upperdentry && lowerdentry) || numlower > 1) ||
773b79e05aaSAmir Goldstein 		    ovl_check_origin_xattr(upperdentry ?: lowerdentry)) {
774b79e05aaSAmir Goldstein 			ovl_set_flag(OVL_WHITEOUTS, inode);
775b79e05aaSAmir Goldstein 		}
776b79e05aaSAmir Goldstein 	}
777b79e05aaSAmir Goldstein 
778e6d2ebddSMiklos Szeredi 	if (inode->i_state & I_NEW)
779e6d2ebddSMiklos Szeredi 		unlock_new_inode(inode);
780e6d2ebddSMiklos Szeredi out:
781e9be9d5eSMiklos Szeredi 	return inode;
782b9ac5c27SMiklos Szeredi 
783b9ac5c27SMiklos Szeredi out_nomem:
784b9ac5c27SMiklos Szeredi 	inode = ERR_PTR(-ENOMEM);
785b9ac5c27SMiklos Szeredi 	goto out;
786e9be9d5eSMiklos Szeredi }
787