xref: /openbmc/linux/fs/overlayfs/inode.c (revision 695b46e76b62447e506cddc87e088236498008e5)
1e9be9d5eSMiklos Szeredi /*
2e9be9d5eSMiklos Szeredi  *
3e9be9d5eSMiklos Szeredi  * Copyright (C) 2011 Novell Inc.
4e9be9d5eSMiklos Szeredi  *
5e9be9d5eSMiklos Szeredi  * This program is free software; you can redistribute it and/or modify it
6e9be9d5eSMiklos Szeredi  * under the terms of the GNU General Public License version 2 as published by
7e9be9d5eSMiklos Szeredi  * the Free Software Foundation.
8e9be9d5eSMiklos Szeredi  */
9e9be9d5eSMiklos Szeredi 
10e9be9d5eSMiklos Szeredi #include <linux/fs.h>
11e9be9d5eSMiklos Szeredi #include <linux/slab.h>
125b825c3aSIngo Molnar #include <linux/cred.h>
13e9be9d5eSMiklos Szeredi #include <linux/xattr.h>
145201dc44SMiklos Szeredi #include <linux/posix_acl.h>
155f8415d6SAmir Goldstein #include <linux/ratelimit.h>
16e9be9d5eSMiklos Szeredi #include "overlayfs.h"
17e9be9d5eSMiklos Szeredi 
18ba1e563cSChandan Rajendra 
19ba1e563cSChandan Rajendra static dev_t ovl_get_pseudo_dev(struct dentry *dentry)
20ba1e563cSChandan Rajendra {
21ba1e563cSChandan Rajendra 	struct ovl_entry *oe = dentry->d_fsdata;
22ba1e563cSChandan Rajendra 
23ba1e563cSChandan Rajendra 	return oe->lowerstack[0].layer->pseudo_dev;
24ba1e563cSChandan Rajendra }
25ba1e563cSChandan Rajendra 
26e9be9d5eSMiklos Szeredi int ovl_setattr(struct dentry *dentry, struct iattr *attr)
27e9be9d5eSMiklos Szeredi {
28e9be9d5eSMiklos Szeredi 	int err;
29e9be9d5eSMiklos Szeredi 	struct dentry *upperdentry;
301175b6b8SVivek Goyal 	const struct cred *old_cred;
31e9be9d5eSMiklos Szeredi 
32cf9a6784SMiklos Szeredi 	/*
33cf9a6784SMiklos Szeredi 	 * Check for permissions before trying to copy-up.  This is redundant
34cf9a6784SMiklos Szeredi 	 * since it will be rechecked later by ->setattr() on upper dentry.  But
35cf9a6784SMiklos Szeredi 	 * without this, copy-up can be triggered by just about anybody.
36cf9a6784SMiklos Szeredi 	 *
37cf9a6784SMiklos Szeredi 	 * We don't initialize inode->size, which just means that
38cf9a6784SMiklos Szeredi 	 * inode_newsize_ok() will always check against MAX_LFS_FILESIZE and not
39cf9a6784SMiklos Szeredi 	 * check for a swapfile (which this won't be anyway).
40cf9a6784SMiklos Szeredi 	 */
4131051c85SJan Kara 	err = setattr_prepare(dentry, attr);
42cf9a6784SMiklos Szeredi 	if (err)
43cf9a6784SMiklos Szeredi 		return err;
44cf9a6784SMiklos Szeredi 
45e9be9d5eSMiklos Szeredi 	err = ovl_want_write(dentry);
46e9be9d5eSMiklos Szeredi 	if (err)
47e9be9d5eSMiklos Szeredi 		goto out;
48e9be9d5eSMiklos Szeredi 
49acff81ecSMiklos Szeredi 	err = ovl_copy_up(dentry);
50acff81ecSMiklos Szeredi 	if (!err) {
51e9be9d5eSMiklos Szeredi 		upperdentry = ovl_dentry_upper(dentry);
52acff81ecSMiklos Szeredi 
53b99c2d91SMiklos Szeredi 		if (attr->ia_valid & (ATTR_KILL_SUID|ATTR_KILL_SGID))
54b99c2d91SMiklos Szeredi 			attr->ia_valid &= ~ATTR_MODE;
55b99c2d91SMiklos Szeredi 
565955102cSAl Viro 		inode_lock(upperdentry->d_inode);
571175b6b8SVivek Goyal 		old_cred = ovl_override_creds(dentry->d_sb);
58e9be9d5eSMiklos Szeredi 		err = notify_change(upperdentry, attr, NULL);
591175b6b8SVivek Goyal 		revert_creds(old_cred);
60b81de061SKonstantin Khlebnikov 		if (!err)
61b81de061SKonstantin Khlebnikov 			ovl_copyattr(upperdentry->d_inode, dentry->d_inode);
625955102cSAl Viro 		inode_unlock(upperdentry->d_inode);
63e9be9d5eSMiklos Szeredi 	}
64e9be9d5eSMiklos Szeredi 	ovl_drop_write(dentry);
65e9be9d5eSMiklos Szeredi out:
66e9be9d5eSMiklos Szeredi 	return err;
67e9be9d5eSMiklos Szeredi }
68e9be9d5eSMiklos Szeredi 
695b712091SMiklos Szeredi int ovl_getattr(const struct path *path, struct kstat *stat,
70a528d35eSDavid Howells 		u32 request_mask, unsigned int flags)
71e9be9d5eSMiklos Szeredi {
72a528d35eSDavid Howells 	struct dentry *dentry = path->dentry;
7372b608f0SAmir Goldstein 	enum ovl_path_type type;
74e9be9d5eSMiklos Szeredi 	struct path realpath;
751175b6b8SVivek Goyal 	const struct cred *old_cred;
765b712091SMiklos Szeredi 	bool is_dir = S_ISDIR(dentry->d_inode->i_mode);
77a0c5ad30SAmir Goldstein 	bool samefs = ovl_same_sb(dentry->d_sb);
781175b6b8SVivek Goyal 	int err;
79e9be9d5eSMiklos Szeredi 
8072b608f0SAmir Goldstein 	type = ovl_path_real(dentry, &realpath);
811175b6b8SVivek Goyal 	old_cred = ovl_override_creds(dentry->d_sb);
82a528d35eSDavid Howells 	err = vfs_getattr(&realpath, stat, request_mask, flags);
8372b608f0SAmir Goldstein 	if (err)
8472b608f0SAmir Goldstein 		goto out;
8572b608f0SAmir Goldstein 
8672b608f0SAmir Goldstein 	/*
87a0c5ad30SAmir Goldstein 	 * For non-dir or same fs, we use st_ino of the copy up origin, if we
88a0c5ad30SAmir Goldstein 	 * know it. This guaranties constant st_dev/st_ino across copy up.
8972b608f0SAmir Goldstein 	 *
9072b608f0SAmir Goldstein 	 * If filesystem supports NFS export ops, this also guaranties
9172b608f0SAmir Goldstein 	 * persistent st_ino across mount cycle.
9272b608f0SAmir Goldstein 	 */
93a0c5ad30SAmir Goldstein 	if (!is_dir || samefs) {
9472b608f0SAmir Goldstein 		if (OVL_TYPE_ORIGIN(type)) {
9572b608f0SAmir Goldstein 			struct kstat lowerstat;
965b712091SMiklos Szeredi 			u32 lowermask = STATX_INO | (!is_dir ? STATX_NLINK : 0);
9772b608f0SAmir Goldstein 
9872b608f0SAmir Goldstein 			ovl_path_lower(dentry, &realpath);
9972b608f0SAmir Goldstein 			err = vfs_getattr(&realpath, &lowerstat,
1005b712091SMiklos Szeredi 					  lowermask, flags);
10172b608f0SAmir Goldstein 			if (err)
10272b608f0SAmir Goldstein 				goto out;
10372b608f0SAmir Goldstein 
10472b608f0SAmir Goldstein 			/*
105359f392cSAmir Goldstein 			 * Lower hardlinks may be broken on copy up to different
10672b608f0SAmir Goldstein 			 * upper files, so we cannot use the lower origin st_ino
10772b608f0SAmir Goldstein 			 * for those different files, even for the same fs case.
10886eaa130SAmir Goldstein 			 *
10986eaa130SAmir Goldstein 			 * Similarly, several redirected dirs can point to the
11086eaa130SAmir Goldstein 			 * same dir on a lower layer. With the "verify_lower"
11186eaa130SAmir Goldstein 			 * feature, we do not use the lower origin st_ino, if
11286eaa130SAmir Goldstein 			 * we haven't verified that this redirect is unique.
11386eaa130SAmir Goldstein 			 *
114359f392cSAmir Goldstein 			 * With inodes index enabled, it is safe to use st_ino
11586eaa130SAmir Goldstein 			 * of an indexed origin. The index validates that the
11686eaa130SAmir Goldstein 			 * upper hardlink is not broken and that a redirected
11786eaa130SAmir Goldstein 			 * dir is the only redirect to that origin.
11872b608f0SAmir Goldstein 			 */
11986eaa130SAmir Goldstein 			if (ovl_test_flag(OVL_INDEX, d_inode(dentry)) ||
12086eaa130SAmir Goldstein 			    (!ovl_verify_lower(dentry->d_sb) &&
12186eaa130SAmir Goldstein 			     (is_dir || lowerstat.nlink == 1)))
12272b608f0SAmir Goldstein 				stat->ino = lowerstat.ino;
123a0c5ad30SAmir Goldstein 
124a0c5ad30SAmir Goldstein 			if (samefs)
125a0c5ad30SAmir Goldstein 				WARN_ON_ONCE(stat->dev != lowerstat.dev);
126a0c5ad30SAmir Goldstein 			else
127a0c5ad30SAmir Goldstein 				stat->dev = ovl_get_pseudo_dev(dentry);
12872b608f0SAmir Goldstein 		}
129a0c5ad30SAmir Goldstein 		if (samefs) {
1305b712091SMiklos Szeredi 			/*
131a0c5ad30SAmir Goldstein 			 * When all layers are on the same fs, all real inode
132a0c5ad30SAmir Goldstein 			 * number are unique, so we use the overlay st_dev,
133a0c5ad30SAmir Goldstein 			 * which is friendly to du -x.
134a0c5ad30SAmir Goldstein 			 */
135a0c5ad30SAmir Goldstein 			stat->dev = dentry->d_sb->s_dev;
136a0c5ad30SAmir Goldstein 		} else if (!OVL_TYPE_UPPER(type)) {
137a0c5ad30SAmir Goldstein 			/*
138a0c5ad30SAmir Goldstein 			 * For non-samefs setup, to make sure that st_dev/st_ino
139a0c5ad30SAmir Goldstein 			 * pair is unique across the system, we use a unique
140a0c5ad30SAmir Goldstein 			 * anonymous st_dev for lower layer inode.
141a0c5ad30SAmir Goldstein 			 */
142a0c5ad30SAmir Goldstein 			stat->dev = ovl_get_pseudo_dev(dentry);
143a0c5ad30SAmir Goldstein 		}
144a0c5ad30SAmir Goldstein 	} else {
145a0c5ad30SAmir Goldstein 		/*
1465b712091SMiklos Szeredi 		 * Always use the overlay st_dev for directories, so 'find
1475b712091SMiklos Szeredi 		 * -xdev' will scan the entire overlay mount and won't cross the
1485b712091SMiklos Szeredi 		 * overlay mount boundaries.
149a0c5ad30SAmir Goldstein 		 *
150a0c5ad30SAmir Goldstein 		 * If not all layers are on the same fs the pair {real st_ino;
151a0c5ad30SAmir Goldstein 		 * overlay st_dev} is not unique, so use the non persistent
152a0c5ad30SAmir Goldstein 		 * overlay st_ino for directories.
1535b712091SMiklos Szeredi 		 */
1545b712091SMiklos Szeredi 		stat->dev = dentry->d_sb->s_dev;
1555b712091SMiklos Szeredi 		stat->ino = dentry->d_inode->i_ino;
15672b608f0SAmir Goldstein 	}
1575b712091SMiklos Szeredi 
1585b712091SMiklos Szeredi 	/*
1595b712091SMiklos Szeredi 	 * It's probably not worth it to count subdirs to get the
1605b712091SMiklos Szeredi 	 * correct link count.  nlink=1 seems to pacify 'find' and
1615b712091SMiklos Szeredi 	 * other utilities.
1625b712091SMiklos Szeredi 	 */
1635b712091SMiklos Szeredi 	if (is_dir && OVL_TYPE_MERGE(type))
1645b712091SMiklos Szeredi 		stat->nlink = 1;
1655b712091SMiklos Szeredi 
1665f8415d6SAmir Goldstein 	/*
1675f8415d6SAmir Goldstein 	 * Return the overlay inode nlinks for indexed upper inodes.
1685f8415d6SAmir Goldstein 	 * Overlay inode nlink counts the union of the upper hardlinks
1695f8415d6SAmir Goldstein 	 * and non-covered lower hardlinks. It does not include the upper
1705f8415d6SAmir Goldstein 	 * index hardlink.
1715f8415d6SAmir Goldstein 	 */
1725f8415d6SAmir Goldstein 	if (!is_dir && ovl_test_flag(OVL_INDEX, d_inode(dentry)))
1735f8415d6SAmir Goldstein 		stat->nlink = dentry->d_inode->i_nlink;
1745f8415d6SAmir Goldstein 
17572b608f0SAmir Goldstein out:
1761175b6b8SVivek Goyal 	revert_creds(old_cred);
17772b608f0SAmir Goldstein 
1781175b6b8SVivek Goyal 	return err;
179e9be9d5eSMiklos Szeredi }
180e9be9d5eSMiklos Szeredi 
181e9be9d5eSMiklos Szeredi int ovl_permission(struct inode *inode, int mask)
182e9be9d5eSMiklos Szeredi {
18309d8b586SMiklos Szeredi 	struct inode *upperinode = ovl_inode_upper(inode);
18409d8b586SMiklos Szeredi 	struct inode *realinode = upperinode ?: ovl_inode_lower(inode);
185c0ca3d70SVivek Goyal 	const struct cred *old_cred;
186e9be9d5eSMiklos Szeredi 	int err;
187e9be9d5eSMiklos Szeredi 
188e9be9d5eSMiklos Szeredi 	/* Careful in RCU walk mode */
189e9be9d5eSMiklos Szeredi 	if (!realinode) {
190e9be9d5eSMiklos Szeredi 		WARN_ON(!(mask & MAY_NOT_BLOCK));
191a999d7e1SMiklos Szeredi 		return -ECHILD;
192e9be9d5eSMiklos Szeredi 	}
193e9be9d5eSMiklos Szeredi 
194c0ca3d70SVivek Goyal 	/*
195c0ca3d70SVivek Goyal 	 * Check overlay inode with the creds of task and underlying inode
196c0ca3d70SVivek Goyal 	 * with creds of mounter
197c0ca3d70SVivek Goyal 	 */
198c0ca3d70SVivek Goyal 	err = generic_permission(inode, mask);
199c0ca3d70SVivek Goyal 	if (err)
200c0ca3d70SVivek Goyal 		return err;
201c0ca3d70SVivek Goyal 
202c0ca3d70SVivek Goyal 	old_cred = ovl_override_creds(inode->i_sb);
20309d8b586SMiklos Szeredi 	if (!upperinode &&
20409d8b586SMiklos Szeredi 	    !special_file(realinode->i_mode) && mask & MAY_WRITE) {
205754f8cb7SVivek Goyal 		mask &= ~(MAY_WRITE | MAY_APPEND);
206500cac3cSVivek Goyal 		/* Make sure mounter can read file for copy up later */
207500cac3cSVivek Goyal 		mask |= MAY_READ;
208500cac3cSVivek Goyal 	}
2099c630ebeSMiklos Szeredi 	err = inode_permission(realinode, mask);
210c0ca3d70SVivek Goyal 	revert_creds(old_cred);
211c0ca3d70SVivek Goyal 
212c0ca3d70SVivek Goyal 	return err;
213e9be9d5eSMiklos Szeredi }
214e9be9d5eSMiklos Szeredi 
2156b255391SAl Viro static const char *ovl_get_link(struct dentry *dentry,
216fceef393SAl Viro 				struct inode *inode,
217fceef393SAl Viro 				struct delayed_call *done)
218e9be9d5eSMiklos Szeredi {
2191175b6b8SVivek Goyal 	const struct cred *old_cred;
2201175b6b8SVivek Goyal 	const char *p;
221e9be9d5eSMiklos Szeredi 
2226b255391SAl Viro 	if (!dentry)
2236b255391SAl Viro 		return ERR_PTR(-ECHILD);
2246b255391SAl Viro 
2251175b6b8SVivek Goyal 	old_cred = ovl_override_creds(dentry->d_sb);
2267764235bSMiklos Szeredi 	p = vfs_get_link(ovl_dentry_real(dentry), done);
2271175b6b8SVivek Goyal 	revert_creds(old_cred);
2281175b6b8SVivek Goyal 	return p;
229e9be9d5eSMiklos Szeredi }
230e9be9d5eSMiklos Szeredi 
2310956254aSMiklos Szeredi bool ovl_is_private_xattr(const char *name)
232e9be9d5eSMiklos Szeredi {
233fe2b7595SAndreas Gruenbacher 	return strncmp(name, OVL_XATTR_PREFIX,
234fe2b7595SAndreas Gruenbacher 		       sizeof(OVL_XATTR_PREFIX) - 1) == 0;
235e9be9d5eSMiklos Szeredi }
236e9be9d5eSMiklos Szeredi 
2371d88f183SMiklos Szeredi int ovl_xattr_set(struct dentry *dentry, struct inode *inode, const char *name,
2381d88f183SMiklos Szeredi 		  const void *value, size_t size, int flags)
239e9be9d5eSMiklos Szeredi {
240e9be9d5eSMiklos Szeredi 	int err;
2411d88f183SMiklos Szeredi 	struct dentry *upperdentry = ovl_i_dentry_upper(inode);
2421d88f183SMiklos Szeredi 	struct dentry *realdentry = upperdentry ?: ovl_dentry_lower(dentry);
2431175b6b8SVivek Goyal 	const struct cred *old_cred;
244e9be9d5eSMiklos Szeredi 
245e9be9d5eSMiklos Szeredi 	err = ovl_want_write(dentry);
246e9be9d5eSMiklos Szeredi 	if (err)
247e9be9d5eSMiklos Szeredi 		goto out;
248e9be9d5eSMiklos Szeredi 
2491d88f183SMiklos Szeredi 	if (!value && !upperdentry) {
2501d88f183SMiklos Szeredi 		err = vfs_getxattr(realdentry, name, NULL, 0);
2510e585cccSAndreas Gruenbacher 		if (err < 0)
2520e585cccSAndreas Gruenbacher 			goto out_drop_write;
2530e585cccSAndreas Gruenbacher 	}
2540e585cccSAndreas Gruenbacher 
2551d88f183SMiklos Szeredi 	if (!upperdentry) {
256e9be9d5eSMiklos Szeredi 		err = ovl_copy_up(dentry);
257e9be9d5eSMiklos Szeredi 		if (err)
258e9be9d5eSMiklos Szeredi 			goto out_drop_write;
259e9be9d5eSMiklos Szeredi 
2601d88f183SMiklos Szeredi 		realdentry = ovl_dentry_upper(dentry);
2611d88f183SMiklos Szeredi 	}
2620e585cccSAndreas Gruenbacher 
2631175b6b8SVivek Goyal 	old_cred = ovl_override_creds(dentry->d_sb);
2640e585cccSAndreas Gruenbacher 	if (value)
2651d88f183SMiklos Szeredi 		err = vfs_setxattr(realdentry, name, value, size, flags);
2660e585cccSAndreas Gruenbacher 	else {
2670e585cccSAndreas Gruenbacher 		WARN_ON(flags != XATTR_REPLACE);
2681d88f183SMiklos Szeredi 		err = vfs_removexattr(realdentry, name);
2690e585cccSAndreas Gruenbacher 	}
2701175b6b8SVivek Goyal 	revert_creds(old_cred);
271e9be9d5eSMiklos Szeredi 
272e9be9d5eSMiklos Szeredi out_drop_write:
273e9be9d5eSMiklos Szeredi 	ovl_drop_write(dentry);
274e9be9d5eSMiklos Szeredi out:
275e9be9d5eSMiklos Szeredi 	return err;
276e9be9d5eSMiklos Szeredi }
277e9be9d5eSMiklos Szeredi 
2781d88f183SMiklos Szeredi int ovl_xattr_get(struct dentry *dentry, struct inode *inode, const char *name,
2790eb45fc3SAndreas Gruenbacher 		  void *value, size_t size)
280e9be9d5eSMiklos Szeredi {
2811175b6b8SVivek Goyal 	ssize_t res;
2821175b6b8SVivek Goyal 	const struct cred *old_cred;
2831d88f183SMiklos Szeredi 	struct dentry *realdentry =
2841d88f183SMiklos Szeredi 		ovl_i_dentry_upper(inode) ?: ovl_dentry_lower(dentry);
28552148463SMiklos Szeredi 
2861175b6b8SVivek Goyal 	old_cred = ovl_override_creds(dentry->d_sb);
2871175b6b8SVivek Goyal 	res = vfs_getxattr(realdentry, name, value, size);
2881175b6b8SVivek Goyal 	revert_creds(old_cred);
2891175b6b8SVivek Goyal 	return res;
290e9be9d5eSMiklos Szeredi }
291e9be9d5eSMiklos Szeredi 
292a082c6f6SMiklos Szeredi static bool ovl_can_list(const char *s)
293a082c6f6SMiklos Szeredi {
294a082c6f6SMiklos Szeredi 	/* List all non-trusted xatts */
295a082c6f6SMiklos Szeredi 	if (strncmp(s, XATTR_TRUSTED_PREFIX, XATTR_TRUSTED_PREFIX_LEN) != 0)
296a082c6f6SMiklos Szeredi 		return true;
297a082c6f6SMiklos Szeredi 
298a082c6f6SMiklos Szeredi 	/* Never list trusted.overlay, list other trusted for superuser only */
299a082c6f6SMiklos Szeredi 	return !ovl_is_private_xattr(s) && capable(CAP_SYS_ADMIN);
300a082c6f6SMiklos Szeredi }
301a082c6f6SMiklos Szeredi 
302e9be9d5eSMiklos Szeredi ssize_t ovl_listxattr(struct dentry *dentry, char *list, size_t size)
303e9be9d5eSMiklos Szeredi {
304b581755bSMiklos Szeredi 	struct dentry *realdentry = ovl_dentry_real(dentry);
305e9be9d5eSMiklos Szeredi 	ssize_t res;
3067cb35119SMiklos Szeredi 	size_t len;
3077cb35119SMiklos Szeredi 	char *s;
3081175b6b8SVivek Goyal 	const struct cred *old_cred;
309e9be9d5eSMiklos Szeredi 
3101175b6b8SVivek Goyal 	old_cred = ovl_override_creds(dentry->d_sb);
311b581755bSMiklos Szeredi 	res = vfs_listxattr(realdentry, list, size);
3121175b6b8SVivek Goyal 	revert_creds(old_cred);
313e9be9d5eSMiklos Szeredi 	if (res <= 0 || size == 0)
314e9be9d5eSMiklos Szeredi 		return res;
315e9be9d5eSMiklos Szeredi 
316e9be9d5eSMiklos Szeredi 	/* filter out private xattrs */
3177cb35119SMiklos Szeredi 	for (s = list, len = res; len;) {
3187cb35119SMiklos Szeredi 		size_t slen = strnlen(s, len) + 1;
319e9be9d5eSMiklos Szeredi 
3207cb35119SMiklos Szeredi 		/* underlying fs providing us with an broken xattr list? */
3217cb35119SMiklos Szeredi 		if (WARN_ON(slen > len))
3227cb35119SMiklos Szeredi 			return -EIO;
323e9be9d5eSMiklos Szeredi 
3247cb35119SMiklos Szeredi 		len -= slen;
325a082c6f6SMiklos Szeredi 		if (!ovl_can_list(s)) {
326e9be9d5eSMiklos Szeredi 			res -= slen;
3277cb35119SMiklos Szeredi 			memmove(s, s + slen, len);
328e9be9d5eSMiklos Szeredi 		} else {
3297cb35119SMiklos Szeredi 			s += slen;
330e9be9d5eSMiklos Szeredi 		}
331e9be9d5eSMiklos Szeredi 	}
332e9be9d5eSMiklos Szeredi 
333e9be9d5eSMiklos Szeredi 	return res;
334e9be9d5eSMiklos Szeredi }
335e9be9d5eSMiklos Szeredi 
33639a25b2bSVivek Goyal struct posix_acl *ovl_get_acl(struct inode *inode, int type)
33739a25b2bSVivek Goyal {
33809d8b586SMiklos Szeredi 	struct inode *realinode = ovl_inode_real(inode);
3391175b6b8SVivek Goyal 	const struct cred *old_cred;
3401175b6b8SVivek Goyal 	struct posix_acl *acl;
34139a25b2bSVivek Goyal 
3425201dc44SMiklos Szeredi 	if (!IS_ENABLED(CONFIG_FS_POSIX_ACL) || !IS_POSIXACL(realinode))
34339a25b2bSVivek Goyal 		return NULL;
34439a25b2bSVivek Goyal 
3451175b6b8SVivek Goyal 	old_cred = ovl_override_creds(inode->i_sb);
3465201dc44SMiklos Szeredi 	acl = get_acl(realinode, type);
3471175b6b8SVivek Goyal 	revert_creds(old_cred);
3481175b6b8SVivek Goyal 
3491175b6b8SVivek Goyal 	return acl;
35039a25b2bSVivek Goyal }
35139a25b2bSVivek Goyal 
35259be0971SAmir Goldstein static bool ovl_open_need_copy_up(struct dentry *dentry, int flags)
353e9be9d5eSMiklos Szeredi {
354aa3ff3c1SAmir Goldstein 	/* Copy up of disconnected dentry does not set upper alias */
35559be0971SAmir Goldstein 	if (ovl_dentry_upper(dentry) &&
356aa3ff3c1SAmir Goldstein 	    (ovl_dentry_has_upper_alias(dentry) ||
357aa3ff3c1SAmir Goldstein 	     (dentry->d_flags & DCACHE_DISCONNECTED)))
358e9be9d5eSMiklos Szeredi 		return false;
359e9be9d5eSMiklos Szeredi 
36059be0971SAmir Goldstein 	if (special_file(d_inode(dentry)->i_mode))
361e9be9d5eSMiklos Szeredi 		return false;
362e9be9d5eSMiklos Szeredi 
363e9be9d5eSMiklos Szeredi 	if (!(OPEN_FMODE(flags) & FMODE_WRITE) && !(flags & O_TRUNC))
364e9be9d5eSMiklos Szeredi 		return false;
365e9be9d5eSMiklos Szeredi 
366e9be9d5eSMiklos Szeredi 	return true;
367e9be9d5eSMiklos Szeredi }
368e9be9d5eSMiklos Szeredi 
3692d902671SMiklos Szeredi int ovl_open_maybe_copy_up(struct dentry *dentry, unsigned int file_flags)
370e9be9d5eSMiklos Szeredi {
3712d902671SMiklos Szeredi 	int err = 0;
372e9be9d5eSMiklos Szeredi 
37359be0971SAmir Goldstein 	if (ovl_open_need_copy_up(dentry, file_flags)) {
374e9be9d5eSMiklos Szeredi 		err = ovl_want_write(dentry);
3752d902671SMiklos Szeredi 		if (!err) {
3769aba6521SAmir Goldstein 			err = ovl_copy_up_flags(dentry, file_flags);
377f25801eeSDavid Howells 			ovl_drop_write(dentry);
3782d902671SMiklos Szeredi 		}
379e9be9d5eSMiklos Szeredi 	}
380e9be9d5eSMiklos Szeredi 
3812d902671SMiklos Szeredi 	return err;
382e9be9d5eSMiklos Szeredi }
383e9be9d5eSMiklos Szeredi 
384d719e8f2SMiklos Szeredi int ovl_update_time(struct inode *inode, struct timespec *ts, int flags)
385d719e8f2SMiklos Szeredi {
386d719e8f2SMiklos Szeredi 	struct dentry *alias;
387d719e8f2SMiklos Szeredi 	struct path upperpath;
388d719e8f2SMiklos Szeredi 
389d719e8f2SMiklos Szeredi 	if (!(flags & S_ATIME))
390d719e8f2SMiklos Szeredi 		return 0;
391d719e8f2SMiklos Szeredi 
392d719e8f2SMiklos Szeredi 	alias = d_find_any_alias(inode);
393d719e8f2SMiklos Szeredi 	if (!alias)
394d719e8f2SMiklos Szeredi 		return 0;
395d719e8f2SMiklos Szeredi 
396d719e8f2SMiklos Szeredi 	ovl_path_upper(alias, &upperpath);
397d719e8f2SMiklos Szeredi 	if (upperpath.dentry) {
398d719e8f2SMiklos Szeredi 		touch_atime(&upperpath);
399d719e8f2SMiklos Szeredi 		inode->i_atime = d_inode(upperpath.dentry)->i_atime;
400d719e8f2SMiklos Szeredi 	}
401d719e8f2SMiklos Szeredi 
402d719e8f2SMiklos Szeredi 	dput(alias);
403d719e8f2SMiklos Szeredi 
404d719e8f2SMiklos Szeredi 	return 0;
405d719e8f2SMiklos Szeredi }
406d719e8f2SMiklos Szeredi 
407e9be9d5eSMiklos Szeredi static const struct inode_operations ovl_file_inode_operations = {
408e9be9d5eSMiklos Szeredi 	.setattr	= ovl_setattr,
409e9be9d5eSMiklos Szeredi 	.permission	= ovl_permission,
410e9be9d5eSMiklos Szeredi 	.getattr	= ovl_getattr,
411e9be9d5eSMiklos Szeredi 	.listxattr	= ovl_listxattr,
41239a25b2bSVivek Goyal 	.get_acl	= ovl_get_acl,
413d719e8f2SMiklos Szeredi 	.update_time	= ovl_update_time,
414e9be9d5eSMiklos Szeredi };
415e9be9d5eSMiklos Szeredi 
416e9be9d5eSMiklos Szeredi static const struct inode_operations ovl_symlink_inode_operations = {
417e9be9d5eSMiklos Szeredi 	.setattr	= ovl_setattr,
4186b255391SAl Viro 	.get_link	= ovl_get_link,
419e9be9d5eSMiklos Szeredi 	.getattr	= ovl_getattr,
420e9be9d5eSMiklos Szeredi 	.listxattr	= ovl_listxattr,
421d719e8f2SMiklos Szeredi 	.update_time	= ovl_update_time,
422e9be9d5eSMiklos Szeredi };
423e9be9d5eSMiklos Szeredi 
424b1eaa950SAmir Goldstein /*
425b1eaa950SAmir Goldstein  * It is possible to stack overlayfs instance on top of another
426b1eaa950SAmir Goldstein  * overlayfs instance as lower layer. We need to annonate the
427b1eaa950SAmir Goldstein  * stackable i_mutex locks according to stack level of the super
428b1eaa950SAmir Goldstein  * block instance. An overlayfs instance can never be in stack
429b1eaa950SAmir Goldstein  * depth 0 (there is always a real fs below it).  An overlayfs
430b1eaa950SAmir Goldstein  * inode lock will use the lockdep annotaion ovl_i_mutex_key[depth].
431b1eaa950SAmir Goldstein  *
432b1eaa950SAmir Goldstein  * For example, here is a snip from /proc/lockdep_chains after
433b1eaa950SAmir Goldstein  * dir_iterate of nested overlayfs:
434b1eaa950SAmir Goldstein  *
435b1eaa950SAmir Goldstein  * [...] &ovl_i_mutex_dir_key[depth]   (stack_depth=2)
436b1eaa950SAmir Goldstein  * [...] &ovl_i_mutex_dir_key[depth]#2 (stack_depth=1)
437b1eaa950SAmir Goldstein  * [...] &type->i_mutex_dir_key        (stack_depth=0)
438b1eaa950SAmir Goldstein  */
439b1eaa950SAmir Goldstein #define OVL_MAX_NESTING FILESYSTEM_MAX_STACK_DEPTH
440b1eaa950SAmir Goldstein 
441b1eaa950SAmir Goldstein static inline void ovl_lockdep_annotate_inode_mutex_key(struct inode *inode)
442b1eaa950SAmir Goldstein {
443b1eaa950SAmir Goldstein #ifdef CONFIG_LOCKDEP
444b1eaa950SAmir Goldstein 	static struct lock_class_key ovl_i_mutex_key[OVL_MAX_NESTING];
445b1eaa950SAmir Goldstein 	static struct lock_class_key ovl_i_mutex_dir_key[OVL_MAX_NESTING];
4464eae06deSAmir Goldstein 	static struct lock_class_key ovl_i_lock_key[OVL_MAX_NESTING];
447b1eaa950SAmir Goldstein 
448b1eaa950SAmir Goldstein 	int depth = inode->i_sb->s_stack_depth - 1;
449b1eaa950SAmir Goldstein 
450b1eaa950SAmir Goldstein 	if (WARN_ON_ONCE(depth < 0 || depth >= OVL_MAX_NESTING))
451b1eaa950SAmir Goldstein 		depth = 0;
452b1eaa950SAmir Goldstein 
453b1eaa950SAmir Goldstein 	if (S_ISDIR(inode->i_mode))
454b1eaa950SAmir Goldstein 		lockdep_set_class(&inode->i_rwsem, &ovl_i_mutex_dir_key[depth]);
455b1eaa950SAmir Goldstein 	else
456b1eaa950SAmir Goldstein 		lockdep_set_class(&inode->i_rwsem, &ovl_i_mutex_key[depth]);
4574eae06deSAmir Goldstein 
4584eae06deSAmir Goldstein 	lockdep_set_class(&OVL_I(inode)->lock, &ovl_i_lock_key[depth]);
459b1eaa950SAmir Goldstein #endif
460b1eaa950SAmir Goldstein }
461b1eaa950SAmir Goldstein 
462*695b46e7SAmir Goldstein static void ovl_fill_inode(struct inode *inode, umode_t mode, dev_t rdev,
463*695b46e7SAmir Goldstein 			   unsigned long ino)
464e9be9d5eSMiklos Szeredi {
465*695b46e7SAmir Goldstein 	/*
466*695b46e7SAmir Goldstein 	 * When NFS export is enabled and d_ino is consistent with st_ino
467*695b46e7SAmir Goldstein 	 * (samefs), set the same value to i_ino, because nfsd readdirplus
468*695b46e7SAmir Goldstein 	 * compares d_ino values to i_ino values of child entries. When called
469*695b46e7SAmir Goldstein 	 * from ovl_new_inode(), ino arg is 0, so i_ino will be updated to real
470*695b46e7SAmir Goldstein 	 * upper inode i_ino on ovl_inode_init() or ovl_inode_update().
471*695b46e7SAmir Goldstein 	 */
472*695b46e7SAmir Goldstein 	if (inode->i_sb->s_export_op && ovl_same_sb(inode->i_sb))
473*695b46e7SAmir Goldstein 		inode->i_ino = ino;
474*695b46e7SAmir Goldstein 	else
475e9be9d5eSMiklos Szeredi 		inode->i_ino = get_next_ino();
476e9be9d5eSMiklos Szeredi 	inode->i_mode = mode;
477d719e8f2SMiklos Szeredi 	inode->i_flags |= S_NOCMTIME;
4782a3a2a3fSMiklos Szeredi #ifdef CONFIG_FS_POSIX_ACL
4792a3a2a3fSMiklos Szeredi 	inode->i_acl = inode->i_default_acl = ACL_DONT_CACHE;
4802a3a2a3fSMiklos Szeredi #endif
481e9be9d5eSMiklos Szeredi 
482b1eaa950SAmir Goldstein 	ovl_lockdep_annotate_inode_mutex_key(inode);
483b1eaa950SAmir Goldstein 
484ca4c8a3aSMiklos Szeredi 	switch (mode & S_IFMT) {
485ca4c8a3aSMiklos Szeredi 	case S_IFREG:
486ca4c8a3aSMiklos Szeredi 		inode->i_op = &ovl_file_inode_operations;
487ca4c8a3aSMiklos Szeredi 		break;
488ca4c8a3aSMiklos Szeredi 
489e9be9d5eSMiklos Szeredi 	case S_IFDIR:
490e9be9d5eSMiklos Szeredi 		inode->i_op = &ovl_dir_inode_operations;
491e9be9d5eSMiklos Szeredi 		inode->i_fop = &ovl_dir_operations;
492e9be9d5eSMiklos Szeredi 		break;
493e9be9d5eSMiklos Szeredi 
494e9be9d5eSMiklos Szeredi 	case S_IFLNK:
495e9be9d5eSMiklos Szeredi 		inode->i_op = &ovl_symlink_inode_operations;
496e9be9d5eSMiklos Szeredi 		break;
497e9be9d5eSMiklos Szeredi 
49851f7e52dSMiklos Szeredi 	default:
499e9be9d5eSMiklos Szeredi 		inode->i_op = &ovl_file_inode_operations;
500ca4c8a3aSMiklos Szeredi 		init_special_inode(inode, mode, rdev);
501e9be9d5eSMiklos Szeredi 		break;
50251f7e52dSMiklos Szeredi 	}
50351f7e52dSMiklos Szeredi }
504e9be9d5eSMiklos Szeredi 
5055f8415d6SAmir Goldstein /*
5065f8415d6SAmir Goldstein  * With inodes index enabled, an overlay inode nlink counts the union of upper
5075f8415d6SAmir Goldstein  * hardlinks and non-covered lower hardlinks. During the lifetime of a non-pure
5085f8415d6SAmir Goldstein  * upper inode, the following nlink modifying operations can happen:
5095f8415d6SAmir Goldstein  *
5105f8415d6SAmir Goldstein  * 1. Lower hardlink copy up
5115f8415d6SAmir Goldstein  * 2. Upper hardlink created, unlinked or renamed over
5125f8415d6SAmir Goldstein  * 3. Lower hardlink whiteout or renamed over
5135f8415d6SAmir Goldstein  *
5145f8415d6SAmir Goldstein  * For the first, copy up case, the union nlink does not change, whether the
5155f8415d6SAmir Goldstein  * operation succeeds or fails, but the upper inode nlink may change.
5165f8415d6SAmir Goldstein  * Therefore, before copy up, we store the union nlink value relative to the
5175f8415d6SAmir Goldstein  * lower inode nlink in the index inode xattr trusted.overlay.nlink.
5185f8415d6SAmir Goldstein  *
5195f8415d6SAmir Goldstein  * For the second, upper hardlink case, the union nlink should be incremented
5205f8415d6SAmir Goldstein  * or decremented IFF the operation succeeds, aligned with nlink change of the
5215f8415d6SAmir Goldstein  * upper inode. Therefore, before link/unlink/rename, we store the union nlink
5225f8415d6SAmir Goldstein  * value relative to the upper inode nlink in the index inode.
5235f8415d6SAmir Goldstein  *
5245f8415d6SAmir Goldstein  * For the last, lower cover up case, we simplify things by preceding the
5255f8415d6SAmir Goldstein  * whiteout or cover up with copy up. This makes sure that there is an index
5265f8415d6SAmir Goldstein  * upper inode where the nlink xattr can be stored before the copied up upper
5275f8415d6SAmir Goldstein  * entry is unlink.
5285f8415d6SAmir Goldstein  */
5295f8415d6SAmir Goldstein #define OVL_NLINK_ADD_UPPER	(1 << 0)
5305f8415d6SAmir Goldstein 
5315f8415d6SAmir Goldstein /*
5325f8415d6SAmir Goldstein  * On-disk format for indexed nlink:
5335f8415d6SAmir Goldstein  *
5345f8415d6SAmir Goldstein  * nlink relative to the upper inode - "U[+-]NUM"
5355f8415d6SAmir Goldstein  * nlink relative to the lower inode - "L[+-]NUM"
5365f8415d6SAmir Goldstein  */
5375f8415d6SAmir Goldstein 
5385f8415d6SAmir Goldstein static int ovl_set_nlink_common(struct dentry *dentry,
5395f8415d6SAmir Goldstein 				struct dentry *realdentry, const char *format)
5405f8415d6SAmir Goldstein {
5415f8415d6SAmir Goldstein 	struct inode *inode = d_inode(dentry);
5425f8415d6SAmir Goldstein 	struct inode *realinode = d_inode(realdentry);
5435f8415d6SAmir Goldstein 	char buf[13];
5445f8415d6SAmir Goldstein 	int len;
5455f8415d6SAmir Goldstein 
5465f8415d6SAmir Goldstein 	len = snprintf(buf, sizeof(buf), format,
5475f8415d6SAmir Goldstein 		       (int) (inode->i_nlink - realinode->i_nlink));
5485f8415d6SAmir Goldstein 
5496787341aSMiklos Szeredi 	if (WARN_ON(len >= sizeof(buf)))
5506787341aSMiklos Szeredi 		return -EIO;
5516787341aSMiklos Szeredi 
5525f8415d6SAmir Goldstein 	return ovl_do_setxattr(ovl_dentry_upper(dentry),
5535f8415d6SAmir Goldstein 			       OVL_XATTR_NLINK, buf, len, 0);
5545f8415d6SAmir Goldstein }
5555f8415d6SAmir Goldstein 
5565f8415d6SAmir Goldstein int ovl_set_nlink_upper(struct dentry *dentry)
5575f8415d6SAmir Goldstein {
5585f8415d6SAmir Goldstein 	return ovl_set_nlink_common(dentry, ovl_dentry_upper(dentry), "U%+i");
5595f8415d6SAmir Goldstein }
5605f8415d6SAmir Goldstein 
5615f8415d6SAmir Goldstein int ovl_set_nlink_lower(struct dentry *dentry)
5625f8415d6SAmir Goldstein {
5635f8415d6SAmir Goldstein 	return ovl_set_nlink_common(dentry, ovl_dentry_lower(dentry), "L%+i");
5645f8415d6SAmir Goldstein }
5655f8415d6SAmir Goldstein 
566caf70cb2SAmir Goldstein unsigned int ovl_get_nlink(struct dentry *lowerdentry,
5675f8415d6SAmir Goldstein 			   struct dentry *upperdentry,
5685f8415d6SAmir Goldstein 			   unsigned int fallback)
5695f8415d6SAmir Goldstein {
5705f8415d6SAmir Goldstein 	int nlink_diff;
5715f8415d6SAmir Goldstein 	int nlink;
5725f8415d6SAmir Goldstein 	char buf[13];
5735f8415d6SAmir Goldstein 	int err;
5745f8415d6SAmir Goldstein 
5755f8415d6SAmir Goldstein 	if (!lowerdentry || !upperdentry || d_inode(lowerdentry)->i_nlink == 1)
5765f8415d6SAmir Goldstein 		return fallback;
5775f8415d6SAmir Goldstein 
5785f8415d6SAmir Goldstein 	err = vfs_getxattr(upperdentry, OVL_XATTR_NLINK, &buf, sizeof(buf) - 1);
5795f8415d6SAmir Goldstein 	if (err < 0)
5805f8415d6SAmir Goldstein 		goto fail;
5815f8415d6SAmir Goldstein 
5825f8415d6SAmir Goldstein 	buf[err] = '\0';
5835f8415d6SAmir Goldstein 	if ((buf[0] != 'L' && buf[0] != 'U') ||
5845f8415d6SAmir Goldstein 	    (buf[1] != '+' && buf[1] != '-'))
5855f8415d6SAmir Goldstein 		goto fail;
5865f8415d6SAmir Goldstein 
5875f8415d6SAmir Goldstein 	err = kstrtoint(buf + 1, 10, &nlink_diff);
5885f8415d6SAmir Goldstein 	if (err < 0)
5895f8415d6SAmir Goldstein 		goto fail;
5905f8415d6SAmir Goldstein 
5915f8415d6SAmir Goldstein 	nlink = d_inode(buf[0] == 'L' ? lowerdentry : upperdentry)->i_nlink;
5925f8415d6SAmir Goldstein 	nlink += nlink_diff;
5935f8415d6SAmir Goldstein 
5945f8415d6SAmir Goldstein 	if (nlink <= 0)
5955f8415d6SAmir Goldstein 		goto fail;
5965f8415d6SAmir Goldstein 
5975f8415d6SAmir Goldstein 	return nlink;
5985f8415d6SAmir Goldstein 
5995f8415d6SAmir Goldstein fail:
6005f8415d6SAmir Goldstein 	pr_warn_ratelimited("overlayfs: failed to get index nlink (%pd2, err=%i)\n",
6015f8415d6SAmir Goldstein 			    upperdentry, err);
6025f8415d6SAmir Goldstein 	return fallback;
6035f8415d6SAmir Goldstein }
6045f8415d6SAmir Goldstein 
605ca4c8a3aSMiklos Szeredi struct inode *ovl_new_inode(struct super_block *sb, umode_t mode, dev_t rdev)
60651f7e52dSMiklos Szeredi {
60751f7e52dSMiklos Szeredi 	struct inode *inode;
60851f7e52dSMiklos Szeredi 
60951f7e52dSMiklos Szeredi 	inode = new_inode(sb);
61051f7e52dSMiklos Szeredi 	if (inode)
611*695b46e7SAmir Goldstein 		ovl_fill_inode(inode, mode, rdev, 0);
61251f7e52dSMiklos Szeredi 
61351f7e52dSMiklos Szeredi 	return inode;
61451f7e52dSMiklos Szeredi }
61551f7e52dSMiklos Szeredi 
61651f7e52dSMiklos Szeredi static int ovl_inode_test(struct inode *inode, void *data)
61751f7e52dSMiklos Szeredi {
61825b7713aSMiklos Szeredi 	return inode->i_private == data;
61951f7e52dSMiklos Szeredi }
62051f7e52dSMiklos Szeredi 
62151f7e52dSMiklos Szeredi static int ovl_inode_set(struct inode *inode, void *data)
62251f7e52dSMiklos Szeredi {
62325b7713aSMiklos Szeredi 	inode->i_private = data;
62451f7e52dSMiklos Szeredi 	return 0;
62551f7e52dSMiklos Szeredi }
62651f7e52dSMiklos Szeredi 
627b9ac5c27SMiklos Szeredi static bool ovl_verify_inode(struct inode *inode, struct dentry *lowerdentry,
6284b91c30aSAmir Goldstein 			     struct dentry *upperdentry, bool strict)
629b9ac5c27SMiklos Szeredi {
6304b91c30aSAmir Goldstein 	/*
6314b91c30aSAmir Goldstein 	 * For directories, @strict verify from lookup path performs consistency
6324b91c30aSAmir Goldstein 	 * checks, so NULL lower/upper in dentry must match NULL lower/upper in
6334b91c30aSAmir Goldstein 	 * inode. Non @strict verify from NFS handle decode path passes NULL for
6344b91c30aSAmir Goldstein 	 * 'unknown' lower/upper.
6354b91c30aSAmir Goldstein 	 */
6364b91c30aSAmir Goldstein 	if (S_ISDIR(inode->i_mode) && strict) {
63731747edaSAmir Goldstein 		/* Real lower dir moved to upper layer under us? */
63831747edaSAmir Goldstein 		if (!lowerdentry && ovl_inode_lower(inode))
63931747edaSAmir Goldstein 			return false;
64031747edaSAmir Goldstein 
64131747edaSAmir Goldstein 		/* Lookup of an uncovered redirect origin? */
64231747edaSAmir Goldstein 		if (!upperdentry && ovl_inode_upper(inode))
64331747edaSAmir Goldstein 			return false;
64431747edaSAmir Goldstein 	}
64531747edaSAmir Goldstein 
646939ae4efSAmir Goldstein 	/*
647939ae4efSAmir Goldstein 	 * Allow non-NULL lower inode in ovl_inode even if lowerdentry is NULL.
648939ae4efSAmir Goldstein 	 * This happens when finding a copied up overlay inode for a renamed
649939ae4efSAmir Goldstein 	 * or hardlinked overlay dentry and lower dentry cannot be followed
650939ae4efSAmir Goldstein 	 * by origin because lower fs does not support file handles.
651939ae4efSAmir Goldstein 	 */
652939ae4efSAmir Goldstein 	if (lowerdentry && ovl_inode_lower(inode) != d_inode(lowerdentry))
653b9ac5c27SMiklos Szeredi 		return false;
654b9ac5c27SMiklos Szeredi 
655b9ac5c27SMiklos Szeredi 	/*
656b9ac5c27SMiklos Szeredi 	 * Allow non-NULL __upperdentry in inode even if upperdentry is NULL.
657b9ac5c27SMiklos Szeredi 	 * This happens when finding a lower alias for a copied up hard link.
658b9ac5c27SMiklos Szeredi 	 */
659b9ac5c27SMiklos Szeredi 	if (upperdentry && ovl_inode_upper(inode) != d_inode(upperdentry))
660b9ac5c27SMiklos Szeredi 		return false;
661b9ac5c27SMiklos Szeredi 
662b9ac5c27SMiklos Szeredi 	return true;
663b9ac5c27SMiklos Szeredi }
664b9ac5c27SMiklos Szeredi 
6654b91c30aSAmir Goldstein struct inode *ovl_lookup_inode(struct super_block *sb, struct dentry *real,
6664b91c30aSAmir Goldstein 			       bool is_upper)
6679436a1a3SAmir Goldstein {
6684b91c30aSAmir Goldstein 	struct inode *inode, *key = d_inode(real);
6699436a1a3SAmir Goldstein 
6709436a1a3SAmir Goldstein 	inode = ilookup5(sb, (unsigned long) key, ovl_inode_test, key);
6719436a1a3SAmir Goldstein 	if (!inode)
6729436a1a3SAmir Goldstein 		return NULL;
6739436a1a3SAmir Goldstein 
6744b91c30aSAmir Goldstein 	if (!ovl_verify_inode(inode, is_upper ? NULL : real,
6754b91c30aSAmir Goldstein 			      is_upper ? real : NULL, false)) {
6769436a1a3SAmir Goldstein 		iput(inode);
6779436a1a3SAmir Goldstein 		return ERR_PTR(-ESTALE);
6789436a1a3SAmir Goldstein 	}
6799436a1a3SAmir Goldstein 
6809436a1a3SAmir Goldstein 	return inode;
6819436a1a3SAmir Goldstein }
6829436a1a3SAmir Goldstein 
683764baba8SAmir Goldstein /*
684764baba8SAmir Goldstein  * Does overlay inode need to be hashed by lower inode?
685764baba8SAmir Goldstein  */
686764baba8SAmir Goldstein static bool ovl_hash_bylower(struct super_block *sb, struct dentry *upper,
687764baba8SAmir Goldstein 			     struct dentry *lower, struct dentry *index)
688764baba8SAmir Goldstein {
689764baba8SAmir Goldstein 	struct ovl_fs *ofs = sb->s_fs_info;
690764baba8SAmir Goldstein 
691764baba8SAmir Goldstein 	/* No, if pure upper */
692764baba8SAmir Goldstein 	if (!lower)
693764baba8SAmir Goldstein 		return false;
694764baba8SAmir Goldstein 
695764baba8SAmir Goldstein 	/* Yes, if already indexed */
696764baba8SAmir Goldstein 	if (index)
697764baba8SAmir Goldstein 		return true;
698764baba8SAmir Goldstein 
699764baba8SAmir Goldstein 	/* Yes, if won't be copied up */
700764baba8SAmir Goldstein 	if (!ofs->upper_mnt)
701764baba8SAmir Goldstein 		return true;
702764baba8SAmir Goldstein 
703764baba8SAmir Goldstein 	/* No, if lower hardlink is or will be broken on copy up */
704764baba8SAmir Goldstein 	if ((upper || !ovl_indexdir(sb)) &&
705764baba8SAmir Goldstein 	    !d_is_dir(lower) && d_inode(lower)->i_nlink > 1)
706764baba8SAmir Goldstein 		return false;
707764baba8SAmir Goldstein 
708764baba8SAmir Goldstein 	/* No, if non-indexed upper with NFS export */
709764baba8SAmir Goldstein 	if (sb->s_export_op && upper)
710764baba8SAmir Goldstein 		return false;
711764baba8SAmir Goldstein 
712764baba8SAmir Goldstein 	/* Otherwise, hash by lower inode for fsnotify */
713764baba8SAmir Goldstein 	return true;
714764baba8SAmir Goldstein }
715764baba8SAmir Goldstein 
7160aceb53eSAmir Goldstein struct inode *ovl_get_inode(struct super_block *sb, struct dentry *upperdentry,
7170aceb53eSAmir Goldstein 			    struct dentry *lowerdentry, struct dentry *index,
7180aceb53eSAmir Goldstein 			    unsigned int numlower)
71951f7e52dSMiklos Szeredi {
72009d8b586SMiklos Szeredi 	struct inode *realinode = upperdentry ? d_inode(upperdentry) : NULL;
72151f7e52dSMiklos Szeredi 	struct inode *inode;
722764baba8SAmir Goldstein 	bool bylower = ovl_hash_bylower(sb, upperdentry, lowerdentry, index);
72331747edaSAmir Goldstein 	bool is_dir;
724*695b46e7SAmir Goldstein 	unsigned long ino = 0;
7256eaf0111SAmir Goldstein 
72609d8b586SMiklos Szeredi 	if (!realinode)
72709d8b586SMiklos Szeredi 		realinode = d_inode(lowerdentry);
72809d8b586SMiklos Szeredi 
7296eaf0111SAmir Goldstein 	/*
730764baba8SAmir Goldstein 	 * Copy up origin (lower) may exist for non-indexed upper, but we must
731764baba8SAmir Goldstein 	 * not use lower as hash key if this is a broken hardlink.
7326eaf0111SAmir Goldstein 	 */
73331747edaSAmir Goldstein 	is_dir = S_ISDIR(realinode->i_mode);
734764baba8SAmir Goldstein 	if (upperdentry || bylower) {
735764baba8SAmir Goldstein 		struct inode *key = d_inode(bylower ? lowerdentry :
736764baba8SAmir Goldstein 						      upperdentry);
73731747edaSAmir Goldstein 		unsigned int nlink = is_dir ? 1 : realinode->i_nlink;
738b9ac5c27SMiklos Szeredi 
7390aceb53eSAmir Goldstein 		inode = iget5_locked(sb, (unsigned long) key,
740b9ac5c27SMiklos Szeredi 				     ovl_inode_test, ovl_inode_set, key);
74109d8b586SMiklos Szeredi 		if (!inode)
742b9ac5c27SMiklos Szeredi 			goto out_nomem;
74309d8b586SMiklos Szeredi 		if (!(inode->i_state & I_NEW)) {
744b9ac5c27SMiklos Szeredi 			/*
745b9ac5c27SMiklos Szeredi 			 * Verify that the underlying files stored in the inode
746b9ac5c27SMiklos Szeredi 			 * match those in the dentry.
747b9ac5c27SMiklos Szeredi 			 */
7484b91c30aSAmir Goldstein 			if (!ovl_verify_inode(inode, lowerdentry, upperdentry,
7494b91c30aSAmir Goldstein 					      true)) {
750b9ac5c27SMiklos Szeredi 				iput(inode);
751b9ac5c27SMiklos Szeredi 				inode = ERR_PTR(-ESTALE);
752b9ac5c27SMiklos Szeredi 				goto out;
753b9ac5c27SMiklos Szeredi 			}
754b9ac5c27SMiklos Szeredi 
75509d8b586SMiklos Szeredi 			dput(upperdentry);
75609d8b586SMiklos Szeredi 			goto out;
75709d8b586SMiklos Szeredi 		}
758e9be9d5eSMiklos Szeredi 
75931747edaSAmir Goldstein 		/* Recalculate nlink for non-dir due to indexing */
76031747edaSAmir Goldstein 		if (!is_dir)
76131747edaSAmir Goldstein 			nlink = ovl_get_nlink(lowerdentry, upperdentry, nlink);
7625f8415d6SAmir Goldstein 		set_nlink(inode, nlink);
763*695b46e7SAmir Goldstein 		ino = key->i_ino;
764e6d2ebddSMiklos Szeredi 	} else {
765764baba8SAmir Goldstein 		/* Lower hardlink that will be broken on copy up */
7660aceb53eSAmir Goldstein 		inode = new_inode(sb);
767e6d2ebddSMiklos Szeredi 		if (!inode)
768b9ac5c27SMiklos Szeredi 			goto out_nomem;
769e6d2ebddSMiklos Szeredi 	}
770*695b46e7SAmir Goldstein 	ovl_fill_inode(inode, realinode->i_mode, realinode->i_rdev, ino);
77109d8b586SMiklos Szeredi 	ovl_inode_init(inode, upperdentry, lowerdentry);
77213c72075SMiklos Szeredi 
77313c72075SMiklos Szeredi 	if (upperdentry && ovl_is_impuredir(upperdentry))
77413c72075SMiklos Szeredi 		ovl_set_flag(OVL_IMPURE, inode);
77513c72075SMiklos Szeredi 
776b79e05aaSAmir Goldstein 	/* Check for non-merge dir that may have whiteouts */
77731747edaSAmir Goldstein 	if (is_dir) {
7780aceb53eSAmir Goldstein 		if (((upperdentry && lowerdentry) || numlower > 1) ||
779b79e05aaSAmir Goldstein 		    ovl_check_origin_xattr(upperdentry ?: lowerdentry)) {
780b79e05aaSAmir Goldstein 			ovl_set_flag(OVL_WHITEOUTS, inode);
781b79e05aaSAmir Goldstein 		}
782b79e05aaSAmir Goldstein 	}
783b79e05aaSAmir Goldstein 
784e6d2ebddSMiklos Szeredi 	if (inode->i_state & I_NEW)
785e6d2ebddSMiklos Szeredi 		unlock_new_inode(inode);
786e6d2ebddSMiklos Szeredi out:
787e9be9d5eSMiklos Szeredi 	return inode;
788b9ac5c27SMiklos Szeredi 
789b9ac5c27SMiklos Szeredi out_nomem:
790b9ac5c27SMiklos Szeredi 	inode = ERR_PTR(-ENOMEM);
791b9ac5c27SMiklos Szeredi 	goto out;
792e9be9d5eSMiklos Szeredi }
793