xref: /openbmc/linux/fs/overlayfs/copy_up.c (revision 2ea98466)
1e9be9d5eSMiklos Szeredi /*
2e9be9d5eSMiklos Szeredi  *
3e9be9d5eSMiklos Szeredi  * Copyright (C) 2011 Novell Inc.
4e9be9d5eSMiklos Szeredi  *
5e9be9d5eSMiklos Szeredi  * This program is free software; you can redistribute it and/or modify it
6e9be9d5eSMiklos Szeredi  * under the terms of the GNU General Public License version 2 as published by
7e9be9d5eSMiklos Szeredi  * the Free Software Foundation.
8e9be9d5eSMiklos Szeredi  */
9e9be9d5eSMiklos Szeredi 
10fb5bb2c3SDavid Howells #include <linux/module.h>
11e9be9d5eSMiklos Szeredi #include <linux/fs.h>
12e9be9d5eSMiklos Szeredi #include <linux/slab.h>
13e9be9d5eSMiklos Szeredi #include <linux/file.h>
14e9be9d5eSMiklos Szeredi #include <linux/splice.h>
15e9be9d5eSMiklos Szeredi #include <linux/xattr.h>
16e9be9d5eSMiklos Szeredi #include <linux/security.h>
17e9be9d5eSMiklos Szeredi #include <linux/uaccess.h>
18e9be9d5eSMiklos Szeredi #include <linux/sched.h>
19e9be9d5eSMiklos Szeredi #include <linux/namei.h>
20fb5bb2c3SDavid Howells #include <linux/fdtable.h>
21fb5bb2c3SDavid Howells #include <linux/ratelimit.h>
22e9be9d5eSMiklos Szeredi #include "overlayfs.h"
23e9be9d5eSMiklos Szeredi 
24e9be9d5eSMiklos Szeredi #define OVL_COPY_UP_CHUNK_SIZE (1 << 20)
25e9be9d5eSMiklos Szeredi 
26fb5bb2c3SDavid Howells static bool __read_mostly ovl_check_copy_up;
27fb5bb2c3SDavid Howells module_param_named(check_copy_up, ovl_check_copy_up, bool,
28fb5bb2c3SDavid Howells 		   S_IWUSR | S_IRUGO);
29fb5bb2c3SDavid Howells MODULE_PARM_DESC(ovl_check_copy_up,
30fb5bb2c3SDavid Howells 		 "Warn on copy-up when causing process also has a R/O fd open");
31fb5bb2c3SDavid Howells 
32fb5bb2c3SDavid Howells static int ovl_check_fd(const void *data, struct file *f, unsigned int fd)
33fb5bb2c3SDavid Howells {
34fb5bb2c3SDavid Howells 	const struct dentry *dentry = data;
35fb5bb2c3SDavid Howells 
36fb5bb2c3SDavid Howells 	if (f->f_inode == d_inode(dentry))
37fb5bb2c3SDavid Howells 		pr_warn_ratelimited("overlayfs: Warning: Copying up %pD, but open R/O on fd %u which will cease to be coherent [pid=%d %s]\n",
38fb5bb2c3SDavid Howells 				    f, fd, current->pid, current->comm);
39fb5bb2c3SDavid Howells 	return 0;
40fb5bb2c3SDavid Howells }
41fb5bb2c3SDavid Howells 
42fb5bb2c3SDavid Howells /*
43fb5bb2c3SDavid Howells  * Check the fds open by this process and warn if something like the following
44fb5bb2c3SDavid Howells  * scenario is about to occur:
45fb5bb2c3SDavid Howells  *
46fb5bb2c3SDavid Howells  *	fd1 = open("foo", O_RDONLY);
47fb5bb2c3SDavid Howells  *	fd2 = open("foo", O_RDWR);
48fb5bb2c3SDavid Howells  */
49fb5bb2c3SDavid Howells static void ovl_do_check_copy_up(struct dentry *dentry)
50fb5bb2c3SDavid Howells {
51fb5bb2c3SDavid Howells 	if (ovl_check_copy_up)
52fb5bb2c3SDavid Howells 		iterate_fd(current->files, 0, ovl_check_fd, dentry);
53fb5bb2c3SDavid Howells }
54fb5bb2c3SDavid Howells 
55e9be9d5eSMiklos Szeredi int ovl_copy_xattr(struct dentry *old, struct dentry *new)
56e9be9d5eSMiklos Szeredi {
57e4ad29faSVito Caputo 	ssize_t list_size, size, value_size = 0;
58e4ad29faSVito Caputo 	char *buf, *name, *value = NULL;
59e4ad29faSVito Caputo 	int uninitialized_var(error);
608b326c61SMiklos Szeredi 	size_t slen;
61e9be9d5eSMiklos Szeredi 
625d6c3191SAndreas Gruenbacher 	if (!(old->d_inode->i_opflags & IOP_XATTR) ||
635d6c3191SAndreas Gruenbacher 	    !(new->d_inode->i_opflags & IOP_XATTR))
64e9be9d5eSMiklos Szeredi 		return 0;
65e9be9d5eSMiklos Szeredi 
66e9be9d5eSMiklos Szeredi 	list_size = vfs_listxattr(old, NULL, 0);
67e9be9d5eSMiklos Szeredi 	if (list_size <= 0) {
68e9be9d5eSMiklos Szeredi 		if (list_size == -EOPNOTSUPP)
69e9be9d5eSMiklos Szeredi 			return 0;
70e9be9d5eSMiklos Szeredi 		return list_size;
71e9be9d5eSMiklos Szeredi 	}
72e9be9d5eSMiklos Szeredi 
73e9be9d5eSMiklos Szeredi 	buf = kzalloc(list_size, GFP_KERNEL);
74e9be9d5eSMiklos Szeredi 	if (!buf)
75e9be9d5eSMiklos Szeredi 		return -ENOMEM;
76e9be9d5eSMiklos Szeredi 
77e9be9d5eSMiklos Szeredi 	list_size = vfs_listxattr(old, buf, list_size);
78e9be9d5eSMiklos Szeredi 	if (list_size <= 0) {
79e9be9d5eSMiklos Szeredi 		error = list_size;
80e4ad29faSVito Caputo 		goto out;
81e9be9d5eSMiklos Szeredi 	}
82e9be9d5eSMiklos Szeredi 
838b326c61SMiklos Szeredi 	for (name = buf; list_size; name += slen) {
848b326c61SMiklos Szeredi 		slen = strnlen(name, list_size) + 1;
858b326c61SMiklos Szeredi 
868b326c61SMiklos Szeredi 		/* underlying fs providing us with an broken xattr list? */
878b326c61SMiklos Szeredi 		if (WARN_ON(slen > list_size)) {
888b326c61SMiklos Szeredi 			error = -EIO;
898b326c61SMiklos Szeredi 			break;
908b326c61SMiklos Szeredi 		}
918b326c61SMiklos Szeredi 		list_size -= slen;
928b326c61SMiklos Szeredi 
930956254aSMiklos Szeredi 		if (ovl_is_private_xattr(name))
940956254aSMiklos Szeredi 			continue;
95e4ad29faSVito Caputo retry:
96e4ad29faSVito Caputo 		size = vfs_getxattr(old, name, value, value_size);
97e4ad29faSVito Caputo 		if (size == -ERANGE)
98e4ad29faSVito Caputo 			size = vfs_getxattr(old, name, NULL, 0);
99e4ad29faSVito Caputo 
10097daf8b9SMiklos Szeredi 		if (size < 0) {
101e9be9d5eSMiklos Szeredi 			error = size;
102e4ad29faSVito Caputo 			break;
103e9be9d5eSMiklos Szeredi 		}
104e9be9d5eSMiklos Szeredi 
105e4ad29faSVito Caputo 		if (size > value_size) {
106e4ad29faSVito Caputo 			void *new;
107e4ad29faSVito Caputo 
108e4ad29faSVito Caputo 			new = krealloc(value, size, GFP_KERNEL);
109e4ad29faSVito Caputo 			if (!new) {
110e4ad29faSVito Caputo 				error = -ENOMEM;
111e4ad29faSVito Caputo 				break;
112e4ad29faSVito Caputo 			}
113e4ad29faSVito Caputo 			value = new;
114e4ad29faSVito Caputo 			value_size = size;
115e4ad29faSVito Caputo 			goto retry;
116e4ad29faSVito Caputo 		}
117e4ad29faSVito Caputo 
118121ab822SVivek Goyal 		error = security_inode_copy_up_xattr(name);
119121ab822SVivek Goyal 		if (error < 0 && error != -EOPNOTSUPP)
120121ab822SVivek Goyal 			break;
121121ab822SVivek Goyal 		if (error == 1) {
122121ab822SVivek Goyal 			error = 0;
123121ab822SVivek Goyal 			continue; /* Discard */
124121ab822SVivek Goyal 		}
125e4ad29faSVito Caputo 		error = vfs_setxattr(new, name, value, size, 0);
126e4ad29faSVito Caputo 		if (error)
127e4ad29faSVito Caputo 			break;
128e4ad29faSVito Caputo 	}
129e9be9d5eSMiklos Szeredi 	kfree(value);
130e9be9d5eSMiklos Szeredi out:
131e9be9d5eSMiklos Szeredi 	kfree(buf);
132e9be9d5eSMiklos Szeredi 	return error;
133e9be9d5eSMiklos Szeredi }
134e9be9d5eSMiklos Szeredi 
135e9be9d5eSMiklos Szeredi static int ovl_copy_up_data(struct path *old, struct path *new, loff_t len)
136e9be9d5eSMiklos Szeredi {
137e9be9d5eSMiklos Szeredi 	struct file *old_file;
138e9be9d5eSMiklos Szeredi 	struct file *new_file;
139e9be9d5eSMiklos Szeredi 	loff_t old_pos = 0;
140e9be9d5eSMiklos Szeredi 	loff_t new_pos = 0;
141e9be9d5eSMiklos Szeredi 	int error = 0;
142e9be9d5eSMiklos Szeredi 
143e9be9d5eSMiklos Szeredi 	if (len == 0)
144e9be9d5eSMiklos Szeredi 		return 0;
145e9be9d5eSMiklos Szeredi 
1460480334fSDavid Howells 	old_file = ovl_path_open(old, O_LARGEFILE | O_RDONLY);
147e9be9d5eSMiklos Szeredi 	if (IS_ERR(old_file))
148e9be9d5eSMiklos Szeredi 		return PTR_ERR(old_file);
149e9be9d5eSMiklos Szeredi 
1500480334fSDavid Howells 	new_file = ovl_path_open(new, O_LARGEFILE | O_WRONLY);
151e9be9d5eSMiklos Szeredi 	if (IS_ERR(new_file)) {
152e9be9d5eSMiklos Szeredi 		error = PTR_ERR(new_file);
153e9be9d5eSMiklos Szeredi 		goto out_fput;
154e9be9d5eSMiklos Szeredi 	}
155e9be9d5eSMiklos Szeredi 
1562ea98466SAmir Goldstein 	/* Try to use clone_file_range to clone up within the same fs */
1572ea98466SAmir Goldstein 	error = vfs_clone_file_range(old_file, 0, new_file, 0, len);
1582ea98466SAmir Goldstein 	if (!error)
1592ea98466SAmir Goldstein 		goto out;
1602ea98466SAmir Goldstein 	/* Couldn't clone, so now we try to copy the data */
1612ea98466SAmir Goldstein 	error = 0;
1622ea98466SAmir Goldstein 
163e9be9d5eSMiklos Szeredi 	/* FIXME: copy up sparse files efficiently */
164e9be9d5eSMiklos Szeredi 	while (len) {
165e9be9d5eSMiklos Szeredi 		size_t this_len = OVL_COPY_UP_CHUNK_SIZE;
166e9be9d5eSMiklos Szeredi 		long bytes;
167e9be9d5eSMiklos Szeredi 
168e9be9d5eSMiklos Szeredi 		if (len < this_len)
169e9be9d5eSMiklos Szeredi 			this_len = len;
170e9be9d5eSMiklos Szeredi 
171e9be9d5eSMiklos Szeredi 		if (signal_pending_state(TASK_KILLABLE, current)) {
172e9be9d5eSMiklos Szeredi 			error = -EINTR;
173e9be9d5eSMiklos Szeredi 			break;
174e9be9d5eSMiklos Szeredi 		}
175e9be9d5eSMiklos Szeredi 
176e9be9d5eSMiklos Szeredi 		bytes = do_splice_direct(old_file, &old_pos,
177e9be9d5eSMiklos Szeredi 					 new_file, &new_pos,
178e9be9d5eSMiklos Szeredi 					 this_len, SPLICE_F_MOVE);
179e9be9d5eSMiklos Szeredi 		if (bytes <= 0) {
180e9be9d5eSMiklos Szeredi 			error = bytes;
181e9be9d5eSMiklos Szeredi 			break;
182e9be9d5eSMiklos Szeredi 		}
183e9be9d5eSMiklos Szeredi 		WARN_ON(old_pos != new_pos);
184e9be9d5eSMiklos Szeredi 
185e9be9d5eSMiklos Szeredi 		len -= bytes;
186e9be9d5eSMiklos Szeredi 	}
1872ea98466SAmir Goldstein out:
188641089c1SMiklos Szeredi 	if (!error)
189641089c1SMiklos Szeredi 		error = vfs_fsync(new_file, 0);
190e9be9d5eSMiklos Szeredi 	fput(new_file);
191e9be9d5eSMiklos Szeredi out_fput:
192e9be9d5eSMiklos Szeredi 	fput(old_file);
193e9be9d5eSMiklos Szeredi 	return error;
194e9be9d5eSMiklos Szeredi }
195e9be9d5eSMiklos Szeredi 
196e9be9d5eSMiklos Szeredi static int ovl_set_timestamps(struct dentry *upperdentry, struct kstat *stat)
197e9be9d5eSMiklos Szeredi {
198e9be9d5eSMiklos Szeredi 	struct iattr attr = {
199e9be9d5eSMiklos Szeredi 		.ia_valid =
200e9be9d5eSMiklos Szeredi 		     ATTR_ATIME | ATTR_MTIME | ATTR_ATIME_SET | ATTR_MTIME_SET,
201e9be9d5eSMiklos Szeredi 		.ia_atime = stat->atime,
202e9be9d5eSMiklos Szeredi 		.ia_mtime = stat->mtime,
203e9be9d5eSMiklos Szeredi 	};
204e9be9d5eSMiklos Szeredi 
205e9be9d5eSMiklos Szeredi 	return notify_change(upperdentry, &attr, NULL);
206e9be9d5eSMiklos Szeredi }
207e9be9d5eSMiklos Szeredi 
208e9be9d5eSMiklos Szeredi int ovl_set_attr(struct dentry *upperdentry, struct kstat *stat)
209e9be9d5eSMiklos Szeredi {
210e9be9d5eSMiklos Szeredi 	int err = 0;
211e9be9d5eSMiklos Szeredi 
212e9be9d5eSMiklos Szeredi 	if (!S_ISLNK(stat->mode)) {
213e9be9d5eSMiklos Szeredi 		struct iattr attr = {
214e9be9d5eSMiklos Szeredi 			.ia_valid = ATTR_MODE,
215e9be9d5eSMiklos Szeredi 			.ia_mode = stat->mode,
216e9be9d5eSMiklos Szeredi 		};
217e9be9d5eSMiklos Szeredi 		err = notify_change(upperdentry, &attr, NULL);
218e9be9d5eSMiklos Szeredi 	}
219e9be9d5eSMiklos Szeredi 	if (!err) {
220e9be9d5eSMiklos Szeredi 		struct iattr attr = {
221e9be9d5eSMiklos Szeredi 			.ia_valid = ATTR_UID | ATTR_GID,
222e9be9d5eSMiklos Szeredi 			.ia_uid = stat->uid,
223e9be9d5eSMiklos Szeredi 			.ia_gid = stat->gid,
224e9be9d5eSMiklos Szeredi 		};
225e9be9d5eSMiklos Szeredi 		err = notify_change(upperdentry, &attr, NULL);
226e9be9d5eSMiklos Szeredi 	}
227e9be9d5eSMiklos Szeredi 	if (!err)
228e9be9d5eSMiklos Szeredi 		ovl_set_timestamps(upperdentry, stat);
229e9be9d5eSMiklos Szeredi 
230e9be9d5eSMiklos Szeredi 	return err;
231e9be9d5eSMiklos Szeredi }
232e9be9d5eSMiklos Szeredi 
233e9be9d5eSMiklos Szeredi static int ovl_copy_up_locked(struct dentry *workdir, struct dentry *upperdir,
234e9be9d5eSMiklos Szeredi 			      struct dentry *dentry, struct path *lowerpath,
2350f7ff2daSAl Viro 			      struct kstat *stat, const char *link)
236e9be9d5eSMiklos Szeredi {
237e9be9d5eSMiklos Szeredi 	struct inode *wdir = workdir->d_inode;
238e9be9d5eSMiklos Szeredi 	struct inode *udir = upperdir->d_inode;
239e9be9d5eSMiklos Szeredi 	struct dentry *newdentry = NULL;
240e9be9d5eSMiklos Szeredi 	struct dentry *upper = NULL;
241e9be9d5eSMiklos Szeredi 	umode_t mode = stat->mode;
242e9be9d5eSMiklos Szeredi 	int err;
243d8ad8b49SVivek Goyal 	const struct cred *old_creds = NULL;
244d8ad8b49SVivek Goyal 	struct cred *new_creds = NULL;
245e9be9d5eSMiklos Szeredi 
246e9be9d5eSMiklos Szeredi 	newdentry = ovl_lookup_temp(workdir, dentry);
247e9be9d5eSMiklos Szeredi 	err = PTR_ERR(newdentry);
248e9be9d5eSMiklos Szeredi 	if (IS_ERR(newdentry))
249e9be9d5eSMiklos Szeredi 		goto out;
250e9be9d5eSMiklos Szeredi 
251e9be9d5eSMiklos Szeredi 	upper = lookup_one_len(dentry->d_name.name, upperdir,
252e9be9d5eSMiklos Szeredi 			       dentry->d_name.len);
253e9be9d5eSMiklos Szeredi 	err = PTR_ERR(upper);
254e9be9d5eSMiklos Szeredi 	if (IS_ERR(upper))
255e9be9d5eSMiklos Szeredi 		goto out1;
256e9be9d5eSMiklos Szeredi 
257d8ad8b49SVivek Goyal 	err = security_inode_copy_up(dentry, &new_creds);
258d8ad8b49SVivek Goyal 	if (err < 0)
259d8ad8b49SVivek Goyal 		goto out2;
260d8ad8b49SVivek Goyal 
261d8ad8b49SVivek Goyal 	if (new_creds)
262d8ad8b49SVivek Goyal 		old_creds = override_creds(new_creds);
263d8ad8b49SVivek Goyal 
264e9be9d5eSMiklos Szeredi 	/* Can't properly set mode on creation because of the umask */
265e9be9d5eSMiklos Szeredi 	stat->mode &= S_IFMT;
266e9be9d5eSMiklos Szeredi 	err = ovl_create_real(wdir, newdentry, stat, link, NULL, true);
267e9be9d5eSMiklos Szeredi 	stat->mode = mode;
268d8ad8b49SVivek Goyal 
269d8ad8b49SVivek Goyal 	if (new_creds) {
270d8ad8b49SVivek Goyal 		revert_creds(old_creds);
271d8ad8b49SVivek Goyal 		put_cred(new_creds);
272d8ad8b49SVivek Goyal 	}
273d8ad8b49SVivek Goyal 
274e9be9d5eSMiklos Szeredi 	if (err)
275e9be9d5eSMiklos Szeredi 		goto out2;
276e9be9d5eSMiklos Szeredi 
277e9be9d5eSMiklos Szeredi 	if (S_ISREG(stat->mode)) {
278e9be9d5eSMiklos Szeredi 		struct path upperpath;
279f134f244SSohom Bhattacharjee 
280e9be9d5eSMiklos Szeredi 		ovl_path_upper(dentry, &upperpath);
281e9be9d5eSMiklos Szeredi 		BUG_ON(upperpath.dentry != NULL);
282e9be9d5eSMiklos Szeredi 		upperpath.dentry = newdentry;
283e9be9d5eSMiklos Szeredi 
284e9be9d5eSMiklos Szeredi 		err = ovl_copy_up_data(lowerpath, &upperpath, stat->size);
285e9be9d5eSMiklos Szeredi 		if (err)
286e9be9d5eSMiklos Szeredi 			goto out_cleanup;
287e9be9d5eSMiklos Szeredi 	}
288e9be9d5eSMiklos Szeredi 
289e9be9d5eSMiklos Szeredi 	err = ovl_copy_xattr(lowerpath->dentry, newdentry);
290e9be9d5eSMiklos Szeredi 	if (err)
291e9be9d5eSMiklos Szeredi 		goto out_cleanup;
292e9be9d5eSMiklos Szeredi 
2935955102cSAl Viro 	inode_lock(newdentry->d_inode);
294e9be9d5eSMiklos Szeredi 	err = ovl_set_attr(newdentry, stat);
2955955102cSAl Viro 	inode_unlock(newdentry->d_inode);
296e9be9d5eSMiklos Szeredi 	if (err)
297e9be9d5eSMiklos Szeredi 		goto out_cleanup;
298e9be9d5eSMiklos Szeredi 
299e9be9d5eSMiklos Szeredi 	err = ovl_do_rename(wdir, newdentry, udir, upper, 0);
300e9be9d5eSMiklos Szeredi 	if (err)
301e9be9d5eSMiklos Szeredi 		goto out_cleanup;
302e9be9d5eSMiklos Szeredi 
303e9be9d5eSMiklos Szeredi 	ovl_dentry_update(dentry, newdentry);
30439b681f8SMiklos Szeredi 	ovl_inode_update(d_inode(dentry), d_inode(newdentry));
305e9be9d5eSMiklos Szeredi 	newdentry = NULL;
306e9be9d5eSMiklos Szeredi 
307e9be9d5eSMiklos Szeredi 	/*
308e9be9d5eSMiklos Szeredi 	 * Non-directores become opaque when copied up.
309e9be9d5eSMiklos Szeredi 	 */
310e9be9d5eSMiklos Szeredi 	if (!S_ISDIR(stat->mode))
311e9be9d5eSMiklos Szeredi 		ovl_dentry_set_opaque(dentry, true);
312e9be9d5eSMiklos Szeredi out2:
313e9be9d5eSMiklos Szeredi 	dput(upper);
314e9be9d5eSMiklos Szeredi out1:
315e9be9d5eSMiklos Szeredi 	dput(newdentry);
316e9be9d5eSMiklos Szeredi out:
317e9be9d5eSMiklos Szeredi 	return err;
318e9be9d5eSMiklos Szeredi 
319e9be9d5eSMiklos Szeredi out_cleanup:
320e9be9d5eSMiklos Szeredi 	ovl_cleanup(wdir, newdentry);
321ab79efabSDavid Howells 	goto out2;
322e9be9d5eSMiklos Szeredi }
323e9be9d5eSMiklos Szeredi 
324e9be9d5eSMiklos Szeredi /*
325e9be9d5eSMiklos Szeredi  * Copy up a single dentry
326e9be9d5eSMiklos Szeredi  *
327e9be9d5eSMiklos Szeredi  * Directory renames only allowed on "pure upper" (already created on
328e9be9d5eSMiklos Szeredi  * upper filesystem, never copied up).  Directories which are on lower or
329e9be9d5eSMiklos Szeredi  * are merged may not be renamed.  For these -EXDEV is returned and
330e9be9d5eSMiklos Szeredi  * userspace has to deal with it.  This means, when copying up a
331e9be9d5eSMiklos Szeredi  * directory we can rely on it and ancestors being stable.
332e9be9d5eSMiklos Szeredi  *
333e9be9d5eSMiklos Szeredi  * Non-directory renames start with copy up of source if necessary.  The
334e9be9d5eSMiklos Szeredi  * actual rename will only proceed once the copy up was successful.  Copy
335e9be9d5eSMiklos Szeredi  * up uses upper parent i_mutex for exclusion.  Since rename can change
336e9be9d5eSMiklos Szeredi  * d_parent it is possible that the copy up will lock the old parent.  At
337e9be9d5eSMiklos Szeredi  * that point the file will have already been copied up anyway.
338e9be9d5eSMiklos Szeredi  */
339e9be9d5eSMiklos Szeredi int ovl_copy_up_one(struct dentry *parent, struct dentry *dentry,
3400f7ff2daSAl Viro 		    struct path *lowerpath, struct kstat *stat)
341e9be9d5eSMiklos Szeredi {
3427764235bSMiklos Szeredi 	DEFINE_DELAYED_CALL(done);
343e9be9d5eSMiklos Szeredi 	struct dentry *workdir = ovl_workdir(dentry);
344e9be9d5eSMiklos Szeredi 	int err;
345e9be9d5eSMiklos Szeredi 	struct kstat pstat;
346e9be9d5eSMiklos Szeredi 	struct path parentpath;
3477764235bSMiklos Szeredi 	struct dentry *lowerdentry = lowerpath->dentry;
348e9be9d5eSMiklos Szeredi 	struct dentry *upperdir;
349e9be9d5eSMiklos Szeredi 	struct dentry *upperdentry;
3507764235bSMiklos Szeredi 	const char *link = NULL;
351e9be9d5eSMiklos Szeredi 
352cc6f67bcSMiklos Szeredi 	if (WARN_ON(!workdir))
353cc6f67bcSMiklos Szeredi 		return -EROFS;
354cc6f67bcSMiklos Szeredi 
3557764235bSMiklos Szeredi 	ovl_do_check_copy_up(lowerdentry);
356fb5bb2c3SDavid Howells 
357e9be9d5eSMiklos Szeredi 	ovl_path_upper(parent, &parentpath);
358e9be9d5eSMiklos Szeredi 	upperdir = parentpath.dentry;
359e9be9d5eSMiklos Szeredi 
360e9be9d5eSMiklos Szeredi 	err = vfs_getattr(&parentpath, &pstat);
361e9be9d5eSMiklos Szeredi 	if (err)
362e9be9d5eSMiklos Szeredi 		return err;
363e9be9d5eSMiklos Szeredi 
364e9be9d5eSMiklos Szeredi 	if (S_ISLNK(stat->mode)) {
3657764235bSMiklos Szeredi 		link = vfs_get_link(lowerdentry, &done);
366e9be9d5eSMiklos Szeredi 		if (IS_ERR(link))
367e9be9d5eSMiklos Szeredi 			return PTR_ERR(link);
368e9be9d5eSMiklos Szeredi 	}
369e9be9d5eSMiklos Szeredi 
370e9be9d5eSMiklos Szeredi 	err = -EIO;
371e9be9d5eSMiklos Szeredi 	if (lock_rename(workdir, upperdir) != NULL) {
372e9be9d5eSMiklos Szeredi 		pr_err("overlayfs: failed to lock workdir+upperdir\n");
373e9be9d5eSMiklos Szeredi 		goto out_unlock;
374e9be9d5eSMiklos Szeredi 	}
375e9be9d5eSMiklos Szeredi 	upperdentry = ovl_dentry_upper(dentry);
376e9be9d5eSMiklos Szeredi 	if (upperdentry) {
3770f7ff2daSAl Viro 		/* Raced with another copy-up?  Nothing to do, then... */
378e9be9d5eSMiklos Szeredi 		err = 0;
3790f7ff2daSAl Viro 		goto out_unlock;
380e9be9d5eSMiklos Szeredi 	}
381e9be9d5eSMiklos Szeredi 
382e9be9d5eSMiklos Szeredi 	err = ovl_copy_up_locked(workdir, upperdir, dentry, lowerpath,
3830f7ff2daSAl Viro 				 stat, link);
384e9be9d5eSMiklos Szeredi 	if (!err) {
385e9be9d5eSMiklos Szeredi 		/* Restore timestamps on parent (best effort) */
386e9be9d5eSMiklos Szeredi 		ovl_set_timestamps(upperdir, &pstat);
387e9be9d5eSMiklos Szeredi 	}
388e9be9d5eSMiklos Szeredi out_unlock:
389e9be9d5eSMiklos Szeredi 	unlock_rename(workdir, upperdir);
3907764235bSMiklos Szeredi 	do_delayed_call(&done);
391e9be9d5eSMiklos Szeredi 
392e9be9d5eSMiklos Szeredi 	return err;
393e9be9d5eSMiklos Szeredi }
394e9be9d5eSMiklos Szeredi 
395e9be9d5eSMiklos Szeredi int ovl_copy_up(struct dentry *dentry)
396e9be9d5eSMiklos Szeredi {
3978eac98b8SVivek Goyal 	int err = 0;
3988eac98b8SVivek Goyal 	const struct cred *old_cred = ovl_override_creds(dentry->d_sb);
399e9be9d5eSMiklos Szeredi 
400e9be9d5eSMiklos Szeredi 	while (!err) {
401e9be9d5eSMiklos Szeredi 		struct dentry *next;
402e9be9d5eSMiklos Szeredi 		struct dentry *parent;
403e9be9d5eSMiklos Szeredi 		struct path lowerpath;
404e9be9d5eSMiklos Szeredi 		struct kstat stat;
405e9be9d5eSMiklos Szeredi 		enum ovl_path_type type = ovl_path_type(dentry);
406e9be9d5eSMiklos Szeredi 
4071afaba1eSMiklos Szeredi 		if (OVL_TYPE_UPPER(type))
408e9be9d5eSMiklos Szeredi 			break;
409e9be9d5eSMiklos Szeredi 
410e9be9d5eSMiklos Szeredi 		next = dget(dentry);
411e9be9d5eSMiklos Szeredi 		/* find the topmost dentry not yet copied up */
412e9be9d5eSMiklos Szeredi 		for (;;) {
413e9be9d5eSMiklos Szeredi 			parent = dget_parent(next);
414e9be9d5eSMiklos Szeredi 
415e9be9d5eSMiklos Szeredi 			type = ovl_path_type(parent);
4161afaba1eSMiklos Szeredi 			if (OVL_TYPE_UPPER(type))
417e9be9d5eSMiklos Szeredi 				break;
418e9be9d5eSMiklos Szeredi 
419e9be9d5eSMiklos Szeredi 			dput(next);
420e9be9d5eSMiklos Szeredi 			next = parent;
421e9be9d5eSMiklos Szeredi 		}
422e9be9d5eSMiklos Szeredi 
423e9be9d5eSMiklos Szeredi 		ovl_path_lower(next, &lowerpath);
424e9be9d5eSMiklos Szeredi 		err = vfs_getattr(&lowerpath, &stat);
425e9be9d5eSMiklos Szeredi 		if (!err)
4260f7ff2daSAl Viro 			err = ovl_copy_up_one(parent, next, &lowerpath, &stat);
427e9be9d5eSMiklos Szeredi 
428e9be9d5eSMiklos Szeredi 		dput(parent);
429e9be9d5eSMiklos Szeredi 		dput(next);
430e9be9d5eSMiklos Szeredi 	}
4318eac98b8SVivek Goyal 	revert_creds(old_cred);
432e9be9d5eSMiklos Szeredi 
433e9be9d5eSMiklos Szeredi 	return err;
434e9be9d5eSMiklos Szeredi }
435