xref: /openbmc/linux/fs/overlayfs/copy_up.c (revision 452ce659)
1e9be9d5eSMiklos Szeredi /*
2e9be9d5eSMiklos Szeredi  *
3e9be9d5eSMiklos Szeredi  * Copyright (C) 2011 Novell Inc.
4e9be9d5eSMiklos Szeredi  *
5e9be9d5eSMiklos Szeredi  * This program is free software; you can redistribute it and/or modify it
6e9be9d5eSMiklos Szeredi  * under the terms of the GNU General Public License version 2 as published by
7e9be9d5eSMiklos Szeredi  * the Free Software Foundation.
8e9be9d5eSMiklos Szeredi  */
9e9be9d5eSMiklos Szeredi 
10fb5bb2c3SDavid Howells #include <linux/module.h>
11e9be9d5eSMiklos Szeredi #include <linux/fs.h>
12e9be9d5eSMiklos Szeredi #include <linux/slab.h>
13e9be9d5eSMiklos Szeredi #include <linux/file.h>
14e9be9d5eSMiklos Szeredi #include <linux/splice.h>
15e9be9d5eSMiklos Szeredi #include <linux/xattr.h>
16e9be9d5eSMiklos Szeredi #include <linux/security.h>
17e9be9d5eSMiklos Szeredi #include <linux/uaccess.h>
18174cd4b1SIngo Molnar #include <linux/sched/signal.h>
195b825c3aSIngo Molnar #include <linux/cred.h>
20e9be9d5eSMiklos Szeredi #include <linux/namei.h>
21fb5bb2c3SDavid Howells #include <linux/fdtable.h>
22fb5bb2c3SDavid Howells #include <linux/ratelimit.h>
233a1e819bSAmir Goldstein #include <linux/exportfs.h>
24e9be9d5eSMiklos Szeredi #include "overlayfs.h"
25e9be9d5eSMiklos Szeredi 
26e9be9d5eSMiklos Szeredi #define OVL_COPY_UP_CHUNK_SIZE (1 << 20)
27e9be9d5eSMiklos Szeredi 
28670c2324SMiklos Szeredi static int ovl_ccup_set(const char *buf, const struct kernel_param *param)
29fb5bb2c3SDavid Howells {
30670c2324SMiklos Szeredi 	pr_warn("overlayfs: \"check_copy_up\" module option is obsolete\n");
31fb5bb2c3SDavid Howells 	return 0;
32fb5bb2c3SDavid Howells }
33fb5bb2c3SDavid Howells 
34670c2324SMiklos Szeredi static int ovl_ccup_get(char *buf, const struct kernel_param *param)
35fb5bb2c3SDavid Howells {
36670c2324SMiklos Szeredi 	return sprintf(buf, "N\n");
37fb5bb2c3SDavid Howells }
38fb5bb2c3SDavid Howells 
39670c2324SMiklos Szeredi module_param_call(check_copy_up, ovl_ccup_set, ovl_ccup_get, NULL, 0644);
40670c2324SMiklos Szeredi MODULE_PARM_DESC(ovl_check_copy_up, "Obsolete; does nothing");
41670c2324SMiklos Szeredi 
42e9be9d5eSMiklos Szeredi int ovl_copy_xattr(struct dentry *old, struct dentry *new)
43e9be9d5eSMiklos Szeredi {
44e4ad29faSVito Caputo 	ssize_t list_size, size, value_size = 0;
45e4ad29faSVito Caputo 	char *buf, *name, *value = NULL;
46e4ad29faSVito Caputo 	int uninitialized_var(error);
478b326c61SMiklos Szeredi 	size_t slen;
48e9be9d5eSMiklos Szeredi 
495d6c3191SAndreas Gruenbacher 	if (!(old->d_inode->i_opflags & IOP_XATTR) ||
505d6c3191SAndreas Gruenbacher 	    !(new->d_inode->i_opflags & IOP_XATTR))
51e9be9d5eSMiklos Szeredi 		return 0;
52e9be9d5eSMiklos Szeredi 
53e9be9d5eSMiklos Szeredi 	list_size = vfs_listxattr(old, NULL, 0);
54e9be9d5eSMiklos Szeredi 	if (list_size <= 0) {
55e9be9d5eSMiklos Szeredi 		if (list_size == -EOPNOTSUPP)
56e9be9d5eSMiklos Szeredi 			return 0;
57e9be9d5eSMiklos Szeredi 		return list_size;
58e9be9d5eSMiklos Szeredi 	}
59e9be9d5eSMiklos Szeredi 
60e9be9d5eSMiklos Szeredi 	buf = kzalloc(list_size, GFP_KERNEL);
61e9be9d5eSMiklos Szeredi 	if (!buf)
62e9be9d5eSMiklos Szeredi 		return -ENOMEM;
63e9be9d5eSMiklos Szeredi 
64e9be9d5eSMiklos Szeredi 	list_size = vfs_listxattr(old, buf, list_size);
65e9be9d5eSMiklos Szeredi 	if (list_size <= 0) {
66e9be9d5eSMiklos Szeredi 		error = list_size;
67e4ad29faSVito Caputo 		goto out;
68e9be9d5eSMiklos Szeredi 	}
69e9be9d5eSMiklos Szeredi 
708b326c61SMiklos Szeredi 	for (name = buf; list_size; name += slen) {
718b326c61SMiklos Szeredi 		slen = strnlen(name, list_size) + 1;
728b326c61SMiklos Szeredi 
738b326c61SMiklos Szeredi 		/* underlying fs providing us with an broken xattr list? */
748b326c61SMiklos Szeredi 		if (WARN_ON(slen > list_size)) {
758b326c61SMiklos Szeredi 			error = -EIO;
768b326c61SMiklos Szeredi 			break;
778b326c61SMiklos Szeredi 		}
788b326c61SMiklos Szeredi 		list_size -= slen;
798b326c61SMiklos Szeredi 
800956254aSMiklos Szeredi 		if (ovl_is_private_xattr(name))
810956254aSMiklos Szeredi 			continue;
82e4ad29faSVito Caputo retry:
83e4ad29faSVito Caputo 		size = vfs_getxattr(old, name, value, value_size);
84e4ad29faSVito Caputo 		if (size == -ERANGE)
85e4ad29faSVito Caputo 			size = vfs_getxattr(old, name, NULL, 0);
86e4ad29faSVito Caputo 
8797daf8b9SMiklos Szeredi 		if (size < 0) {
88e9be9d5eSMiklos Szeredi 			error = size;
89e4ad29faSVito Caputo 			break;
90e9be9d5eSMiklos Szeredi 		}
91e9be9d5eSMiklos Szeredi 
92e4ad29faSVito Caputo 		if (size > value_size) {
93e4ad29faSVito Caputo 			void *new;
94e4ad29faSVito Caputo 
95e4ad29faSVito Caputo 			new = krealloc(value, size, GFP_KERNEL);
96e4ad29faSVito Caputo 			if (!new) {
97e4ad29faSVito Caputo 				error = -ENOMEM;
98e4ad29faSVito Caputo 				break;
99e4ad29faSVito Caputo 			}
100e4ad29faSVito Caputo 			value = new;
101e4ad29faSVito Caputo 			value_size = size;
102e4ad29faSVito Caputo 			goto retry;
103e4ad29faSVito Caputo 		}
104e4ad29faSVito Caputo 
105121ab822SVivek Goyal 		error = security_inode_copy_up_xattr(name);
106121ab822SVivek Goyal 		if (error < 0 && error != -EOPNOTSUPP)
107121ab822SVivek Goyal 			break;
108121ab822SVivek Goyal 		if (error == 1) {
109121ab822SVivek Goyal 			error = 0;
110121ab822SVivek Goyal 			continue; /* Discard */
111121ab822SVivek Goyal 		}
112e4ad29faSVito Caputo 		error = vfs_setxattr(new, name, value, size, 0);
113e4ad29faSVito Caputo 		if (error)
114e4ad29faSVito Caputo 			break;
115e4ad29faSVito Caputo 	}
116e9be9d5eSMiklos Szeredi 	kfree(value);
117e9be9d5eSMiklos Szeredi out:
118e9be9d5eSMiklos Szeredi 	kfree(buf);
119e9be9d5eSMiklos Szeredi 	return error;
120e9be9d5eSMiklos Szeredi }
121e9be9d5eSMiklos Szeredi 
122e9be9d5eSMiklos Szeredi static int ovl_copy_up_data(struct path *old, struct path *new, loff_t len)
123e9be9d5eSMiklos Szeredi {
124e9be9d5eSMiklos Szeredi 	struct file *old_file;
125e9be9d5eSMiklos Szeredi 	struct file *new_file;
126e9be9d5eSMiklos Szeredi 	loff_t old_pos = 0;
127e9be9d5eSMiklos Szeredi 	loff_t new_pos = 0;
12842ec3d4cSDarrick J. Wong 	loff_t cloned;
129e9be9d5eSMiklos Szeredi 	int error = 0;
130e9be9d5eSMiklos Szeredi 
131e9be9d5eSMiklos Szeredi 	if (len == 0)
132e9be9d5eSMiklos Szeredi 		return 0;
133e9be9d5eSMiklos Szeredi 
1340480334fSDavid Howells 	old_file = ovl_path_open(old, O_LARGEFILE | O_RDONLY);
135e9be9d5eSMiklos Szeredi 	if (IS_ERR(old_file))
136e9be9d5eSMiklos Szeredi 		return PTR_ERR(old_file);
137e9be9d5eSMiklos Szeredi 
1380480334fSDavid Howells 	new_file = ovl_path_open(new, O_LARGEFILE | O_WRONLY);
139e9be9d5eSMiklos Szeredi 	if (IS_ERR(new_file)) {
140e9be9d5eSMiklos Szeredi 		error = PTR_ERR(new_file);
141e9be9d5eSMiklos Szeredi 		goto out_fput;
142e9be9d5eSMiklos Szeredi 	}
143e9be9d5eSMiklos Szeredi 
1442ea98466SAmir Goldstein 	/* Try to use clone_file_range to clone up within the same fs */
145452ce659SDarrick J. Wong 	cloned = do_clone_file_range(old_file, 0, new_file, 0, len, 0);
14642ec3d4cSDarrick J. Wong 	if (cloned == len)
1472ea98466SAmir Goldstein 		goto out;
1482ea98466SAmir Goldstein 	/* Couldn't clone, so now we try to copy the data */
1492ea98466SAmir Goldstein 
150e9be9d5eSMiklos Szeredi 	/* FIXME: copy up sparse files efficiently */
151e9be9d5eSMiklos Szeredi 	while (len) {
152e9be9d5eSMiklos Szeredi 		size_t this_len = OVL_COPY_UP_CHUNK_SIZE;
153e9be9d5eSMiklos Szeredi 		long bytes;
154e9be9d5eSMiklos Szeredi 
155e9be9d5eSMiklos Szeredi 		if (len < this_len)
156e9be9d5eSMiklos Szeredi 			this_len = len;
157e9be9d5eSMiklos Szeredi 
158e9be9d5eSMiklos Szeredi 		if (signal_pending_state(TASK_KILLABLE, current)) {
159e9be9d5eSMiklos Szeredi 			error = -EINTR;
160e9be9d5eSMiklos Szeredi 			break;
161e9be9d5eSMiklos Szeredi 		}
162e9be9d5eSMiklos Szeredi 
163e9be9d5eSMiklos Szeredi 		bytes = do_splice_direct(old_file, &old_pos,
164e9be9d5eSMiklos Szeredi 					 new_file, &new_pos,
165e9be9d5eSMiklos Szeredi 					 this_len, SPLICE_F_MOVE);
166e9be9d5eSMiklos Szeredi 		if (bytes <= 0) {
167e9be9d5eSMiklos Szeredi 			error = bytes;
168e9be9d5eSMiklos Szeredi 			break;
169e9be9d5eSMiklos Szeredi 		}
170e9be9d5eSMiklos Szeredi 		WARN_ON(old_pos != new_pos);
171e9be9d5eSMiklos Szeredi 
172e9be9d5eSMiklos Szeredi 		len -= bytes;
173e9be9d5eSMiklos Szeredi 	}
1742ea98466SAmir Goldstein out:
175641089c1SMiklos Szeredi 	if (!error)
176641089c1SMiklos Szeredi 		error = vfs_fsync(new_file, 0);
177e9be9d5eSMiklos Szeredi 	fput(new_file);
178e9be9d5eSMiklos Szeredi out_fput:
179e9be9d5eSMiklos Szeredi 	fput(old_file);
180e9be9d5eSMiklos Szeredi 	return error;
181e9be9d5eSMiklos Szeredi }
182e9be9d5eSMiklos Szeredi 
1830c288874SVivek Goyal static int ovl_set_size(struct dentry *upperdentry, struct kstat *stat)
1840c288874SVivek Goyal {
1850c288874SVivek Goyal 	struct iattr attr = {
1860c288874SVivek Goyal 		.ia_valid = ATTR_SIZE,
1870c288874SVivek Goyal 		.ia_size = stat->size,
1880c288874SVivek Goyal 	};
1890c288874SVivek Goyal 
1900c288874SVivek Goyal 	return notify_change(upperdentry, &attr, NULL);
1910c288874SVivek Goyal }
1920c288874SVivek Goyal 
193e9be9d5eSMiklos Szeredi static int ovl_set_timestamps(struct dentry *upperdentry, struct kstat *stat)
194e9be9d5eSMiklos Szeredi {
195e9be9d5eSMiklos Szeredi 	struct iattr attr = {
196e9be9d5eSMiklos Szeredi 		.ia_valid =
197e9be9d5eSMiklos Szeredi 		     ATTR_ATIME | ATTR_MTIME | ATTR_ATIME_SET | ATTR_MTIME_SET,
198e9be9d5eSMiklos Szeredi 		.ia_atime = stat->atime,
199e9be9d5eSMiklos Szeredi 		.ia_mtime = stat->mtime,
200e9be9d5eSMiklos Szeredi 	};
201e9be9d5eSMiklos Szeredi 
202e9be9d5eSMiklos Szeredi 	return notify_change(upperdentry, &attr, NULL);
203e9be9d5eSMiklos Szeredi }
204e9be9d5eSMiklos Szeredi 
205e9be9d5eSMiklos Szeredi int ovl_set_attr(struct dentry *upperdentry, struct kstat *stat)
206e9be9d5eSMiklos Szeredi {
207e9be9d5eSMiklos Szeredi 	int err = 0;
208e9be9d5eSMiklos Szeredi 
209e9be9d5eSMiklos Szeredi 	if (!S_ISLNK(stat->mode)) {
210e9be9d5eSMiklos Szeredi 		struct iattr attr = {
211e9be9d5eSMiklos Szeredi 			.ia_valid = ATTR_MODE,
212e9be9d5eSMiklos Szeredi 			.ia_mode = stat->mode,
213e9be9d5eSMiklos Szeredi 		};
214e9be9d5eSMiklos Szeredi 		err = notify_change(upperdentry, &attr, NULL);
215e9be9d5eSMiklos Szeredi 	}
216e9be9d5eSMiklos Szeredi 	if (!err) {
217e9be9d5eSMiklos Szeredi 		struct iattr attr = {
218e9be9d5eSMiklos Szeredi 			.ia_valid = ATTR_UID | ATTR_GID,
219e9be9d5eSMiklos Szeredi 			.ia_uid = stat->uid,
220e9be9d5eSMiklos Szeredi 			.ia_gid = stat->gid,
221e9be9d5eSMiklos Szeredi 		};
222e9be9d5eSMiklos Szeredi 		err = notify_change(upperdentry, &attr, NULL);
223e9be9d5eSMiklos Szeredi 	}
224e9be9d5eSMiklos Szeredi 	if (!err)
225e9be9d5eSMiklos Szeredi 		ovl_set_timestamps(upperdentry, stat);
226e9be9d5eSMiklos Szeredi 
227e9be9d5eSMiklos Szeredi 	return err;
228e9be9d5eSMiklos Szeredi }
229e9be9d5eSMiklos Szeredi 
2305b2cccd3SAmir Goldstein struct ovl_fh *ovl_encode_real_fh(struct dentry *real, bool is_upper)
2313a1e819bSAmir Goldstein {
2323a1e819bSAmir Goldstein 	struct ovl_fh *fh;
2333a1e819bSAmir Goldstein 	int fh_type, fh_len, dwords;
2343a1e819bSAmir Goldstein 	void *buf;
2353a1e819bSAmir Goldstein 	int buflen = MAX_HANDLE_SZ;
23605122443SAmir Goldstein 	uuid_t *uuid = &real->d_sb->s_uuid;
2373a1e819bSAmir Goldstein 
2380ee931c4SMichal Hocko 	buf = kmalloc(buflen, GFP_KERNEL);
2393a1e819bSAmir Goldstein 	if (!buf)
2403a1e819bSAmir Goldstein 		return ERR_PTR(-ENOMEM);
2413a1e819bSAmir Goldstein 
2423a1e819bSAmir Goldstein 	/*
2433a1e819bSAmir Goldstein 	 * We encode a non-connectable file handle for non-dir, because we
2443a1e819bSAmir Goldstein 	 * only need to find the lower inode number and we don't want to pay
2453a1e819bSAmir Goldstein 	 * the price or reconnecting the dentry.
2463a1e819bSAmir Goldstein 	 */
2473a1e819bSAmir Goldstein 	dwords = buflen >> 2;
24805122443SAmir Goldstein 	fh_type = exportfs_encode_fh(real, buf, &dwords, 0);
2493a1e819bSAmir Goldstein 	buflen = (dwords << 2);
2503a1e819bSAmir Goldstein 
2513a1e819bSAmir Goldstein 	fh = ERR_PTR(-EIO);
2523a1e819bSAmir Goldstein 	if (WARN_ON(fh_type < 0) ||
2533a1e819bSAmir Goldstein 	    WARN_ON(buflen > MAX_HANDLE_SZ) ||
2543a1e819bSAmir Goldstein 	    WARN_ON(fh_type == FILEID_INVALID))
2553a1e819bSAmir Goldstein 		goto out;
2563a1e819bSAmir Goldstein 
2573a1e819bSAmir Goldstein 	BUILD_BUG_ON(MAX_HANDLE_SZ + offsetof(struct ovl_fh, fid) > 255);
2583a1e819bSAmir Goldstein 	fh_len = offsetof(struct ovl_fh, fid) + buflen;
2593a1e819bSAmir Goldstein 	fh = kmalloc(fh_len, GFP_KERNEL);
2603a1e819bSAmir Goldstein 	if (!fh) {
2613a1e819bSAmir Goldstein 		fh = ERR_PTR(-ENOMEM);
2623a1e819bSAmir Goldstein 		goto out;
2633a1e819bSAmir Goldstein 	}
2643a1e819bSAmir Goldstein 
2653a1e819bSAmir Goldstein 	fh->version = OVL_FH_VERSION;
2663a1e819bSAmir Goldstein 	fh->magic = OVL_FH_MAGIC;
2673a1e819bSAmir Goldstein 	fh->type = fh_type;
2683a1e819bSAmir Goldstein 	fh->flags = OVL_FH_FLAG_CPU_ENDIAN;
26954fb347eSAmir Goldstein 	/*
27054fb347eSAmir Goldstein 	 * When we will want to decode an overlay dentry from this handle
27154fb347eSAmir Goldstein 	 * and all layers are on the same fs, if we get a disconncted real
27254fb347eSAmir Goldstein 	 * dentry when we decode fid, the only way to tell if we should assign
27354fb347eSAmir Goldstein 	 * it to upperdentry or to lowerstack is by checking this flag.
27454fb347eSAmir Goldstein 	 */
27554fb347eSAmir Goldstein 	if (is_upper)
27654fb347eSAmir Goldstein 		fh->flags |= OVL_FH_FLAG_PATH_UPPER;
2773a1e819bSAmir Goldstein 	fh->len = fh_len;
2783a1e819bSAmir Goldstein 	fh->uuid = *uuid;
2793a1e819bSAmir Goldstein 	memcpy(fh->fid, buf, buflen);
2803a1e819bSAmir Goldstein 
2813a1e819bSAmir Goldstein out:
2823a1e819bSAmir Goldstein 	kfree(buf);
2833a1e819bSAmir Goldstein 	return fh;
2843a1e819bSAmir Goldstein }
2853a1e819bSAmir Goldstein 
2869678e630SAmir Goldstein int ovl_set_origin(struct dentry *dentry, struct dentry *lower,
2873a1e819bSAmir Goldstein 		   struct dentry *upper)
2883a1e819bSAmir Goldstein {
2893a1e819bSAmir Goldstein 	const struct ovl_fh *fh = NULL;
2903a1e819bSAmir Goldstein 	int err;
2913a1e819bSAmir Goldstein 
2923a1e819bSAmir Goldstein 	/*
2933a1e819bSAmir Goldstein 	 * When lower layer doesn't support export operations store a 'null' fh,
2943a1e819bSAmir Goldstein 	 * so we can use the overlay.origin xattr to distignuish between a copy
2953a1e819bSAmir Goldstein 	 * up and a pure upper inode.
2963a1e819bSAmir Goldstein 	 */
29702bcd157SAmir Goldstein 	if (ovl_can_decode_fh(lower->d_sb)) {
2985b2cccd3SAmir Goldstein 		fh = ovl_encode_real_fh(lower, false);
2993a1e819bSAmir Goldstein 		if (IS_ERR(fh))
3003a1e819bSAmir Goldstein 			return PTR_ERR(fh);
3013a1e819bSAmir Goldstein 	}
3023a1e819bSAmir Goldstein 
3036266d465SMiklos Szeredi 	/*
3046266d465SMiklos Szeredi 	 * Do not fail when upper doesn't support xattrs.
3056266d465SMiklos Szeredi 	 */
3066266d465SMiklos Szeredi 	err = ovl_check_setxattr(dentry, upper, OVL_XATTR_ORIGIN, fh,
3076266d465SMiklos Szeredi 				 fh ? fh->len : 0, 0);
3083a1e819bSAmir Goldstein 	kfree(fh);
3093a1e819bSAmir Goldstein 
3103a1e819bSAmir Goldstein 	return err;
3113a1e819bSAmir Goldstein }
3123a1e819bSAmir Goldstein 
313016b720fSAmir Goldstein /* Store file handle of @upper dir in @index dir entry */
314016b720fSAmir Goldstein static int ovl_set_upper_fh(struct dentry *upper, struct dentry *index)
315016b720fSAmir Goldstein {
316016b720fSAmir Goldstein 	const struct ovl_fh *fh;
317016b720fSAmir Goldstein 	int err;
318016b720fSAmir Goldstein 
3195b2cccd3SAmir Goldstein 	fh = ovl_encode_real_fh(upper, true);
320016b720fSAmir Goldstein 	if (IS_ERR(fh))
321016b720fSAmir Goldstein 		return PTR_ERR(fh);
322016b720fSAmir Goldstein 
323016b720fSAmir Goldstein 	err = ovl_do_setxattr(index, OVL_XATTR_UPPER, fh, fh->len, 0);
324016b720fSAmir Goldstein 
325016b720fSAmir Goldstein 	kfree(fh);
326016b720fSAmir Goldstein 	return err;
327016b720fSAmir Goldstein }
328016b720fSAmir Goldstein 
329016b720fSAmir Goldstein /*
330016b720fSAmir Goldstein  * Create and install index entry.
331016b720fSAmir Goldstein  *
332016b720fSAmir Goldstein  * Caller must hold i_mutex on indexdir.
333016b720fSAmir Goldstein  */
334016b720fSAmir Goldstein static int ovl_create_index(struct dentry *dentry, struct dentry *origin,
335016b720fSAmir Goldstein 			    struct dentry *upper)
336016b720fSAmir Goldstein {
337016b720fSAmir Goldstein 	struct dentry *indexdir = ovl_indexdir(dentry->d_sb);
338016b720fSAmir Goldstein 	struct inode *dir = d_inode(indexdir);
339016b720fSAmir Goldstein 	struct dentry *index = NULL;
340016b720fSAmir Goldstein 	struct dentry *temp = NULL;
341016b720fSAmir Goldstein 	struct qstr name = { };
342016b720fSAmir Goldstein 	int err;
343016b720fSAmir Goldstein 
344016b720fSAmir Goldstein 	/*
345016b720fSAmir Goldstein 	 * For now this is only used for creating index entry for directories,
346016b720fSAmir Goldstein 	 * because non-dir are copied up directly to index and then hardlinked
347016b720fSAmir Goldstein 	 * to upper dir.
348016b720fSAmir Goldstein 	 *
349016b720fSAmir Goldstein 	 * TODO: implement create index for non-dir, so we can call it when
350016b720fSAmir Goldstein 	 * encoding file handle for non-dir in case index does not exist.
351016b720fSAmir Goldstein 	 */
352016b720fSAmir Goldstein 	if (WARN_ON(!d_is_dir(dentry)))
353016b720fSAmir Goldstein 		return -EIO;
354016b720fSAmir Goldstein 
355016b720fSAmir Goldstein 	/* Directory not expected to be indexed before copy up */
356016b720fSAmir Goldstein 	if (WARN_ON(ovl_test_flag(OVL_INDEX, d_inode(dentry))))
357016b720fSAmir Goldstein 		return -EIO;
358016b720fSAmir Goldstein 
359016b720fSAmir Goldstein 	err = ovl_get_index_name(origin, &name);
360016b720fSAmir Goldstein 	if (err)
361016b720fSAmir Goldstein 		return err;
362016b720fSAmir Goldstein 
363137ec526SAmir Goldstein 	temp = ovl_create_temp(indexdir, OVL_CATTR(S_IFDIR | 0));
364b148cba4SMiklos Szeredi 	err = PTR_ERR(temp);
365016b720fSAmir Goldstein 	if (IS_ERR(temp))
366b148cba4SMiklos Szeredi 		goto free_name;
367016b720fSAmir Goldstein 
368016b720fSAmir Goldstein 	err = ovl_set_upper_fh(upper, temp);
369016b720fSAmir Goldstein 	if (err)
370b148cba4SMiklos Szeredi 		goto out;
371016b720fSAmir Goldstein 
372016b720fSAmir Goldstein 	index = lookup_one_len(name.name, indexdir, name.len);
373016b720fSAmir Goldstein 	if (IS_ERR(index)) {
374016b720fSAmir Goldstein 		err = PTR_ERR(index);
375016b720fSAmir Goldstein 	} else {
376016b720fSAmir Goldstein 		err = ovl_do_rename(dir, temp, dir, index, 0);
377016b720fSAmir Goldstein 		dput(index);
378016b720fSAmir Goldstein 	}
379016b720fSAmir Goldstein out:
380b148cba4SMiklos Szeredi 	if (err)
381b148cba4SMiklos Szeredi 		ovl_cleanup(dir, temp);
382016b720fSAmir Goldstein 	dput(temp);
383b148cba4SMiklos Szeredi free_name:
384016b720fSAmir Goldstein 	kfree(name.name);
385016b720fSAmir Goldstein 	return err;
386016b720fSAmir Goldstein }
387016b720fSAmir Goldstein 
38823f0ab13SMiklos Szeredi struct ovl_copy_up_ctx {
389a6fb235aSMiklos Szeredi 	struct dentry *parent;
39023f0ab13SMiklos Szeredi 	struct dentry *dentry;
39123f0ab13SMiklos Szeredi 	struct path lowerpath;
39223f0ab13SMiklos Szeredi 	struct kstat stat;
39323f0ab13SMiklos Szeredi 	struct kstat pstat;
39423f0ab13SMiklos Szeredi 	const char *link;
39559be0971SAmir Goldstein 	struct dentry *destdir;
39659be0971SAmir Goldstein 	struct qstr destname;
39723f0ab13SMiklos Szeredi 	struct dentry *workdir;
39823f0ab13SMiklos Szeredi 	bool tmpfile;
39959be0971SAmir Goldstein 	bool origin;
400016b720fSAmir Goldstein 	bool indexed;
40144d5bf10SVivek Goyal 	bool metacopy;
40223f0ab13SMiklos Szeredi };
40323f0ab13SMiklos Szeredi 
404f4439de1SAmir Goldstein static int ovl_link_up(struct ovl_copy_up_ctx *c)
405f4439de1SAmir Goldstein {
406f4439de1SAmir Goldstein 	int err;
407f4439de1SAmir Goldstein 	struct dentry *upper;
408f4439de1SAmir Goldstein 	struct dentry *upperdir = ovl_dentry_upper(c->parent);
409f4439de1SAmir Goldstein 	struct inode *udir = d_inode(upperdir);
410f4439de1SAmir Goldstein 
411f4439de1SAmir Goldstein 	/* Mark parent "impure" because it may now contain non-pure upper */
412f4439de1SAmir Goldstein 	err = ovl_set_impure(c->parent, upperdir);
413f4439de1SAmir Goldstein 	if (err)
414f4439de1SAmir Goldstein 		return err;
415f4439de1SAmir Goldstein 
416f4439de1SAmir Goldstein 	err = ovl_set_nlink_lower(c->dentry);
417f4439de1SAmir Goldstein 	if (err)
418f4439de1SAmir Goldstein 		return err;
419f4439de1SAmir Goldstein 
420f4439de1SAmir Goldstein 	inode_lock_nested(udir, I_MUTEX_PARENT);
421f4439de1SAmir Goldstein 	upper = lookup_one_len(c->dentry->d_name.name, upperdir,
422f4439de1SAmir Goldstein 			       c->dentry->d_name.len);
423f4439de1SAmir Goldstein 	err = PTR_ERR(upper);
424f4439de1SAmir Goldstein 	if (!IS_ERR(upper)) {
4256cf00764SAmir Goldstein 		err = ovl_do_link(ovl_dentry_upper(c->dentry), udir, upper);
426f4439de1SAmir Goldstein 		dput(upper);
427f4439de1SAmir Goldstein 
428f4439de1SAmir Goldstein 		if (!err) {
429f4439de1SAmir Goldstein 			/* Restore timestamps on parent (best effort) */
430f4439de1SAmir Goldstein 			ovl_set_timestamps(upperdir, &c->pstat);
431f4439de1SAmir Goldstein 			ovl_dentry_set_upper_alias(c->dentry);
432f4439de1SAmir Goldstein 		}
433f4439de1SAmir Goldstein 	}
434f4439de1SAmir Goldstein 	inode_unlock(udir);
435aa3ff3c1SAmir Goldstein 	if (err)
436aa3ff3c1SAmir Goldstein 		return err;
437aa3ff3c1SAmir Goldstein 
438aa3ff3c1SAmir Goldstein 	err = ovl_set_nlink_upper(c->dentry);
439f4439de1SAmir Goldstein 
440f4439de1SAmir Goldstein 	return err;
441f4439de1SAmir Goldstein }
442f4439de1SAmir Goldstein 
44323f0ab13SMiklos Szeredi static int ovl_install_temp(struct ovl_copy_up_ctx *c, struct dentry *temp,
44423f0ab13SMiklos Szeredi 			    struct dentry **newdentry)
44515932c41SAmir Goldstein {
44615932c41SAmir Goldstein 	int err;
44715932c41SAmir Goldstein 	struct dentry *upper;
44859be0971SAmir Goldstein 	struct inode *udir = d_inode(c->destdir);
44915932c41SAmir Goldstein 
45059be0971SAmir Goldstein 	upper = lookup_one_len(c->destname.name, c->destdir, c->destname.len);
45115932c41SAmir Goldstein 	if (IS_ERR(upper))
45215932c41SAmir Goldstein 		return PTR_ERR(upper);
45315932c41SAmir Goldstein 
45423f0ab13SMiklos Szeredi 	if (c->tmpfile)
4556cf00764SAmir Goldstein 		err = ovl_do_link(temp, udir, upper);
45615932c41SAmir Goldstein 	else
45723f0ab13SMiklos Szeredi 		err = ovl_do_rename(d_inode(c->workdir), temp, udir, upper, 0);
45815932c41SAmir Goldstein 
45959be0971SAmir Goldstein 	if (!err)
46023f0ab13SMiklos Szeredi 		*newdentry = dget(c->tmpfile ? upper : temp);
46115932c41SAmir Goldstein 	dput(upper);
46215932c41SAmir Goldstein 
46315932c41SAmir Goldstein 	return err;
46415932c41SAmir Goldstein }
46515932c41SAmir Goldstein 
466b148cba4SMiklos Szeredi static struct dentry *ovl_get_tmpfile(struct ovl_copy_up_ctx *c)
467e9be9d5eSMiklos Szeredi {
468e9be9d5eSMiklos Szeredi 	int err;
4697d90b853SMiklos Szeredi 	struct dentry *temp;
470d8ad8b49SVivek Goyal 	const struct cred *old_creds = NULL;
471d8ad8b49SVivek Goyal 	struct cred *new_creds = NULL;
472471ec5dcSAmir Goldstein 	struct ovl_cattr cattr = {
47332a3d848SAl Viro 		/* Can't properly set mode on creation because of the umask */
47423f0ab13SMiklos Szeredi 		.mode = c->stat.mode & S_IFMT,
47523f0ab13SMiklos Szeredi 		.rdev = c->stat.rdev,
47623f0ab13SMiklos Szeredi 		.link = c->link
47732a3d848SAl Viro 	};
478e9be9d5eSMiklos Szeredi 
47923f0ab13SMiklos Szeredi 	err = security_inode_copy_up(c->dentry, &new_creds);
480b148cba4SMiklos Szeredi 	temp = ERR_PTR(err);
481d8ad8b49SVivek Goyal 	if (err < 0)
482e85f82ffSMiklos Szeredi 		goto out;
483d8ad8b49SVivek Goyal 
484d8ad8b49SVivek Goyal 	if (new_creds)
485d8ad8b49SVivek Goyal 		old_creds = override_creds(new_creds);
486d8ad8b49SVivek Goyal 
487137ec526SAmir Goldstein 	if (c->tmpfile)
48823f0ab13SMiklos Szeredi 		temp = ovl_do_tmpfile(c->workdir, c->stat.mode);
489137ec526SAmir Goldstein 	else
490137ec526SAmir Goldstein 		temp = ovl_create_temp(c->workdir, &cattr);
4917d90b853SMiklos Szeredi out:
492d8ad8b49SVivek Goyal 	if (new_creds) {
493d8ad8b49SVivek Goyal 		revert_creds(old_creds);
494d8ad8b49SVivek Goyal 		put_cred(new_creds);
495d8ad8b49SVivek Goyal 	}
496d8ad8b49SVivek Goyal 
497b148cba4SMiklos Szeredi 	return temp;
4987d90b853SMiklos Szeredi }
4997d90b853SMiklos Szeredi 
50023f0ab13SMiklos Szeredi static int ovl_copy_up_inode(struct ovl_copy_up_ctx *c, struct dentry *temp)
50102209d10SAmir Goldstein {
50202209d10SAmir Goldstein 	int err;
50302209d10SAmir Goldstein 
50423f0ab13SMiklos Szeredi 	err = ovl_copy_xattr(c->lowerpath.dentry, temp);
50502209d10SAmir Goldstein 	if (err)
50602209d10SAmir Goldstein 		return err;
50702209d10SAmir Goldstein 
50802209d10SAmir Goldstein 	/*
50902209d10SAmir Goldstein 	 * Store identifier of lower inode in upper inode xattr to
51002209d10SAmir Goldstein 	 * allow lookup of the copy up origin inode.
51102209d10SAmir Goldstein 	 *
51202209d10SAmir Goldstein 	 * Don't set origin when we are breaking the association with a lower
51302209d10SAmir Goldstein 	 * hard link.
51402209d10SAmir Goldstein 	 */
51559be0971SAmir Goldstein 	if (c->origin) {
51623f0ab13SMiklos Szeredi 		err = ovl_set_origin(c->dentry, c->lowerpath.dentry, temp);
51702209d10SAmir Goldstein 		if (err)
51802209d10SAmir Goldstein 			return err;
51902209d10SAmir Goldstein 	}
52002209d10SAmir Goldstein 
52144d5bf10SVivek Goyal 	if (S_ISREG(c->stat.mode) && !c->metacopy) {
5224f93b426SVivek Goyal 		struct path upperpath, datapath;
523bd64e575SVivek Goyal 
524bd64e575SVivek Goyal 		ovl_path_upper(c->dentry, &upperpath);
525bd64e575SVivek Goyal 		BUG_ON(upperpath.dentry != NULL);
526bd64e575SVivek Goyal 		upperpath.dentry = temp;
527bd64e575SVivek Goyal 
5284f93b426SVivek Goyal 		ovl_path_lowerdata(c->dentry, &datapath);
5294f93b426SVivek Goyal 		err = ovl_copy_up_data(&datapath, &upperpath, c->stat.size);
530bd64e575SVivek Goyal 		if (err)
531bd64e575SVivek Goyal 			return err;
532bd64e575SVivek Goyal 	}
533bd64e575SVivek Goyal 
5340c288874SVivek Goyal 	if (c->metacopy) {
5350c288874SVivek Goyal 		err = ovl_check_setxattr(c->dentry, temp, OVL_XATTR_METACOPY,
5360c288874SVivek Goyal 					 NULL, 0, -EOPNOTSUPP);
5370c288874SVivek Goyal 		if (err)
5380c288874SVivek Goyal 			return err;
5390c288874SVivek Goyal 	}
5400c288874SVivek Goyal 
541bd64e575SVivek Goyal 	inode_lock(temp->d_inode);
5420c288874SVivek Goyal 	if (c->metacopy)
5430c288874SVivek Goyal 		err = ovl_set_size(temp, &c->stat);
5440c288874SVivek Goyal 	if (!err)
545bd64e575SVivek Goyal 		err = ovl_set_attr(temp, &c->stat);
546bd64e575SVivek Goyal 	inode_unlock(temp->d_inode);
547bd64e575SVivek Goyal 
548bd64e575SVivek Goyal 	return err;
54902209d10SAmir Goldstein }
55002209d10SAmir Goldstein 
55123f0ab13SMiklos Szeredi static int ovl_copy_up_locked(struct ovl_copy_up_ctx *c)
5527d90b853SMiklos Szeredi {
55359be0971SAmir Goldstein 	struct inode *udir = c->destdir->d_inode;
554b79e05aaSAmir Goldstein 	struct inode *inode;
5557d90b853SMiklos Szeredi 	struct dentry *newdentry = NULL;
556b148cba4SMiklos Szeredi 	struct dentry *temp;
5577d90b853SMiklos Szeredi 	int err;
5587d90b853SMiklos Szeredi 
559b148cba4SMiklos Szeredi 	temp = ovl_get_tmpfile(c);
560b148cba4SMiklos Szeredi 	if (IS_ERR(temp))
561b148cba4SMiklos Szeredi 		return PTR_ERR(temp);
562e9be9d5eSMiklos Szeredi 
56323f0ab13SMiklos Szeredi 	err = ovl_copy_up_inode(c, temp);
564e9be9d5eSMiklos Szeredi 	if (err)
565b148cba4SMiklos Szeredi 		goto out;
5663a1e819bSAmir Goldstein 
567016b720fSAmir Goldstein 	if (S_ISDIR(c->stat.mode) && c->indexed) {
568016b720fSAmir Goldstein 		err = ovl_create_index(c->dentry, c->lowerpath.dentry, temp);
569016b720fSAmir Goldstein 		if (err)
570b148cba4SMiklos Szeredi 			goto out;
571016b720fSAmir Goldstein 	}
572016b720fSAmir Goldstein 
57323f0ab13SMiklos Szeredi 	if (c->tmpfile) {
57415932c41SAmir Goldstein 		inode_lock_nested(udir, I_MUTEX_PARENT);
57523f0ab13SMiklos Szeredi 		err = ovl_install_temp(c, temp, &newdentry);
57615932c41SAmir Goldstein 		inode_unlock(udir);
57715932c41SAmir Goldstein 	} else {
57823f0ab13SMiklos Szeredi 		err = ovl_install_temp(c, temp, &newdentry);
579e85f82ffSMiklos Szeredi 	}
580e9be9d5eSMiklos Szeredi 	if (err)
581b148cba4SMiklos Szeredi 		goto out;
582e9be9d5eSMiklos Szeredi 
5830c288874SVivek Goyal 	if (!c->metacopy)
5840c288874SVivek Goyal 		ovl_set_upperdata(d_inode(c->dentry));
585b79e05aaSAmir Goldstein 	inode = d_inode(c->dentry);
586b79e05aaSAmir Goldstein 	ovl_inode_update(inode, newdentry);
587b79e05aaSAmir Goldstein 	if (S_ISDIR(inode->i_mode))
588b79e05aaSAmir Goldstein 		ovl_set_flag(OVL_WHITEOUTS, inode);
589b79e05aaSAmir Goldstein 
590e9be9d5eSMiklos Szeredi out:
591b148cba4SMiklos Szeredi 	if (err && !c->tmpfile)
592b148cba4SMiklos Szeredi 		ovl_cleanup(d_inode(c->workdir), temp);
593e85f82ffSMiklos Szeredi 	dput(temp);
594e9be9d5eSMiklos Szeredi 	return err;
595e9be9d5eSMiklos Szeredi 
596e9be9d5eSMiklos Szeredi }
597e9be9d5eSMiklos Szeredi 
598e9be9d5eSMiklos Szeredi /*
599e9be9d5eSMiklos Szeredi  * Copy up a single dentry
600e9be9d5eSMiklos Szeredi  *
601a6c60655SMiklos Szeredi  * All renames start with copy up of source if necessary.  The actual
602a6c60655SMiklos Szeredi  * rename will only proceed once the copy up was successful.  Copy up uses
603a6c60655SMiklos Szeredi  * upper parent i_mutex for exclusion.  Since rename can change d_parent it
604a6c60655SMiklos Szeredi  * is possible that the copy up will lock the old parent.  At that point
605a6c60655SMiklos Szeredi  * the file will have already been copied up anyway.
606e9be9d5eSMiklos Szeredi  */
607a6fb235aSMiklos Szeredi static int ovl_do_copy_up(struct ovl_copy_up_ctx *c)
608e9be9d5eSMiklos Szeredi {
609e9be9d5eSMiklos Szeredi 	int err;
61023f0ab13SMiklos Szeredi 	struct ovl_fs *ofs = c->dentry->d_sb->s_fs_info;
611016b720fSAmir Goldstein 	bool to_index = false;
61259be0971SAmir Goldstein 
613016b720fSAmir Goldstein 	/*
614016b720fSAmir Goldstein 	 * Indexed non-dir is copied up directly to the index entry and then
615016b720fSAmir Goldstein 	 * hardlinked to upper dir. Indexed dir is copied up to indexdir,
616016b720fSAmir Goldstein 	 * then index entry is created and then copied up dir installed.
617016b720fSAmir Goldstein 	 * Copying dir up to indexdir instead of workdir simplifies locking.
618016b720fSAmir Goldstein 	 */
619016b720fSAmir Goldstein 	if (ovl_need_index(c->dentry)) {
620016b720fSAmir Goldstein 		c->indexed = true;
621016b720fSAmir Goldstein 		if (S_ISDIR(c->stat.mode))
622016b720fSAmir Goldstein 			c->workdir = ovl_indexdir(c->dentry->d_sb);
623016b720fSAmir Goldstein 		else
624016b720fSAmir Goldstein 			to_index = true;
625016b720fSAmir Goldstein 	}
626016b720fSAmir Goldstein 
627016b720fSAmir Goldstein 	if (S_ISDIR(c->stat.mode) || c->stat.nlink == 1 || to_index)
62859be0971SAmir Goldstein 		c->origin = true;
62959be0971SAmir Goldstein 
630016b720fSAmir Goldstein 	if (to_index) {
63159be0971SAmir Goldstein 		c->destdir = ovl_indexdir(c->dentry->d_sb);
63259be0971SAmir Goldstein 		err = ovl_get_index_name(c->lowerpath.dentry, &c->destname);
633f3a15685SAmir Goldstein 		if (err)
634f3a15685SAmir Goldstein 			return err;
635aa3ff3c1SAmir Goldstein 	} else if (WARN_ON(!c->parent)) {
636aa3ff3c1SAmir Goldstein 		/* Disconnected dentry must be copied up to index dir */
637aa3ff3c1SAmir Goldstein 		return -EIO;
63859be0971SAmir Goldstein 	} else {
63959be0971SAmir Goldstein 		/*
64059be0971SAmir Goldstein 		 * Mark parent "impure" because it may now contain non-pure
64159be0971SAmir Goldstein 		 * upper
64259be0971SAmir Goldstein 		 */
64359be0971SAmir Goldstein 		err = ovl_set_impure(c->parent, c->destdir);
64459be0971SAmir Goldstein 		if (err)
64559be0971SAmir Goldstein 			return err;
64659be0971SAmir Goldstein 	}
647f3a15685SAmir Goldstein 
64801ad3eb8SAmir Goldstein 	/* Should we copyup with O_TMPFILE or with workdir? */
64923f0ab13SMiklos Szeredi 	if (S_ISREG(c->stat.mode) && ofs->tmpfile) {
65023f0ab13SMiklos Szeredi 		c->tmpfile = true;
65159be0971SAmir Goldstein 		err = ovl_copy_up_locked(c);
65259be0971SAmir Goldstein 	} else {
6535820dc08SAmir Goldstein 		err = ovl_lock_rename_workdir(c->workdir, c->destdir);
6545820dc08SAmir Goldstein 		if (!err) {
65523f0ab13SMiklos Szeredi 			err = ovl_copy_up_locked(c);
65659be0971SAmir Goldstein 			unlock_rename(c->workdir, c->destdir);
65759be0971SAmir Goldstein 		}
65859be0971SAmir Goldstein 	}
65959be0971SAmir Goldstein 
660aa3ff3c1SAmir Goldstein 
661aa3ff3c1SAmir Goldstein 	if (err)
662aa3ff3c1SAmir Goldstein 		goto out;
663aa3ff3c1SAmir Goldstein 
664aa3ff3c1SAmir Goldstein 	if (c->indexed)
66559be0971SAmir Goldstein 		ovl_set_flag(OVL_INDEX, d_inode(c->dentry));
666016b720fSAmir Goldstein 
667016b720fSAmir Goldstein 	if (to_index) {
668aa3ff3c1SAmir Goldstein 		/* Initialize nlink for copy up of disconnected dentry */
669aa3ff3c1SAmir Goldstein 		err = ovl_set_nlink_upper(c->dentry);
670aa3ff3c1SAmir Goldstein 	} else {
67159be0971SAmir Goldstein 		struct inode *udir = d_inode(c->destdir);
67259be0971SAmir Goldstein 
67359be0971SAmir Goldstein 		/* Restore timestamps on parent (best effort) */
67459be0971SAmir Goldstein 		inode_lock(udir);
67559be0971SAmir Goldstein 		ovl_set_timestamps(c->destdir, &c->pstat);
67659be0971SAmir Goldstein 		inode_unlock(udir);
67759be0971SAmir Goldstein 
67859be0971SAmir Goldstein 		ovl_dentry_set_upper_alias(c->dentry);
679fd210b7dSMiklos Szeredi 	}
680a6fb235aSMiklos Szeredi 
681aa3ff3c1SAmir Goldstein out:
682aa3ff3c1SAmir Goldstein 	if (to_index)
683aa3ff3c1SAmir Goldstein 		kfree(c->destname.name);
684a6fb235aSMiklos Szeredi 	return err;
685a6fb235aSMiklos Szeredi }
686a6fb235aSMiklos Szeredi 
68744d5bf10SVivek Goyal static bool ovl_need_meta_copy_up(struct dentry *dentry, umode_t mode,
68844d5bf10SVivek Goyal 				  int flags)
68944d5bf10SVivek Goyal {
69044d5bf10SVivek Goyal 	struct ovl_fs *ofs = dentry->d_sb->s_fs_info;
69144d5bf10SVivek Goyal 
69244d5bf10SVivek Goyal 	if (!ofs->config.metacopy)
69344d5bf10SVivek Goyal 		return false;
69444d5bf10SVivek Goyal 
69544d5bf10SVivek Goyal 	if (!S_ISREG(mode))
69644d5bf10SVivek Goyal 		return false;
69744d5bf10SVivek Goyal 
69844d5bf10SVivek Goyal 	if (flags && ((OPEN_FMODE(flags) & FMODE_WRITE) || (flags & O_TRUNC)))
69944d5bf10SVivek Goyal 		return false;
70044d5bf10SVivek Goyal 
70144d5bf10SVivek Goyal 	return true;
70244d5bf10SVivek Goyal }
70344d5bf10SVivek Goyal 
7040c288874SVivek Goyal /* Copy up data of an inode which was copied up metadata only in the past. */
7050c288874SVivek Goyal static int ovl_copy_up_meta_inode_data(struct ovl_copy_up_ctx *c)
7060c288874SVivek Goyal {
7074f93b426SVivek Goyal 	struct path upperpath, datapath;
7080c288874SVivek Goyal 	int err;
7090c288874SVivek Goyal 
7100c288874SVivek Goyal 	ovl_path_upper(c->dentry, &upperpath);
7110c288874SVivek Goyal 	if (WARN_ON(upperpath.dentry == NULL))
7120c288874SVivek Goyal 		return -EIO;
7130c288874SVivek Goyal 
7144f93b426SVivek Goyal 	ovl_path_lowerdata(c->dentry, &datapath);
7154f93b426SVivek Goyal 	if (WARN_ON(datapath.dentry == NULL))
7164f93b426SVivek Goyal 		return -EIO;
7174f93b426SVivek Goyal 
7184f93b426SVivek Goyal 	err = ovl_copy_up_data(&datapath, &upperpath, c->stat.size);
7190c288874SVivek Goyal 	if (err)
7200c288874SVivek Goyal 		return err;
7210c288874SVivek Goyal 
7220c288874SVivek Goyal 	err = vfs_removexattr(upperpath.dentry, OVL_XATTR_METACOPY);
7230c288874SVivek Goyal 	if (err)
7240c288874SVivek Goyal 		return err;
7250c288874SVivek Goyal 
7260c288874SVivek Goyal 	ovl_set_upperdata(d_inode(c->dentry));
7270c288874SVivek Goyal 	return err;
7280c288874SVivek Goyal }
7290c288874SVivek Goyal 
730a6fb235aSMiklos Szeredi static int ovl_copy_up_one(struct dentry *parent, struct dentry *dentry,
731a6fb235aSMiklos Szeredi 			   int flags)
732a6fb235aSMiklos Szeredi {
733a6fb235aSMiklos Szeredi 	int err;
734a6fb235aSMiklos Szeredi 	DEFINE_DELAYED_CALL(done);
735a6fb235aSMiklos Szeredi 	struct path parentpath;
736a6fb235aSMiklos Szeredi 	struct ovl_copy_up_ctx ctx = {
737a6fb235aSMiklos Szeredi 		.parent = parent,
738a6fb235aSMiklos Szeredi 		.dentry = dentry,
739a6fb235aSMiklos Szeredi 		.workdir = ovl_workdir(dentry),
740a6fb235aSMiklos Szeredi 	};
741a6fb235aSMiklos Szeredi 
742a6fb235aSMiklos Szeredi 	if (WARN_ON(!ctx.workdir))
743a6fb235aSMiklos Szeredi 		return -EROFS;
744a6fb235aSMiklos Szeredi 
745a6fb235aSMiklos Szeredi 	ovl_path_lower(dentry, &ctx.lowerpath);
746a6fb235aSMiklos Szeredi 	err = vfs_getattr(&ctx.lowerpath, &ctx.stat,
747a6fb235aSMiklos Szeredi 			  STATX_BASIC_STATS, AT_STATX_SYNC_AS_STAT);
748a6fb235aSMiklos Szeredi 	if (err)
749a6fb235aSMiklos Szeredi 		return err;
750a6fb235aSMiklos Szeredi 
75144d5bf10SVivek Goyal 	ctx.metacopy = ovl_need_meta_copy_up(dentry, ctx.stat.mode, flags);
75244d5bf10SVivek Goyal 
753aa3ff3c1SAmir Goldstein 	if (parent) {
754a6fb235aSMiklos Szeredi 		ovl_path_upper(parent, &parentpath);
75559be0971SAmir Goldstein 		ctx.destdir = parentpath.dentry;
75659be0971SAmir Goldstein 		ctx.destname = dentry->d_name;
757a6fb235aSMiklos Szeredi 
758a6fb235aSMiklos Szeredi 		err = vfs_getattr(&parentpath, &ctx.pstat,
759aa3ff3c1SAmir Goldstein 				  STATX_ATIME | STATX_MTIME,
760aa3ff3c1SAmir Goldstein 				  AT_STATX_SYNC_AS_STAT);
761a6fb235aSMiklos Szeredi 		if (err)
762a6fb235aSMiklos Szeredi 			return err;
763aa3ff3c1SAmir Goldstein 	}
764a6fb235aSMiklos Szeredi 
765a6fb235aSMiklos Szeredi 	/* maybe truncate regular file. this has no effect on dirs */
766a6fb235aSMiklos Szeredi 	if (flags & O_TRUNC)
767a6fb235aSMiklos Szeredi 		ctx.stat.size = 0;
768a6fb235aSMiklos Szeredi 
769a6fb235aSMiklos Szeredi 	if (S_ISLNK(ctx.stat.mode)) {
770a6fb235aSMiklos Szeredi 		ctx.link = vfs_get_link(ctx.lowerpath.dentry, &done);
771a6fb235aSMiklos Szeredi 		if (IS_ERR(ctx.link))
772a6fb235aSMiklos Szeredi 			return PTR_ERR(ctx.link);
773a6fb235aSMiklos Szeredi 	}
774a6fb235aSMiklos Szeredi 
7750c288874SVivek Goyal 	err = ovl_copy_up_start(dentry, flags);
776fd210b7dSMiklos Szeredi 	/* err < 0: interrupted, err > 0: raced with another copy-up */
777fd210b7dSMiklos Szeredi 	if (unlikely(err)) {
778fd210b7dSMiklos Szeredi 		if (err > 0)
779fd210b7dSMiklos Szeredi 			err = 0;
780fd210b7dSMiklos Szeredi 	} else {
78159be0971SAmir Goldstein 		if (!ovl_dentry_upper(dentry))
782a6fb235aSMiklos Szeredi 			err = ovl_do_copy_up(&ctx);
783aa3ff3c1SAmir Goldstein 		if (!err && parent && !ovl_dentry_has_upper_alias(dentry))
784f4439de1SAmir Goldstein 			err = ovl_link_up(&ctx);
7850c288874SVivek Goyal 		if (!err && ovl_dentry_needs_data_copy_up_locked(dentry, flags))
7860c288874SVivek Goyal 			err = ovl_copy_up_meta_inode_data(&ctx);
787fd210b7dSMiklos Szeredi 		ovl_copy_up_end(dentry);
788fd210b7dSMiklos Szeredi 	}
7897764235bSMiklos Szeredi 	do_delayed_call(&done);
790e9be9d5eSMiklos Szeredi 
791e9be9d5eSMiklos Szeredi 	return err;
792e9be9d5eSMiklos Szeredi }
793e9be9d5eSMiklos Szeredi 
7949aba6521SAmir Goldstein int ovl_copy_up_flags(struct dentry *dentry, int flags)
795e9be9d5eSMiklos Szeredi {
7968eac98b8SVivek Goyal 	int err = 0;
7978eac98b8SVivek Goyal 	const struct cred *old_cred = ovl_override_creds(dentry->d_sb);
798aa3ff3c1SAmir Goldstein 	bool disconnected = (dentry->d_flags & DCACHE_DISCONNECTED);
799aa3ff3c1SAmir Goldstein 
800aa3ff3c1SAmir Goldstein 	/*
801aa3ff3c1SAmir Goldstein 	 * With NFS export, copy up can get called for a disconnected non-dir.
802aa3ff3c1SAmir Goldstein 	 * In this case, we will copy up lower inode to index dir without
803aa3ff3c1SAmir Goldstein 	 * linking it to upper dir.
804aa3ff3c1SAmir Goldstein 	 */
805aa3ff3c1SAmir Goldstein 	if (WARN_ON(disconnected && d_is_dir(dentry)))
806aa3ff3c1SAmir Goldstein 		return -EIO;
807e9be9d5eSMiklos Szeredi 
808e9be9d5eSMiklos Szeredi 	while (!err) {
809e9be9d5eSMiklos Szeredi 		struct dentry *next;
810aa3ff3c1SAmir Goldstein 		struct dentry *parent = NULL;
811e9be9d5eSMiklos Szeredi 
8120c288874SVivek Goyal 		if (ovl_already_copied_up(dentry, flags))
813e9be9d5eSMiklos Szeredi 			break;
814e9be9d5eSMiklos Szeredi 
815e9be9d5eSMiklos Szeredi 		next = dget(dentry);
816e9be9d5eSMiklos Szeredi 		/* find the topmost dentry not yet copied up */
817aa3ff3c1SAmir Goldstein 		for (; !disconnected;) {
818e9be9d5eSMiklos Szeredi 			parent = dget_parent(next);
819e9be9d5eSMiklos Szeredi 
82059be0971SAmir Goldstein 			if (ovl_dentry_upper(parent))
821e9be9d5eSMiklos Szeredi 				break;
822e9be9d5eSMiklos Szeredi 
823e9be9d5eSMiklos Szeredi 			dput(next);
824e9be9d5eSMiklos Szeredi 			next = parent;
825e9be9d5eSMiklos Szeredi 		}
826e9be9d5eSMiklos Szeredi 
827a6fb235aSMiklos Szeredi 		err = ovl_copy_up_one(parent, next, flags);
828e9be9d5eSMiklos Szeredi 
829e9be9d5eSMiklos Szeredi 		dput(parent);
830e9be9d5eSMiklos Szeredi 		dput(next);
831e9be9d5eSMiklos Szeredi 	}
8328eac98b8SVivek Goyal 	revert_creds(old_cred);
833e9be9d5eSMiklos Szeredi 
834e9be9d5eSMiklos Szeredi 	return err;
835e9be9d5eSMiklos Szeredi }
8369aba6521SAmir Goldstein 
837d6eac039SVivek Goyal static bool ovl_open_need_copy_up(struct dentry *dentry, int flags)
838d6eac039SVivek Goyal {
839d6eac039SVivek Goyal 	/* Copy up of disconnected dentry does not set upper alias */
8400c288874SVivek Goyal 	if (ovl_already_copied_up(dentry, flags))
841d6eac039SVivek Goyal 		return false;
842d6eac039SVivek Goyal 
843d6eac039SVivek Goyal 	if (special_file(d_inode(dentry)->i_mode))
844d6eac039SVivek Goyal 		return false;
845d6eac039SVivek Goyal 
8460c288874SVivek Goyal 	if (!ovl_open_flags_need_copy_up(flags))
847d6eac039SVivek Goyal 		return false;
848d6eac039SVivek Goyal 
849d6eac039SVivek Goyal 	return true;
850d6eac039SVivek Goyal }
851d6eac039SVivek Goyal 
852d6eac039SVivek Goyal int ovl_open_maybe_copy_up(struct dentry *dentry, unsigned int file_flags)
853d6eac039SVivek Goyal {
854d6eac039SVivek Goyal 	int err = 0;
855d6eac039SVivek Goyal 
856d6eac039SVivek Goyal 	if (ovl_open_need_copy_up(dentry, file_flags)) {
857d6eac039SVivek Goyal 		err = ovl_want_write(dentry);
858d6eac039SVivek Goyal 		if (!err) {
859d6eac039SVivek Goyal 			err = ovl_copy_up_flags(dentry, file_flags);
860d6eac039SVivek Goyal 			ovl_drop_write(dentry);
861d6eac039SVivek Goyal 		}
862d6eac039SVivek Goyal 	}
863d6eac039SVivek Goyal 
864d6eac039SVivek Goyal 	return err;
865d6eac039SVivek Goyal }
866d6eac039SVivek Goyal 
867d1e6f6a9SVivek Goyal int ovl_copy_up_with_data(struct dentry *dentry)
868d1e6f6a9SVivek Goyal {
869d1e6f6a9SVivek Goyal 	return ovl_copy_up_flags(dentry, O_WRONLY);
870d1e6f6a9SVivek Goyal }
871d1e6f6a9SVivek Goyal 
8729aba6521SAmir Goldstein int ovl_copy_up(struct dentry *dentry)
8739aba6521SAmir Goldstein {
8749aba6521SAmir Goldstein 	return ovl_copy_up_flags(dentry, 0);
8759aba6521SAmir Goldstein }
876