xref: /openbmc/linux/fs/overlayfs/copy_up.c (revision 6b52243f)
1e9be9d5eSMiklos Szeredi /*
2e9be9d5eSMiklos Szeredi  *
3e9be9d5eSMiklos Szeredi  * Copyright (C) 2011 Novell Inc.
4e9be9d5eSMiklos Szeredi  *
5e9be9d5eSMiklos Szeredi  * This program is free software; you can redistribute it and/or modify it
6e9be9d5eSMiklos Szeredi  * under the terms of the GNU General Public License version 2 as published by
7e9be9d5eSMiklos Szeredi  * the Free Software Foundation.
8e9be9d5eSMiklos Szeredi  */
9e9be9d5eSMiklos Szeredi 
10fb5bb2c3SDavid Howells #include <linux/module.h>
11e9be9d5eSMiklos Szeredi #include <linux/fs.h>
12e9be9d5eSMiklos Szeredi #include <linux/slab.h>
13e9be9d5eSMiklos Szeredi #include <linux/file.h>
14e9be9d5eSMiklos Szeredi #include <linux/splice.h>
15e9be9d5eSMiklos Szeredi #include <linux/xattr.h>
16e9be9d5eSMiklos Szeredi #include <linux/security.h>
17e9be9d5eSMiklos Szeredi #include <linux/uaccess.h>
18174cd4b1SIngo Molnar #include <linux/sched/signal.h>
195b825c3aSIngo Molnar #include <linux/cred.h>
20e9be9d5eSMiklos Szeredi #include <linux/namei.h>
21fb5bb2c3SDavid Howells #include <linux/fdtable.h>
22fb5bb2c3SDavid Howells #include <linux/ratelimit.h>
233a1e819bSAmir Goldstein #include <linux/exportfs.h>
24e9be9d5eSMiklos Szeredi #include "overlayfs.h"
25e9be9d5eSMiklos Szeredi 
26e9be9d5eSMiklos Szeredi #define OVL_COPY_UP_CHUNK_SIZE (1 << 20)
27e9be9d5eSMiklos Szeredi 
28670c2324SMiklos Szeredi static int ovl_ccup_set(const char *buf, const struct kernel_param *param)
29fb5bb2c3SDavid Howells {
30670c2324SMiklos Szeredi 	pr_warn("overlayfs: \"check_copy_up\" module option is obsolete\n");
31fb5bb2c3SDavid Howells 	return 0;
32fb5bb2c3SDavid Howells }
33fb5bb2c3SDavid Howells 
34670c2324SMiklos Szeredi static int ovl_ccup_get(char *buf, const struct kernel_param *param)
35fb5bb2c3SDavid Howells {
36670c2324SMiklos Szeredi 	return sprintf(buf, "N\n");
37fb5bb2c3SDavid Howells }
38fb5bb2c3SDavid Howells 
39670c2324SMiklos Szeredi module_param_call(check_copy_up, ovl_ccup_set, ovl_ccup_get, NULL, 0644);
40670c2324SMiklos Szeredi MODULE_PARM_DESC(ovl_check_copy_up, "Obsolete; does nothing");
41670c2324SMiklos Szeredi 
42e9be9d5eSMiklos Szeredi int ovl_copy_xattr(struct dentry *old, struct dentry *new)
43e9be9d5eSMiklos Szeredi {
44e4ad29faSVito Caputo 	ssize_t list_size, size, value_size = 0;
45e4ad29faSVito Caputo 	char *buf, *name, *value = NULL;
46e4ad29faSVito Caputo 	int uninitialized_var(error);
478b326c61SMiklos Szeredi 	size_t slen;
48e9be9d5eSMiklos Szeredi 
495d6c3191SAndreas Gruenbacher 	if (!(old->d_inode->i_opflags & IOP_XATTR) ||
505d6c3191SAndreas Gruenbacher 	    !(new->d_inode->i_opflags & IOP_XATTR))
51e9be9d5eSMiklos Szeredi 		return 0;
52e9be9d5eSMiklos Szeredi 
53e9be9d5eSMiklos Szeredi 	list_size = vfs_listxattr(old, NULL, 0);
54e9be9d5eSMiklos Szeredi 	if (list_size <= 0) {
55e9be9d5eSMiklos Szeredi 		if (list_size == -EOPNOTSUPP)
56e9be9d5eSMiklos Szeredi 			return 0;
57e9be9d5eSMiklos Szeredi 		return list_size;
58e9be9d5eSMiklos Szeredi 	}
59e9be9d5eSMiklos Szeredi 
60e9be9d5eSMiklos Szeredi 	buf = kzalloc(list_size, GFP_KERNEL);
61e9be9d5eSMiklos Szeredi 	if (!buf)
62e9be9d5eSMiklos Szeredi 		return -ENOMEM;
63e9be9d5eSMiklos Szeredi 
64e9be9d5eSMiklos Szeredi 	list_size = vfs_listxattr(old, buf, list_size);
65e9be9d5eSMiklos Szeredi 	if (list_size <= 0) {
66e9be9d5eSMiklos Szeredi 		error = list_size;
67e4ad29faSVito Caputo 		goto out;
68e9be9d5eSMiklos Szeredi 	}
69e9be9d5eSMiklos Szeredi 
708b326c61SMiklos Szeredi 	for (name = buf; list_size; name += slen) {
718b326c61SMiklos Szeredi 		slen = strnlen(name, list_size) + 1;
728b326c61SMiklos Szeredi 
738b326c61SMiklos Szeredi 		/* underlying fs providing us with an broken xattr list? */
748b326c61SMiklos Szeredi 		if (WARN_ON(slen > list_size)) {
758b326c61SMiklos Szeredi 			error = -EIO;
768b326c61SMiklos Szeredi 			break;
778b326c61SMiklos Szeredi 		}
788b326c61SMiklos Szeredi 		list_size -= slen;
798b326c61SMiklos Szeredi 
800956254aSMiklos Szeredi 		if (ovl_is_private_xattr(name))
810956254aSMiklos Szeredi 			continue;
82e4ad29faSVito Caputo retry:
83e4ad29faSVito Caputo 		size = vfs_getxattr(old, name, value, value_size);
84e4ad29faSVito Caputo 		if (size == -ERANGE)
85e4ad29faSVito Caputo 			size = vfs_getxattr(old, name, NULL, 0);
86e4ad29faSVito Caputo 
8797daf8b9SMiklos Szeredi 		if (size < 0) {
88e9be9d5eSMiklos Szeredi 			error = size;
89e4ad29faSVito Caputo 			break;
90e9be9d5eSMiklos Szeredi 		}
91e9be9d5eSMiklos Szeredi 
92e4ad29faSVito Caputo 		if (size > value_size) {
93e4ad29faSVito Caputo 			void *new;
94e4ad29faSVito Caputo 
95e4ad29faSVito Caputo 			new = krealloc(value, size, GFP_KERNEL);
96e4ad29faSVito Caputo 			if (!new) {
97e4ad29faSVito Caputo 				error = -ENOMEM;
98e4ad29faSVito Caputo 				break;
99e4ad29faSVito Caputo 			}
100e4ad29faSVito Caputo 			value = new;
101e4ad29faSVito Caputo 			value_size = size;
102e4ad29faSVito Caputo 			goto retry;
103e4ad29faSVito Caputo 		}
104e4ad29faSVito Caputo 
105121ab822SVivek Goyal 		error = security_inode_copy_up_xattr(name);
106121ab822SVivek Goyal 		if (error < 0 && error != -EOPNOTSUPP)
107121ab822SVivek Goyal 			break;
108121ab822SVivek Goyal 		if (error == 1) {
109121ab822SVivek Goyal 			error = 0;
110121ab822SVivek Goyal 			continue; /* Discard */
111121ab822SVivek Goyal 		}
112e4ad29faSVito Caputo 		error = vfs_setxattr(new, name, value, size, 0);
113e4ad29faSVito Caputo 		if (error)
114e4ad29faSVito Caputo 			break;
115e4ad29faSVito Caputo 	}
116e9be9d5eSMiklos Szeredi 	kfree(value);
117e9be9d5eSMiklos Szeredi out:
118e9be9d5eSMiklos Szeredi 	kfree(buf);
119e9be9d5eSMiklos Szeredi 	return error;
120e9be9d5eSMiklos Szeredi }
121e9be9d5eSMiklos Szeredi 
122e9be9d5eSMiklos Szeredi static int ovl_copy_up_data(struct path *old, struct path *new, loff_t len)
123e9be9d5eSMiklos Szeredi {
124e9be9d5eSMiklos Szeredi 	struct file *old_file;
125e9be9d5eSMiklos Szeredi 	struct file *new_file;
126e9be9d5eSMiklos Szeredi 	loff_t old_pos = 0;
127e9be9d5eSMiklos Szeredi 	loff_t new_pos = 0;
128e9be9d5eSMiklos Szeredi 	int error = 0;
129e9be9d5eSMiklos Szeredi 
130e9be9d5eSMiklos Szeredi 	if (len == 0)
131e9be9d5eSMiklos Szeredi 		return 0;
132e9be9d5eSMiklos Szeredi 
1330480334fSDavid Howells 	old_file = ovl_path_open(old, O_LARGEFILE | O_RDONLY);
134e9be9d5eSMiklos Szeredi 	if (IS_ERR(old_file))
135e9be9d5eSMiklos Szeredi 		return PTR_ERR(old_file);
136e9be9d5eSMiklos Szeredi 
1370480334fSDavid Howells 	new_file = ovl_path_open(new, O_LARGEFILE | O_WRONLY);
138e9be9d5eSMiklos Szeredi 	if (IS_ERR(new_file)) {
139e9be9d5eSMiklos Szeredi 		error = PTR_ERR(new_file);
140e9be9d5eSMiklos Szeredi 		goto out_fput;
141e9be9d5eSMiklos Szeredi 	}
142e9be9d5eSMiklos Szeredi 
1432ea98466SAmir Goldstein 	/* Try to use clone_file_range to clone up within the same fs */
144a725356bSAmir Goldstein 	error = do_clone_file_range(old_file, 0, new_file, 0, len);
1452ea98466SAmir Goldstein 	if (!error)
1462ea98466SAmir Goldstein 		goto out;
1472ea98466SAmir Goldstein 	/* Couldn't clone, so now we try to copy the data */
1482ea98466SAmir Goldstein 	error = 0;
1492ea98466SAmir Goldstein 
150e9be9d5eSMiklos Szeredi 	/* FIXME: copy up sparse files efficiently */
151e9be9d5eSMiklos Szeredi 	while (len) {
152e9be9d5eSMiklos Szeredi 		size_t this_len = OVL_COPY_UP_CHUNK_SIZE;
153e9be9d5eSMiklos Szeredi 		long bytes;
154e9be9d5eSMiklos Szeredi 
155e9be9d5eSMiklos Szeredi 		if (len < this_len)
156e9be9d5eSMiklos Szeredi 			this_len = len;
157e9be9d5eSMiklos Szeredi 
158e9be9d5eSMiklos Szeredi 		if (signal_pending_state(TASK_KILLABLE, current)) {
159e9be9d5eSMiklos Szeredi 			error = -EINTR;
160e9be9d5eSMiklos Szeredi 			break;
161e9be9d5eSMiklos Szeredi 		}
162e9be9d5eSMiklos Szeredi 
163e9be9d5eSMiklos Szeredi 		bytes = do_splice_direct(old_file, &old_pos,
164e9be9d5eSMiklos Szeredi 					 new_file, &new_pos,
165e9be9d5eSMiklos Szeredi 					 this_len, SPLICE_F_MOVE);
166e9be9d5eSMiklos Szeredi 		if (bytes <= 0) {
167e9be9d5eSMiklos Szeredi 			error = bytes;
168e9be9d5eSMiklos Szeredi 			break;
169e9be9d5eSMiklos Szeredi 		}
170e9be9d5eSMiklos Szeredi 		WARN_ON(old_pos != new_pos);
171e9be9d5eSMiklos Szeredi 
172e9be9d5eSMiklos Szeredi 		len -= bytes;
173e9be9d5eSMiklos Szeredi 	}
1742ea98466SAmir Goldstein out:
175641089c1SMiklos Szeredi 	if (!error)
176641089c1SMiklos Szeredi 		error = vfs_fsync(new_file, 0);
177e9be9d5eSMiklos Szeredi 	fput(new_file);
178e9be9d5eSMiklos Szeredi out_fput:
179e9be9d5eSMiklos Szeredi 	fput(old_file);
180e9be9d5eSMiklos Szeredi 	return error;
181e9be9d5eSMiklos Szeredi }
182e9be9d5eSMiklos Szeredi 
1830c288874SVivek Goyal static int ovl_set_size(struct dentry *upperdentry, struct kstat *stat)
1840c288874SVivek Goyal {
1850c288874SVivek Goyal 	struct iattr attr = {
1860c288874SVivek Goyal 		.ia_valid = ATTR_SIZE,
1870c288874SVivek Goyal 		.ia_size = stat->size,
1880c288874SVivek Goyal 	};
1890c288874SVivek Goyal 
1900c288874SVivek Goyal 	return notify_change(upperdentry, &attr, NULL);
1910c288874SVivek Goyal }
1920c288874SVivek Goyal 
193e9be9d5eSMiklos Szeredi static int ovl_set_timestamps(struct dentry *upperdentry, struct kstat *stat)
194e9be9d5eSMiklos Szeredi {
195e9be9d5eSMiklos Szeredi 	struct iattr attr = {
196e9be9d5eSMiklos Szeredi 		.ia_valid =
197e9be9d5eSMiklos Szeredi 		     ATTR_ATIME | ATTR_MTIME | ATTR_ATIME_SET | ATTR_MTIME_SET,
198e9be9d5eSMiklos Szeredi 		.ia_atime = stat->atime,
199e9be9d5eSMiklos Szeredi 		.ia_mtime = stat->mtime,
200e9be9d5eSMiklos Szeredi 	};
201e9be9d5eSMiklos Szeredi 
202e9be9d5eSMiklos Szeredi 	return notify_change(upperdentry, &attr, NULL);
203e9be9d5eSMiklos Szeredi }
204e9be9d5eSMiklos Szeredi 
205e9be9d5eSMiklos Szeredi int ovl_set_attr(struct dentry *upperdentry, struct kstat *stat)
206e9be9d5eSMiklos Szeredi {
207e9be9d5eSMiklos Szeredi 	int err = 0;
208e9be9d5eSMiklos Szeredi 
209e9be9d5eSMiklos Szeredi 	if (!S_ISLNK(stat->mode)) {
210e9be9d5eSMiklos Szeredi 		struct iattr attr = {
211e9be9d5eSMiklos Szeredi 			.ia_valid = ATTR_MODE,
212e9be9d5eSMiklos Szeredi 			.ia_mode = stat->mode,
213e9be9d5eSMiklos Szeredi 		};
214e9be9d5eSMiklos Szeredi 		err = notify_change(upperdentry, &attr, NULL);
215e9be9d5eSMiklos Szeredi 	}
216e9be9d5eSMiklos Szeredi 	if (!err) {
217e9be9d5eSMiklos Szeredi 		struct iattr attr = {
218e9be9d5eSMiklos Szeredi 			.ia_valid = ATTR_UID | ATTR_GID,
219e9be9d5eSMiklos Szeredi 			.ia_uid = stat->uid,
220e9be9d5eSMiklos Szeredi 			.ia_gid = stat->gid,
221e9be9d5eSMiklos Szeredi 		};
222e9be9d5eSMiklos Szeredi 		err = notify_change(upperdentry, &attr, NULL);
223e9be9d5eSMiklos Szeredi 	}
224e9be9d5eSMiklos Szeredi 	if (!err)
225e9be9d5eSMiklos Szeredi 		ovl_set_timestamps(upperdentry, stat);
226e9be9d5eSMiklos Szeredi 
227e9be9d5eSMiklos Szeredi 	return err;
228e9be9d5eSMiklos Szeredi }
229e9be9d5eSMiklos Szeredi 
2305b2cccd3SAmir Goldstein struct ovl_fh *ovl_encode_real_fh(struct dentry *real, bool is_upper)
2313a1e819bSAmir Goldstein {
2323a1e819bSAmir Goldstein 	struct ovl_fh *fh;
2333a1e819bSAmir Goldstein 	int fh_type, fh_len, dwords;
2343a1e819bSAmir Goldstein 	void *buf;
2353a1e819bSAmir Goldstein 	int buflen = MAX_HANDLE_SZ;
23605122443SAmir Goldstein 	uuid_t *uuid = &real->d_sb->s_uuid;
2373a1e819bSAmir Goldstein 
2380ee931c4SMichal Hocko 	buf = kmalloc(buflen, GFP_KERNEL);
2393a1e819bSAmir Goldstein 	if (!buf)
2403a1e819bSAmir Goldstein 		return ERR_PTR(-ENOMEM);
2413a1e819bSAmir Goldstein 
2423a1e819bSAmir Goldstein 	/*
2433a1e819bSAmir Goldstein 	 * We encode a non-connectable file handle for non-dir, because we
2443a1e819bSAmir Goldstein 	 * only need to find the lower inode number and we don't want to pay
2453a1e819bSAmir Goldstein 	 * the price or reconnecting the dentry.
2463a1e819bSAmir Goldstein 	 */
2473a1e819bSAmir Goldstein 	dwords = buflen >> 2;
24805122443SAmir Goldstein 	fh_type = exportfs_encode_fh(real, buf, &dwords, 0);
2493a1e819bSAmir Goldstein 	buflen = (dwords << 2);
2503a1e819bSAmir Goldstein 
2513a1e819bSAmir Goldstein 	fh = ERR_PTR(-EIO);
2523a1e819bSAmir Goldstein 	if (WARN_ON(fh_type < 0) ||
2533a1e819bSAmir Goldstein 	    WARN_ON(buflen > MAX_HANDLE_SZ) ||
2543a1e819bSAmir Goldstein 	    WARN_ON(fh_type == FILEID_INVALID))
2553a1e819bSAmir Goldstein 		goto out;
2563a1e819bSAmir Goldstein 
2573a1e819bSAmir Goldstein 	BUILD_BUG_ON(MAX_HANDLE_SZ + offsetof(struct ovl_fh, fid) > 255);
2583a1e819bSAmir Goldstein 	fh_len = offsetof(struct ovl_fh, fid) + buflen;
2593a1e819bSAmir Goldstein 	fh = kmalloc(fh_len, GFP_KERNEL);
2603a1e819bSAmir Goldstein 	if (!fh) {
2613a1e819bSAmir Goldstein 		fh = ERR_PTR(-ENOMEM);
2623a1e819bSAmir Goldstein 		goto out;
2633a1e819bSAmir Goldstein 	}
2643a1e819bSAmir Goldstein 
2653a1e819bSAmir Goldstein 	fh->version = OVL_FH_VERSION;
2663a1e819bSAmir Goldstein 	fh->magic = OVL_FH_MAGIC;
2673a1e819bSAmir Goldstein 	fh->type = fh_type;
2683a1e819bSAmir Goldstein 	fh->flags = OVL_FH_FLAG_CPU_ENDIAN;
26954fb347eSAmir Goldstein 	/*
27054fb347eSAmir Goldstein 	 * When we will want to decode an overlay dentry from this handle
27154fb347eSAmir Goldstein 	 * and all layers are on the same fs, if we get a disconncted real
27254fb347eSAmir Goldstein 	 * dentry when we decode fid, the only way to tell if we should assign
27354fb347eSAmir Goldstein 	 * it to upperdentry or to lowerstack is by checking this flag.
27454fb347eSAmir Goldstein 	 */
27554fb347eSAmir Goldstein 	if (is_upper)
27654fb347eSAmir Goldstein 		fh->flags |= OVL_FH_FLAG_PATH_UPPER;
2773a1e819bSAmir Goldstein 	fh->len = fh_len;
2783a1e819bSAmir Goldstein 	fh->uuid = *uuid;
2793a1e819bSAmir Goldstein 	memcpy(fh->fid, buf, buflen);
2803a1e819bSAmir Goldstein 
2813a1e819bSAmir Goldstein out:
2823a1e819bSAmir Goldstein 	kfree(buf);
2833a1e819bSAmir Goldstein 	return fh;
2843a1e819bSAmir Goldstein }
2853a1e819bSAmir Goldstein 
2869678e630SAmir Goldstein int ovl_set_origin(struct dentry *dentry, struct dentry *lower,
2873a1e819bSAmir Goldstein 		   struct dentry *upper)
2883a1e819bSAmir Goldstein {
2893a1e819bSAmir Goldstein 	const struct ovl_fh *fh = NULL;
2903a1e819bSAmir Goldstein 	int err;
2913a1e819bSAmir Goldstein 
2923a1e819bSAmir Goldstein 	/*
2933a1e819bSAmir Goldstein 	 * When lower layer doesn't support export operations store a 'null' fh,
2943a1e819bSAmir Goldstein 	 * so we can use the overlay.origin xattr to distignuish between a copy
2953a1e819bSAmir Goldstein 	 * up and a pure upper inode.
2963a1e819bSAmir Goldstein 	 */
29702bcd157SAmir Goldstein 	if (ovl_can_decode_fh(lower->d_sb)) {
2985b2cccd3SAmir Goldstein 		fh = ovl_encode_real_fh(lower, false);
2993a1e819bSAmir Goldstein 		if (IS_ERR(fh))
3003a1e819bSAmir Goldstein 			return PTR_ERR(fh);
3013a1e819bSAmir Goldstein 	}
3023a1e819bSAmir Goldstein 
3036266d465SMiklos Szeredi 	/*
3046266d465SMiklos Szeredi 	 * Do not fail when upper doesn't support xattrs.
3056266d465SMiklos Szeredi 	 */
3066266d465SMiklos Szeredi 	err = ovl_check_setxattr(dentry, upper, OVL_XATTR_ORIGIN, fh,
3076266d465SMiklos Szeredi 				 fh ? fh->len : 0, 0);
3083a1e819bSAmir Goldstein 	kfree(fh);
3093a1e819bSAmir Goldstein 
3103a1e819bSAmir Goldstein 	return err;
3113a1e819bSAmir Goldstein }
3123a1e819bSAmir Goldstein 
313016b720fSAmir Goldstein /* Store file handle of @upper dir in @index dir entry */
314016b720fSAmir Goldstein static int ovl_set_upper_fh(struct dentry *upper, struct dentry *index)
315016b720fSAmir Goldstein {
316016b720fSAmir Goldstein 	const struct ovl_fh *fh;
317016b720fSAmir Goldstein 	int err;
318016b720fSAmir Goldstein 
3195b2cccd3SAmir Goldstein 	fh = ovl_encode_real_fh(upper, true);
320016b720fSAmir Goldstein 	if (IS_ERR(fh))
321016b720fSAmir Goldstein 		return PTR_ERR(fh);
322016b720fSAmir Goldstein 
323016b720fSAmir Goldstein 	err = ovl_do_setxattr(index, OVL_XATTR_UPPER, fh, fh->len, 0);
324016b720fSAmir Goldstein 
325016b720fSAmir Goldstein 	kfree(fh);
326016b720fSAmir Goldstein 	return err;
327016b720fSAmir Goldstein }
328016b720fSAmir Goldstein 
329016b720fSAmir Goldstein /*
330016b720fSAmir Goldstein  * Create and install index entry.
331016b720fSAmir Goldstein  *
332016b720fSAmir Goldstein  * Caller must hold i_mutex on indexdir.
333016b720fSAmir Goldstein  */
334016b720fSAmir Goldstein static int ovl_create_index(struct dentry *dentry, struct dentry *origin,
335016b720fSAmir Goldstein 			    struct dentry *upper)
336016b720fSAmir Goldstein {
337016b720fSAmir Goldstein 	struct dentry *indexdir = ovl_indexdir(dentry->d_sb);
338016b720fSAmir Goldstein 	struct inode *dir = d_inode(indexdir);
339016b720fSAmir Goldstein 	struct dentry *index = NULL;
340016b720fSAmir Goldstein 	struct dentry *temp = NULL;
341016b720fSAmir Goldstein 	struct qstr name = { };
342016b720fSAmir Goldstein 	int err;
343016b720fSAmir Goldstein 
344016b720fSAmir Goldstein 	/*
345016b720fSAmir Goldstein 	 * For now this is only used for creating index entry for directories,
346016b720fSAmir Goldstein 	 * because non-dir are copied up directly to index and then hardlinked
347016b720fSAmir Goldstein 	 * to upper dir.
348016b720fSAmir Goldstein 	 *
349016b720fSAmir Goldstein 	 * TODO: implement create index for non-dir, so we can call it when
350016b720fSAmir Goldstein 	 * encoding file handle for non-dir in case index does not exist.
351016b720fSAmir Goldstein 	 */
352016b720fSAmir Goldstein 	if (WARN_ON(!d_is_dir(dentry)))
353016b720fSAmir Goldstein 		return -EIO;
354016b720fSAmir Goldstein 
355016b720fSAmir Goldstein 	/* Directory not expected to be indexed before copy up */
356016b720fSAmir Goldstein 	if (WARN_ON(ovl_test_flag(OVL_INDEX, d_inode(dentry))))
357016b720fSAmir Goldstein 		return -EIO;
358016b720fSAmir Goldstein 
359016b720fSAmir Goldstein 	err = ovl_get_index_name(origin, &name);
360016b720fSAmir Goldstein 	if (err)
361016b720fSAmir Goldstein 		return err;
362016b720fSAmir Goldstein 
363137ec526SAmir Goldstein 	temp = ovl_create_temp(indexdir, OVL_CATTR(S_IFDIR | 0));
364b148cba4SMiklos Szeredi 	err = PTR_ERR(temp);
365016b720fSAmir Goldstein 	if (IS_ERR(temp))
366b148cba4SMiklos Szeredi 		goto free_name;
367016b720fSAmir Goldstein 
368016b720fSAmir Goldstein 	err = ovl_set_upper_fh(upper, temp);
369016b720fSAmir Goldstein 	if (err)
370b148cba4SMiklos Szeredi 		goto out;
371016b720fSAmir Goldstein 
372016b720fSAmir Goldstein 	index = lookup_one_len(name.name, indexdir, name.len);
373016b720fSAmir Goldstein 	if (IS_ERR(index)) {
374016b720fSAmir Goldstein 		err = PTR_ERR(index);
375016b720fSAmir Goldstein 	} else {
376016b720fSAmir Goldstein 		err = ovl_do_rename(dir, temp, dir, index, 0);
377016b720fSAmir Goldstein 		dput(index);
378016b720fSAmir Goldstein 	}
379016b720fSAmir Goldstein out:
380b148cba4SMiklos Szeredi 	if (err)
381b148cba4SMiklos Szeredi 		ovl_cleanup(dir, temp);
382016b720fSAmir Goldstein 	dput(temp);
383b148cba4SMiklos Szeredi free_name:
384016b720fSAmir Goldstein 	kfree(name.name);
385016b720fSAmir Goldstein 	return err;
386016b720fSAmir Goldstein }
387016b720fSAmir Goldstein 
38823f0ab13SMiklos Szeredi struct ovl_copy_up_ctx {
389a6fb235aSMiklos Szeredi 	struct dentry *parent;
39023f0ab13SMiklos Szeredi 	struct dentry *dentry;
39123f0ab13SMiklos Szeredi 	struct path lowerpath;
39223f0ab13SMiklos Szeredi 	struct kstat stat;
39323f0ab13SMiklos Szeredi 	struct kstat pstat;
39423f0ab13SMiklos Szeredi 	const char *link;
39559be0971SAmir Goldstein 	struct dentry *destdir;
39659be0971SAmir Goldstein 	struct qstr destname;
39723f0ab13SMiklos Szeredi 	struct dentry *workdir;
39859be0971SAmir Goldstein 	bool origin;
399016b720fSAmir Goldstein 	bool indexed;
40044d5bf10SVivek Goyal 	bool metacopy;
40123f0ab13SMiklos Szeredi };
40223f0ab13SMiklos Szeredi 
403f4439de1SAmir Goldstein static int ovl_link_up(struct ovl_copy_up_ctx *c)
404f4439de1SAmir Goldstein {
405f4439de1SAmir Goldstein 	int err;
406f4439de1SAmir Goldstein 	struct dentry *upper;
407f4439de1SAmir Goldstein 	struct dentry *upperdir = ovl_dentry_upper(c->parent);
408f4439de1SAmir Goldstein 	struct inode *udir = d_inode(upperdir);
409f4439de1SAmir Goldstein 
410f4439de1SAmir Goldstein 	/* Mark parent "impure" because it may now contain non-pure upper */
411f4439de1SAmir Goldstein 	err = ovl_set_impure(c->parent, upperdir);
412f4439de1SAmir Goldstein 	if (err)
413f4439de1SAmir Goldstein 		return err;
414f4439de1SAmir Goldstein 
415f4439de1SAmir Goldstein 	err = ovl_set_nlink_lower(c->dentry);
416f4439de1SAmir Goldstein 	if (err)
417f4439de1SAmir Goldstein 		return err;
418f4439de1SAmir Goldstein 
419f4439de1SAmir Goldstein 	inode_lock_nested(udir, I_MUTEX_PARENT);
420f4439de1SAmir Goldstein 	upper = lookup_one_len(c->dentry->d_name.name, upperdir,
421f4439de1SAmir Goldstein 			       c->dentry->d_name.len);
422f4439de1SAmir Goldstein 	err = PTR_ERR(upper);
423f4439de1SAmir Goldstein 	if (!IS_ERR(upper)) {
4246cf00764SAmir Goldstein 		err = ovl_do_link(ovl_dentry_upper(c->dentry), udir, upper);
425f4439de1SAmir Goldstein 		dput(upper);
426f4439de1SAmir Goldstein 
427f4439de1SAmir Goldstein 		if (!err) {
428f4439de1SAmir Goldstein 			/* Restore timestamps on parent (best effort) */
429f4439de1SAmir Goldstein 			ovl_set_timestamps(upperdir, &c->pstat);
430f4439de1SAmir Goldstein 			ovl_dentry_set_upper_alias(c->dentry);
431f4439de1SAmir Goldstein 		}
432f4439de1SAmir Goldstein 	}
433f4439de1SAmir Goldstein 	inode_unlock(udir);
434aa3ff3c1SAmir Goldstein 	if (err)
435aa3ff3c1SAmir Goldstein 		return err;
436aa3ff3c1SAmir Goldstein 
437aa3ff3c1SAmir Goldstein 	err = ovl_set_nlink_upper(c->dentry);
438f4439de1SAmir Goldstein 
439f4439de1SAmir Goldstein 	return err;
440f4439de1SAmir Goldstein }
441f4439de1SAmir Goldstein 
44223f0ab13SMiklos Szeredi static int ovl_copy_up_inode(struct ovl_copy_up_ctx *c, struct dentry *temp)
44302209d10SAmir Goldstein {
44402209d10SAmir Goldstein 	int err;
44502209d10SAmir Goldstein 
44623f0ab13SMiklos Szeredi 	err = ovl_copy_xattr(c->lowerpath.dentry, temp);
44702209d10SAmir Goldstein 	if (err)
44802209d10SAmir Goldstein 		return err;
44902209d10SAmir Goldstein 
45002209d10SAmir Goldstein 	/*
45102209d10SAmir Goldstein 	 * Store identifier of lower inode in upper inode xattr to
45202209d10SAmir Goldstein 	 * allow lookup of the copy up origin inode.
45302209d10SAmir Goldstein 	 *
45402209d10SAmir Goldstein 	 * Don't set origin when we are breaking the association with a lower
45502209d10SAmir Goldstein 	 * hard link.
45602209d10SAmir Goldstein 	 */
45759be0971SAmir Goldstein 	if (c->origin) {
45823f0ab13SMiklos Szeredi 		err = ovl_set_origin(c->dentry, c->lowerpath.dentry, temp);
45902209d10SAmir Goldstein 		if (err)
46002209d10SAmir Goldstein 			return err;
46102209d10SAmir Goldstein 	}
46202209d10SAmir Goldstein 
46344d5bf10SVivek Goyal 	if (S_ISREG(c->stat.mode) && !c->metacopy) {
4644f93b426SVivek Goyal 		struct path upperpath, datapath;
465bd64e575SVivek Goyal 
466bd64e575SVivek Goyal 		ovl_path_upper(c->dentry, &upperpath);
467bd64e575SVivek Goyal 		BUG_ON(upperpath.dentry != NULL);
468bd64e575SVivek Goyal 		upperpath.dentry = temp;
469bd64e575SVivek Goyal 
4704f93b426SVivek Goyal 		ovl_path_lowerdata(c->dentry, &datapath);
4714f93b426SVivek Goyal 		err = ovl_copy_up_data(&datapath, &upperpath, c->stat.size);
472bd64e575SVivek Goyal 		if (err)
473bd64e575SVivek Goyal 			return err;
474bd64e575SVivek Goyal 	}
475bd64e575SVivek Goyal 
4760c288874SVivek Goyal 	if (c->metacopy) {
4770c288874SVivek Goyal 		err = ovl_check_setxattr(c->dentry, temp, OVL_XATTR_METACOPY,
4780c288874SVivek Goyal 					 NULL, 0, -EOPNOTSUPP);
4790c288874SVivek Goyal 		if (err)
4800c288874SVivek Goyal 			return err;
4810c288874SVivek Goyal 	}
4820c288874SVivek Goyal 
483bd64e575SVivek Goyal 	inode_lock(temp->d_inode);
4840c288874SVivek Goyal 	if (c->metacopy)
4850c288874SVivek Goyal 		err = ovl_set_size(temp, &c->stat);
4860c288874SVivek Goyal 	if (!err)
487bd64e575SVivek Goyal 		err = ovl_set_attr(temp, &c->stat);
488bd64e575SVivek Goyal 	inode_unlock(temp->d_inode);
489bd64e575SVivek Goyal 
490bd64e575SVivek Goyal 	return err;
49102209d10SAmir Goldstein }
49202209d10SAmir Goldstein 
4936b52243fSMiklos Szeredi struct ovl_cu_creds {
4946b52243fSMiklos Szeredi 	const struct cred *old;
4956b52243fSMiklos Szeredi 	struct cred *new;
496b10cdcdcSAmir Goldstein };
497b10cdcdcSAmir Goldstein 
4986b52243fSMiklos Szeredi static int ovl_prep_cu_creds(struct dentry *dentry, struct ovl_cu_creds *cc)
499b10cdcdcSAmir Goldstein {
500b10cdcdcSAmir Goldstein 	int err;
501b10cdcdcSAmir Goldstein 
5026b52243fSMiklos Szeredi 	cc->old = cc->new = NULL;
5036b52243fSMiklos Szeredi 	err = security_inode_copy_up(dentry, &cc->new);
5046b52243fSMiklos Szeredi 	if (err < 0)
505b10cdcdcSAmir Goldstein 		return err;
5066b52243fSMiklos Szeredi 
5076b52243fSMiklos Szeredi 	if (cc->new)
5086b52243fSMiklos Szeredi 		cc->old = override_creds(cc->new);
5096b52243fSMiklos Szeredi 
5106b52243fSMiklos Szeredi 	return 0;
5116b52243fSMiklos Szeredi }
5126b52243fSMiklos Szeredi 
5136b52243fSMiklos Szeredi static void ovl_revert_cu_creds(struct ovl_cu_creds *cc)
5146b52243fSMiklos Szeredi {
5156b52243fSMiklos Szeredi 	if (cc->new) {
5166b52243fSMiklos Szeredi 		revert_creds(cc->old);
5176b52243fSMiklos Szeredi 		put_cred(cc->new);
5186b52243fSMiklos Szeredi 	}
519b10cdcdcSAmir Goldstein }
520b10cdcdcSAmir Goldstein 
521b10cdcdcSAmir Goldstein /*
522b10cdcdcSAmir Goldstein  * Copyup using workdir to prepare temp file.  Used when copying up directories,
523b10cdcdcSAmir Goldstein  * special files or when upper fs doesn't support O_TMPFILE.
524b10cdcdcSAmir Goldstein  */
525b10cdcdcSAmir Goldstein static int ovl_copy_up_workdir(struct ovl_copy_up_ctx *c)
526b10cdcdcSAmir Goldstein {
527b79e05aaSAmir Goldstein 	struct inode *inode;
5286b52243fSMiklos Szeredi 	struct inode *udir = d_inode(c->destdir), *wdir = d_inode(c->workdir);
5296b52243fSMiklos Szeredi 	struct dentry *temp, *upper;
5306b52243fSMiklos Szeredi 	struct ovl_cu_creds cc;
5317d90b853SMiklos Szeredi 	int err;
5326b52243fSMiklos Szeredi 	struct ovl_cattr cattr = {
5336b52243fSMiklos Szeredi 		/* Can't properly set mode on creation because of the umask */
5346b52243fSMiklos Szeredi 		.mode = c->stat.mode & S_IFMT,
5356b52243fSMiklos Szeredi 		.rdev = c->stat.rdev,
5366b52243fSMiklos Szeredi 		.link = c->link
5376b52243fSMiklos Szeredi 	};
5387d90b853SMiklos Szeredi 
539b10cdcdcSAmir Goldstein 	err = ovl_lock_rename_workdir(c->workdir, c->destdir);
540b10cdcdcSAmir Goldstein 	if (err)
541b10cdcdcSAmir Goldstein 		return err;
542b10cdcdcSAmir Goldstein 
5436b52243fSMiklos Szeredi 	err = ovl_prep_cu_creds(c->dentry, &cc);
5446b52243fSMiklos Szeredi 	if (err)
5456b52243fSMiklos Szeredi 		goto unlock;
5466b52243fSMiklos Szeredi 
5476b52243fSMiklos Szeredi 	temp = ovl_create_temp(c->workdir, &cattr);
5486b52243fSMiklos Szeredi 	ovl_revert_cu_creds(&cc);
5496b52243fSMiklos Szeredi 
550b10cdcdcSAmir Goldstein 	err = PTR_ERR(temp);
551b10cdcdcSAmir Goldstein 	if (IS_ERR(temp))
552b10cdcdcSAmir Goldstein 		goto unlock;
553b10cdcdcSAmir Goldstein 
554b10cdcdcSAmir Goldstein 	err = ovl_copy_up_inode(c, temp);
555b10cdcdcSAmir Goldstein 	if (err)
556b10cdcdcSAmir Goldstein 		goto cleanup;
557b10cdcdcSAmir Goldstein 
558b10cdcdcSAmir Goldstein 	if (S_ISDIR(c->stat.mode) && c->indexed) {
559b10cdcdcSAmir Goldstein 		err = ovl_create_index(c->dentry, c->lowerpath.dentry, temp);
560b10cdcdcSAmir Goldstein 		if (err)
561b10cdcdcSAmir Goldstein 			goto cleanup;
562b10cdcdcSAmir Goldstein 	}
563b10cdcdcSAmir Goldstein 
5646b52243fSMiklos Szeredi 	upper = lookup_one_len(c->destname.name, c->destdir, c->destname.len);
5656b52243fSMiklos Szeredi 	err = PTR_ERR(upper);
5666b52243fSMiklos Szeredi 	if (IS_ERR(upper))
5676b52243fSMiklos Szeredi 		goto cleanup;
5686b52243fSMiklos Szeredi 
5696b52243fSMiklos Szeredi 	err = ovl_do_rename(wdir, temp, udir, upper, 0);
5706b52243fSMiklos Szeredi 	dput(upper);
571b10cdcdcSAmir Goldstein 	if (err)
572b10cdcdcSAmir Goldstein 		goto cleanup;
573b10cdcdcSAmir Goldstein 
574b10cdcdcSAmir Goldstein 	if (!c->metacopy)
575b10cdcdcSAmir Goldstein 		ovl_set_upperdata(d_inode(c->dentry));
576b10cdcdcSAmir Goldstein 	inode = d_inode(c->dentry);
5776b52243fSMiklos Szeredi 	ovl_inode_update(inode, temp);
578b10cdcdcSAmir Goldstein 	if (S_ISDIR(inode->i_mode))
579b10cdcdcSAmir Goldstein 		ovl_set_flag(OVL_WHITEOUTS, inode);
580b10cdcdcSAmir Goldstein unlock:
581b10cdcdcSAmir Goldstein 	unlock_rename(c->workdir, c->destdir);
582b10cdcdcSAmir Goldstein 
583b10cdcdcSAmir Goldstein 	return err;
584b10cdcdcSAmir Goldstein 
585b10cdcdcSAmir Goldstein cleanup:
5866b52243fSMiklos Szeredi 	ovl_cleanup(wdir, temp);
5876b52243fSMiklos Szeredi 	dput(temp);
588b10cdcdcSAmir Goldstein 	goto unlock;
589b10cdcdcSAmir Goldstein }
590b10cdcdcSAmir Goldstein 
591b10cdcdcSAmir Goldstein /* Copyup using O_TMPFILE which does not require cross dir locking */
592b10cdcdcSAmir Goldstein static int ovl_copy_up_tmpfile(struct ovl_copy_up_ctx *c)
593b10cdcdcSAmir Goldstein {
5946b52243fSMiklos Szeredi 	struct inode *udir = d_inode(c->destdir);
5956b52243fSMiklos Szeredi 	struct dentry *temp, *upper;
5966b52243fSMiklos Szeredi 	struct ovl_cu_creds cc;
597b10cdcdcSAmir Goldstein 	int err;
598b10cdcdcSAmir Goldstein 
5996b52243fSMiklos Szeredi 	err = ovl_prep_cu_creds(c->dentry, &cc);
6006b52243fSMiklos Szeredi 	if (err)
6016b52243fSMiklos Szeredi 		return err;
6026b52243fSMiklos Szeredi 
6036b52243fSMiklos Szeredi 	temp = ovl_do_tmpfile(c->workdir, c->stat.mode);
6046b52243fSMiklos Szeredi 	ovl_revert_cu_creds(&cc);
6056b52243fSMiklos Szeredi 
606b148cba4SMiklos Szeredi 	if (IS_ERR(temp))
607b148cba4SMiklos Szeredi 		return PTR_ERR(temp);
608e9be9d5eSMiklos Szeredi 
60923f0ab13SMiklos Szeredi 	err = ovl_copy_up_inode(c, temp);
610e9be9d5eSMiklos Szeredi 	if (err)
6116b52243fSMiklos Szeredi 		goto out_dput;
6123a1e819bSAmir Goldstein 
6136b52243fSMiklos Szeredi 	inode_lock_nested(udir, I_MUTEX_PARENT);
6146b52243fSMiklos Szeredi 
6156b52243fSMiklos Szeredi 	upper = lookup_one_len(c->destname.name, c->destdir, c->destname.len);
6166b52243fSMiklos Szeredi 	err = PTR_ERR(upper);
6176b52243fSMiklos Szeredi 	if (!IS_ERR(upper)) {
6186b52243fSMiklos Szeredi 		err = ovl_do_link(temp, udir, upper);
6196b52243fSMiklos Szeredi 		dput(upper);
6206b52243fSMiklos Szeredi 	}
6216b52243fSMiklos Szeredi 	inode_unlock(udir);
6226b52243fSMiklos Szeredi 
623e9be9d5eSMiklos Szeredi 	if (err)
6246b52243fSMiklos Szeredi 		goto out_dput;
625e9be9d5eSMiklos Szeredi 
6260c288874SVivek Goyal 	if (!c->metacopy)
6270c288874SVivek Goyal 		ovl_set_upperdata(d_inode(c->dentry));
6286b52243fSMiklos Szeredi 	ovl_inode_update(d_inode(c->dentry), temp);
629b79e05aaSAmir Goldstein 
6306b52243fSMiklos Szeredi 	return 0;
6316b52243fSMiklos Szeredi 
6326b52243fSMiklos Szeredi out_dput:
633e85f82ffSMiklos Szeredi 	dput(temp);
634e9be9d5eSMiklos Szeredi 	return err;
635e9be9d5eSMiklos Szeredi }
636e9be9d5eSMiklos Szeredi 
637e9be9d5eSMiklos Szeredi /*
638e9be9d5eSMiklos Szeredi  * Copy up a single dentry
639e9be9d5eSMiklos Szeredi  *
640a6c60655SMiklos Szeredi  * All renames start with copy up of source if necessary.  The actual
641a6c60655SMiklos Szeredi  * rename will only proceed once the copy up was successful.  Copy up uses
642a6c60655SMiklos Szeredi  * upper parent i_mutex for exclusion.  Since rename can change d_parent it
643a6c60655SMiklos Szeredi  * is possible that the copy up will lock the old parent.  At that point
644a6c60655SMiklos Szeredi  * the file will have already been copied up anyway.
645e9be9d5eSMiklos Szeredi  */
646a6fb235aSMiklos Szeredi static int ovl_do_copy_up(struct ovl_copy_up_ctx *c)
647e9be9d5eSMiklos Szeredi {
648e9be9d5eSMiklos Szeredi 	int err;
64923f0ab13SMiklos Szeredi 	struct ovl_fs *ofs = c->dentry->d_sb->s_fs_info;
650016b720fSAmir Goldstein 	bool to_index = false;
65159be0971SAmir Goldstein 
652016b720fSAmir Goldstein 	/*
653016b720fSAmir Goldstein 	 * Indexed non-dir is copied up directly to the index entry and then
654016b720fSAmir Goldstein 	 * hardlinked to upper dir. Indexed dir is copied up to indexdir,
655016b720fSAmir Goldstein 	 * then index entry is created and then copied up dir installed.
656016b720fSAmir Goldstein 	 * Copying dir up to indexdir instead of workdir simplifies locking.
657016b720fSAmir Goldstein 	 */
658016b720fSAmir Goldstein 	if (ovl_need_index(c->dentry)) {
659016b720fSAmir Goldstein 		c->indexed = true;
660016b720fSAmir Goldstein 		if (S_ISDIR(c->stat.mode))
661016b720fSAmir Goldstein 			c->workdir = ovl_indexdir(c->dentry->d_sb);
662016b720fSAmir Goldstein 		else
663016b720fSAmir Goldstein 			to_index = true;
664016b720fSAmir Goldstein 	}
665016b720fSAmir Goldstein 
666016b720fSAmir Goldstein 	if (S_ISDIR(c->stat.mode) || c->stat.nlink == 1 || to_index)
66759be0971SAmir Goldstein 		c->origin = true;
66859be0971SAmir Goldstein 
669016b720fSAmir Goldstein 	if (to_index) {
67059be0971SAmir Goldstein 		c->destdir = ovl_indexdir(c->dentry->d_sb);
67159be0971SAmir Goldstein 		err = ovl_get_index_name(c->lowerpath.dentry, &c->destname);
672f3a15685SAmir Goldstein 		if (err)
673f3a15685SAmir Goldstein 			return err;
674aa3ff3c1SAmir Goldstein 	} else if (WARN_ON(!c->parent)) {
675aa3ff3c1SAmir Goldstein 		/* Disconnected dentry must be copied up to index dir */
676aa3ff3c1SAmir Goldstein 		return -EIO;
67759be0971SAmir Goldstein 	} else {
67859be0971SAmir Goldstein 		/*
67959be0971SAmir Goldstein 		 * Mark parent "impure" because it may now contain non-pure
68059be0971SAmir Goldstein 		 * upper
68159be0971SAmir Goldstein 		 */
68259be0971SAmir Goldstein 		err = ovl_set_impure(c->parent, c->destdir);
68359be0971SAmir Goldstein 		if (err)
68459be0971SAmir Goldstein 			return err;
68559be0971SAmir Goldstein 	}
686f3a15685SAmir Goldstein 
68701ad3eb8SAmir Goldstein 	/* Should we copyup with O_TMPFILE or with workdir? */
688b10cdcdcSAmir Goldstein 	if (S_ISREG(c->stat.mode) && ofs->tmpfile)
689b10cdcdcSAmir Goldstein 		err = ovl_copy_up_tmpfile(c);
690b10cdcdcSAmir Goldstein 	else
691b10cdcdcSAmir Goldstein 		err = ovl_copy_up_workdir(c);
692aa3ff3c1SAmir Goldstein 	if (err)
693aa3ff3c1SAmir Goldstein 		goto out;
694aa3ff3c1SAmir Goldstein 
695aa3ff3c1SAmir Goldstein 	if (c->indexed)
69659be0971SAmir Goldstein 		ovl_set_flag(OVL_INDEX, d_inode(c->dentry));
697016b720fSAmir Goldstein 
698016b720fSAmir Goldstein 	if (to_index) {
699aa3ff3c1SAmir Goldstein 		/* Initialize nlink for copy up of disconnected dentry */
700aa3ff3c1SAmir Goldstein 		err = ovl_set_nlink_upper(c->dentry);
701aa3ff3c1SAmir Goldstein 	} else {
70259be0971SAmir Goldstein 		struct inode *udir = d_inode(c->destdir);
70359be0971SAmir Goldstein 
70459be0971SAmir Goldstein 		/* Restore timestamps on parent (best effort) */
70559be0971SAmir Goldstein 		inode_lock(udir);
70659be0971SAmir Goldstein 		ovl_set_timestamps(c->destdir, &c->pstat);
70759be0971SAmir Goldstein 		inode_unlock(udir);
70859be0971SAmir Goldstein 
70959be0971SAmir Goldstein 		ovl_dentry_set_upper_alias(c->dentry);
710fd210b7dSMiklos Szeredi 	}
711a6fb235aSMiklos Szeredi 
712aa3ff3c1SAmir Goldstein out:
713aa3ff3c1SAmir Goldstein 	if (to_index)
714aa3ff3c1SAmir Goldstein 		kfree(c->destname.name);
715a6fb235aSMiklos Szeredi 	return err;
716a6fb235aSMiklos Szeredi }
717a6fb235aSMiklos Szeredi 
71844d5bf10SVivek Goyal static bool ovl_need_meta_copy_up(struct dentry *dentry, umode_t mode,
71944d5bf10SVivek Goyal 				  int flags)
72044d5bf10SVivek Goyal {
72144d5bf10SVivek Goyal 	struct ovl_fs *ofs = dentry->d_sb->s_fs_info;
72244d5bf10SVivek Goyal 
72344d5bf10SVivek Goyal 	if (!ofs->config.metacopy)
72444d5bf10SVivek Goyal 		return false;
72544d5bf10SVivek Goyal 
72644d5bf10SVivek Goyal 	if (!S_ISREG(mode))
72744d5bf10SVivek Goyal 		return false;
72844d5bf10SVivek Goyal 
72944d5bf10SVivek Goyal 	if (flags && ((OPEN_FMODE(flags) & FMODE_WRITE) || (flags & O_TRUNC)))
73044d5bf10SVivek Goyal 		return false;
73144d5bf10SVivek Goyal 
73244d5bf10SVivek Goyal 	return true;
73344d5bf10SVivek Goyal }
73444d5bf10SVivek Goyal 
7350c288874SVivek Goyal /* Copy up data of an inode which was copied up metadata only in the past. */
7360c288874SVivek Goyal static int ovl_copy_up_meta_inode_data(struct ovl_copy_up_ctx *c)
7370c288874SVivek Goyal {
7384f93b426SVivek Goyal 	struct path upperpath, datapath;
7390c288874SVivek Goyal 	int err;
7400c288874SVivek Goyal 
7410c288874SVivek Goyal 	ovl_path_upper(c->dentry, &upperpath);
7420c288874SVivek Goyal 	if (WARN_ON(upperpath.dentry == NULL))
7430c288874SVivek Goyal 		return -EIO;
7440c288874SVivek Goyal 
7454f93b426SVivek Goyal 	ovl_path_lowerdata(c->dentry, &datapath);
7464f93b426SVivek Goyal 	if (WARN_ON(datapath.dentry == NULL))
7474f93b426SVivek Goyal 		return -EIO;
7484f93b426SVivek Goyal 
7494f93b426SVivek Goyal 	err = ovl_copy_up_data(&datapath, &upperpath, c->stat.size);
7500c288874SVivek Goyal 	if (err)
7510c288874SVivek Goyal 		return err;
7520c288874SVivek Goyal 
7530c288874SVivek Goyal 	err = vfs_removexattr(upperpath.dentry, OVL_XATTR_METACOPY);
7540c288874SVivek Goyal 	if (err)
7550c288874SVivek Goyal 		return err;
7560c288874SVivek Goyal 
7570c288874SVivek Goyal 	ovl_set_upperdata(d_inode(c->dentry));
7580c288874SVivek Goyal 	return err;
7590c288874SVivek Goyal }
7600c288874SVivek Goyal 
761a6fb235aSMiklos Szeredi static int ovl_copy_up_one(struct dentry *parent, struct dentry *dentry,
762a6fb235aSMiklos Szeredi 			   int flags)
763a6fb235aSMiklos Szeredi {
764a6fb235aSMiklos Szeredi 	int err;
765a6fb235aSMiklos Szeredi 	DEFINE_DELAYED_CALL(done);
766a6fb235aSMiklos Szeredi 	struct path parentpath;
767a6fb235aSMiklos Szeredi 	struct ovl_copy_up_ctx ctx = {
768a6fb235aSMiklos Szeredi 		.parent = parent,
769a6fb235aSMiklos Szeredi 		.dentry = dentry,
770a6fb235aSMiklos Szeredi 		.workdir = ovl_workdir(dentry),
771a6fb235aSMiklos Szeredi 	};
772a6fb235aSMiklos Szeredi 
773a6fb235aSMiklos Szeredi 	if (WARN_ON(!ctx.workdir))
774a6fb235aSMiklos Szeredi 		return -EROFS;
775a6fb235aSMiklos Szeredi 
776a6fb235aSMiklos Szeredi 	ovl_path_lower(dentry, &ctx.lowerpath);
777a6fb235aSMiklos Szeredi 	err = vfs_getattr(&ctx.lowerpath, &ctx.stat,
778a6fb235aSMiklos Szeredi 			  STATX_BASIC_STATS, AT_STATX_SYNC_AS_STAT);
779a6fb235aSMiklos Szeredi 	if (err)
780a6fb235aSMiklos Szeredi 		return err;
781a6fb235aSMiklos Szeredi 
78244d5bf10SVivek Goyal 	ctx.metacopy = ovl_need_meta_copy_up(dentry, ctx.stat.mode, flags);
78344d5bf10SVivek Goyal 
784aa3ff3c1SAmir Goldstein 	if (parent) {
785a6fb235aSMiklos Szeredi 		ovl_path_upper(parent, &parentpath);
78659be0971SAmir Goldstein 		ctx.destdir = parentpath.dentry;
78759be0971SAmir Goldstein 		ctx.destname = dentry->d_name;
788a6fb235aSMiklos Szeredi 
789a6fb235aSMiklos Szeredi 		err = vfs_getattr(&parentpath, &ctx.pstat,
790aa3ff3c1SAmir Goldstein 				  STATX_ATIME | STATX_MTIME,
791aa3ff3c1SAmir Goldstein 				  AT_STATX_SYNC_AS_STAT);
792a6fb235aSMiklos Szeredi 		if (err)
793a6fb235aSMiklos Szeredi 			return err;
794aa3ff3c1SAmir Goldstein 	}
795a6fb235aSMiklos Szeredi 
796a6fb235aSMiklos Szeredi 	/* maybe truncate regular file. this has no effect on dirs */
797a6fb235aSMiklos Szeredi 	if (flags & O_TRUNC)
798a6fb235aSMiklos Szeredi 		ctx.stat.size = 0;
799a6fb235aSMiklos Szeredi 
800a6fb235aSMiklos Szeredi 	if (S_ISLNK(ctx.stat.mode)) {
801a6fb235aSMiklos Szeredi 		ctx.link = vfs_get_link(ctx.lowerpath.dentry, &done);
802a6fb235aSMiklos Szeredi 		if (IS_ERR(ctx.link))
803a6fb235aSMiklos Szeredi 			return PTR_ERR(ctx.link);
804a6fb235aSMiklos Szeredi 	}
805a6fb235aSMiklos Szeredi 
8060c288874SVivek Goyal 	err = ovl_copy_up_start(dentry, flags);
807fd210b7dSMiklos Szeredi 	/* err < 0: interrupted, err > 0: raced with another copy-up */
808fd210b7dSMiklos Szeredi 	if (unlikely(err)) {
809fd210b7dSMiklos Szeredi 		if (err > 0)
810fd210b7dSMiklos Szeredi 			err = 0;
811fd210b7dSMiklos Szeredi 	} else {
81259be0971SAmir Goldstein 		if (!ovl_dentry_upper(dentry))
813a6fb235aSMiklos Szeredi 			err = ovl_do_copy_up(&ctx);
814aa3ff3c1SAmir Goldstein 		if (!err && parent && !ovl_dentry_has_upper_alias(dentry))
815f4439de1SAmir Goldstein 			err = ovl_link_up(&ctx);
8160c288874SVivek Goyal 		if (!err && ovl_dentry_needs_data_copy_up_locked(dentry, flags))
8170c288874SVivek Goyal 			err = ovl_copy_up_meta_inode_data(&ctx);
818fd210b7dSMiklos Szeredi 		ovl_copy_up_end(dentry);
819fd210b7dSMiklos Szeredi 	}
8207764235bSMiklos Szeredi 	do_delayed_call(&done);
821e9be9d5eSMiklos Szeredi 
822e9be9d5eSMiklos Szeredi 	return err;
823e9be9d5eSMiklos Szeredi }
824e9be9d5eSMiklos Szeredi 
8259aba6521SAmir Goldstein int ovl_copy_up_flags(struct dentry *dentry, int flags)
826e9be9d5eSMiklos Szeredi {
8278eac98b8SVivek Goyal 	int err = 0;
8288eac98b8SVivek Goyal 	const struct cred *old_cred = ovl_override_creds(dentry->d_sb);
829aa3ff3c1SAmir Goldstein 	bool disconnected = (dentry->d_flags & DCACHE_DISCONNECTED);
830aa3ff3c1SAmir Goldstein 
831aa3ff3c1SAmir Goldstein 	/*
832aa3ff3c1SAmir Goldstein 	 * With NFS export, copy up can get called for a disconnected non-dir.
833aa3ff3c1SAmir Goldstein 	 * In this case, we will copy up lower inode to index dir without
834aa3ff3c1SAmir Goldstein 	 * linking it to upper dir.
835aa3ff3c1SAmir Goldstein 	 */
836aa3ff3c1SAmir Goldstein 	if (WARN_ON(disconnected && d_is_dir(dentry)))
837aa3ff3c1SAmir Goldstein 		return -EIO;
838e9be9d5eSMiklos Szeredi 
839e9be9d5eSMiklos Szeredi 	while (!err) {
840e9be9d5eSMiklos Szeredi 		struct dentry *next;
841aa3ff3c1SAmir Goldstein 		struct dentry *parent = NULL;
842e9be9d5eSMiklos Szeredi 
8430c288874SVivek Goyal 		if (ovl_already_copied_up(dentry, flags))
844e9be9d5eSMiklos Szeredi 			break;
845e9be9d5eSMiklos Szeredi 
846e9be9d5eSMiklos Szeredi 		next = dget(dentry);
847e9be9d5eSMiklos Szeredi 		/* find the topmost dentry not yet copied up */
848aa3ff3c1SAmir Goldstein 		for (; !disconnected;) {
849e9be9d5eSMiklos Szeredi 			parent = dget_parent(next);
850e9be9d5eSMiklos Szeredi 
85159be0971SAmir Goldstein 			if (ovl_dentry_upper(parent))
852e9be9d5eSMiklos Szeredi 				break;
853e9be9d5eSMiklos Szeredi 
854e9be9d5eSMiklos Szeredi 			dput(next);
855e9be9d5eSMiklos Szeredi 			next = parent;
856e9be9d5eSMiklos Szeredi 		}
857e9be9d5eSMiklos Szeredi 
858a6fb235aSMiklos Szeredi 		err = ovl_copy_up_one(parent, next, flags);
859e9be9d5eSMiklos Szeredi 
860e9be9d5eSMiklos Szeredi 		dput(parent);
861e9be9d5eSMiklos Szeredi 		dput(next);
862e9be9d5eSMiklos Szeredi 	}
8638eac98b8SVivek Goyal 	revert_creds(old_cred);
864e9be9d5eSMiklos Szeredi 
865e9be9d5eSMiklos Szeredi 	return err;
866e9be9d5eSMiklos Szeredi }
8679aba6521SAmir Goldstein 
868d6eac039SVivek Goyal static bool ovl_open_need_copy_up(struct dentry *dentry, int flags)
869d6eac039SVivek Goyal {
870d6eac039SVivek Goyal 	/* Copy up of disconnected dentry does not set upper alias */
8710c288874SVivek Goyal 	if (ovl_already_copied_up(dentry, flags))
872d6eac039SVivek Goyal 		return false;
873d6eac039SVivek Goyal 
874d6eac039SVivek Goyal 	if (special_file(d_inode(dentry)->i_mode))
875d6eac039SVivek Goyal 		return false;
876d6eac039SVivek Goyal 
8770c288874SVivek Goyal 	if (!ovl_open_flags_need_copy_up(flags))
878d6eac039SVivek Goyal 		return false;
879d6eac039SVivek Goyal 
880d6eac039SVivek Goyal 	return true;
881d6eac039SVivek Goyal }
882d6eac039SVivek Goyal 
883d6eac039SVivek Goyal int ovl_open_maybe_copy_up(struct dentry *dentry, unsigned int file_flags)
884d6eac039SVivek Goyal {
885d6eac039SVivek Goyal 	int err = 0;
886d6eac039SVivek Goyal 
887d6eac039SVivek Goyal 	if (ovl_open_need_copy_up(dentry, file_flags)) {
888d6eac039SVivek Goyal 		err = ovl_want_write(dentry);
889d6eac039SVivek Goyal 		if (!err) {
890d6eac039SVivek Goyal 			err = ovl_copy_up_flags(dentry, file_flags);
891d6eac039SVivek Goyal 			ovl_drop_write(dentry);
892d6eac039SVivek Goyal 		}
893d6eac039SVivek Goyal 	}
894d6eac039SVivek Goyal 
895d6eac039SVivek Goyal 	return err;
896d6eac039SVivek Goyal }
897d6eac039SVivek Goyal 
898d1e6f6a9SVivek Goyal int ovl_copy_up_with_data(struct dentry *dentry)
899d1e6f6a9SVivek Goyal {
900d1e6f6a9SVivek Goyal 	return ovl_copy_up_flags(dentry, O_WRONLY);
901d1e6f6a9SVivek Goyal }
902d1e6f6a9SVivek Goyal 
9039aba6521SAmir Goldstein int ovl_copy_up(struct dentry *dentry)
9049aba6521SAmir Goldstein {
9059aba6521SAmir Goldstein 	return ovl_copy_up_flags(dentry, 0);
9069aba6521SAmir Goldstein }
907