xref: /openbmc/linux/fs/f2fs/inline.c (revision 9cfc5c90) 
1 /*
2  * fs/f2fs/inline.c
3  * Copyright (c) 2013, Intel Corporation
4  * Authors: Huajun Li <huajun.li@intel.com>
5  *          Haicheng Li <haicheng.li@intel.com>
6  * This program is free software; you can redistribute it and/or modify
7  * it under the terms of the GNU General Public License version 2 as
8  * published by the Free Software Foundation.
9  */
10 
11 #include <linux/fs.h>
12 #include <linux/f2fs_fs.h>
13 
14 #include "f2fs.h"
15 #include "node.h"
16 
17 bool f2fs_may_inline_data(struct inode *inode)
18 {
19 	if (!test_opt(F2FS_I_SB(inode), INLINE_DATA))
20 		return false;
21 
22 	if (f2fs_is_atomic_file(inode))
23 		return false;
24 
25 	if (!S_ISREG(inode->i_mode) && !S_ISLNK(inode->i_mode))
26 		return false;
27 
28 	if (i_size_read(inode) > MAX_INLINE_DATA)
29 		return false;
30 
31 	if (f2fs_encrypted_inode(inode) && S_ISREG(inode->i_mode))
32 		return false;
33 
34 	return true;
35 }
36 
37 bool f2fs_may_inline_dentry(struct inode *inode)
38 {
39 	if (!test_opt(F2FS_I_SB(inode), INLINE_DENTRY))
40 		return false;
41 
42 	if (!S_ISDIR(inode->i_mode))
43 		return false;
44 
45 	return true;
46 }
47 
48 void read_inline_data(struct page *page, struct page *ipage)
49 {
50 	void *src_addr, *dst_addr;
51 
52 	if (PageUptodate(page))
53 		return;
54 
55 	f2fs_bug_on(F2FS_P_SB(page), page->index);
56 
57 	zero_user_segment(page, MAX_INLINE_DATA, PAGE_CACHE_SIZE);
58 
59 	/* Copy the whole inline data block */
60 	src_addr = inline_data_addr(ipage);
61 	dst_addr = kmap_atomic(page);
62 	memcpy(dst_addr, src_addr, MAX_INLINE_DATA);
63 	flush_dcache_page(page);
64 	kunmap_atomic(dst_addr);
65 	SetPageUptodate(page);
66 }
67 
68 bool truncate_inline_inode(struct page *ipage, u64 from)
69 {
70 	void *addr;
71 
72 	if (from >= MAX_INLINE_DATA)
73 		return false;
74 
75 	addr = inline_data_addr(ipage);
76 
77 	f2fs_wait_on_page_writeback(ipage, NODE);
78 	memset(addr + from, 0, MAX_INLINE_DATA - from);
79 
80 	return true;
81 }
82 
83 int f2fs_read_inline_data(struct inode *inode, struct page *page)
84 {
85 	struct page *ipage;
86 
87 	ipage = get_node_page(F2FS_I_SB(inode), inode->i_ino);
88 	if (IS_ERR(ipage)) {
89 		unlock_page(page);
90 		return PTR_ERR(ipage);
91 	}
92 
93 	if (!f2fs_has_inline_data(inode)) {
94 		f2fs_put_page(ipage, 1);
95 		return -EAGAIN;
96 	}
97 
98 	if (page->index)
99 		zero_user_segment(page, 0, PAGE_CACHE_SIZE);
100 	else
101 		read_inline_data(page, ipage);
102 
103 	SetPageUptodate(page);
104 	f2fs_put_page(ipage, 1);
105 	unlock_page(page);
106 	return 0;
107 }
108 
109 int f2fs_convert_inline_page(struct dnode_of_data *dn, struct page *page)
110 {
111 	void *src_addr, *dst_addr;
112 	struct f2fs_io_info fio = {
113 		.sbi = F2FS_I_SB(dn->inode),
114 		.type = DATA,
115 		.rw = WRITE_SYNC | REQ_PRIO,
116 		.page = page,
117 		.encrypted_page = NULL,
118 	};
119 	int dirty, err;
120 
121 	f2fs_bug_on(F2FS_I_SB(dn->inode), page->index);
122 
123 	if (!f2fs_exist_data(dn->inode))
124 		goto clear_out;
125 
126 	err = f2fs_reserve_block(dn, 0);
127 	if (err)
128 		return err;
129 
130 	f2fs_wait_on_page_writeback(page, DATA);
131 
132 	if (PageUptodate(page))
133 		goto no_update;
134 
135 	zero_user_segment(page, MAX_INLINE_DATA, PAGE_CACHE_SIZE);
136 
137 	/* Copy the whole inline data block */
138 	src_addr = inline_data_addr(dn->inode_page);
139 	dst_addr = kmap_atomic(page);
140 	memcpy(dst_addr, src_addr, MAX_INLINE_DATA);
141 	flush_dcache_page(page);
142 	kunmap_atomic(dst_addr);
143 	SetPageUptodate(page);
144 no_update:
145 	set_page_dirty(page);
146 
147 	/* clear dirty state */
148 	dirty = clear_page_dirty_for_io(page);
149 
150 	/* write data page to try to make data consistent */
151 	set_page_writeback(page);
152 	fio.blk_addr = dn->data_blkaddr;
153 	write_data_page(dn, &fio);
154 	set_data_blkaddr(dn);
155 	f2fs_update_extent_cache(dn);
156 	f2fs_wait_on_page_writeback(page, DATA);
157 	if (dirty)
158 		inode_dec_dirty_pages(dn->inode);
159 
160 	/* this converted inline_data should be recovered. */
161 	set_inode_flag(F2FS_I(dn->inode), FI_APPEND_WRITE);
162 
163 	/* clear inline data and flag after data writeback */
164 	truncate_inline_inode(dn->inode_page, 0);
165 clear_out:
166 	stat_dec_inline_inode(dn->inode);
167 	f2fs_clear_inline_inode(dn->inode);
168 	sync_inode_page(dn);
169 	f2fs_put_dnode(dn);
170 	return 0;
171 }
172 
173 int f2fs_convert_inline_inode(struct inode *inode)
174 {
175 	struct f2fs_sb_info *sbi = F2FS_I_SB(inode);
176 	struct dnode_of_data dn;
177 	struct page *ipage, *page;
178 	int err = 0;
179 
180 	page = grab_cache_page(inode->i_mapping, 0);
181 	if (!page)
182 		return -ENOMEM;
183 
184 	f2fs_lock_op(sbi);
185 
186 	ipage = get_node_page(sbi, inode->i_ino);
187 	if (IS_ERR(ipage)) {
188 		err = PTR_ERR(ipage);
189 		goto out;
190 	}
191 
192 	set_new_dnode(&dn, inode, ipage, ipage, 0);
193 
194 	if (f2fs_has_inline_data(inode))
195 		err = f2fs_convert_inline_page(&dn, page);
196 
197 	f2fs_put_dnode(&dn);
198 out:
199 	f2fs_unlock_op(sbi);
200 
201 	f2fs_put_page(page, 1);
202 	return err;
203 }
204 
205 int f2fs_write_inline_data(struct inode *inode, struct page *page)
206 {
207 	void *src_addr, *dst_addr;
208 	struct dnode_of_data dn;
209 	int err;
210 
211 	set_new_dnode(&dn, inode, NULL, NULL, 0);
212 	err = get_dnode_of_data(&dn, 0, LOOKUP_NODE);
213 	if (err)
214 		return err;
215 
216 	if (!f2fs_has_inline_data(inode)) {
217 		f2fs_put_dnode(&dn);
218 		return -EAGAIN;
219 	}
220 
221 	f2fs_bug_on(F2FS_I_SB(inode), page->index);
222 
223 	f2fs_wait_on_page_writeback(dn.inode_page, NODE);
224 	src_addr = kmap_atomic(page);
225 	dst_addr = inline_data_addr(dn.inode_page);
226 	memcpy(dst_addr, src_addr, MAX_INLINE_DATA);
227 	kunmap_atomic(src_addr);
228 
229 	set_inode_flag(F2FS_I(inode), FI_APPEND_WRITE);
230 	set_inode_flag(F2FS_I(inode), FI_DATA_EXIST);
231 
232 	sync_inode_page(&dn);
233 	f2fs_put_dnode(&dn);
234 	return 0;
235 }
236 
237 bool recover_inline_data(struct inode *inode, struct page *npage)
238 {
239 	struct f2fs_sb_info *sbi = F2FS_I_SB(inode);
240 	struct f2fs_inode *ri = NULL;
241 	void *src_addr, *dst_addr;
242 	struct page *ipage;
243 
244 	/*
245 	 * The inline_data recovery policy is as follows.
246 	 * [prev.] [next] of inline_data flag
247 	 *    o       o  -> recover inline_data
248 	 *    o       x  -> remove inline_data, and then recover data blocks
249 	 *    x       o  -> remove inline_data, and then recover inline_data
250 	 *    x       x  -> recover data blocks
251 	 */
252 	if (IS_INODE(npage))
253 		ri = F2FS_INODE(npage);
254 
255 	if (f2fs_has_inline_data(inode) &&
256 			ri && (ri->i_inline & F2FS_INLINE_DATA)) {
257 process_inline:
258 		ipage = get_node_page(sbi, inode->i_ino);
259 		f2fs_bug_on(sbi, IS_ERR(ipage));
260 
261 		f2fs_wait_on_page_writeback(ipage, NODE);
262 
263 		src_addr = inline_data_addr(npage);
264 		dst_addr = inline_data_addr(ipage);
265 		memcpy(dst_addr, src_addr, MAX_INLINE_DATA);
266 
267 		set_inode_flag(F2FS_I(inode), FI_INLINE_DATA);
268 		set_inode_flag(F2FS_I(inode), FI_DATA_EXIST);
269 
270 		update_inode(inode, ipage);
271 		f2fs_put_page(ipage, 1);
272 		return true;
273 	}
274 
275 	if (f2fs_has_inline_data(inode)) {
276 		ipage = get_node_page(sbi, inode->i_ino);
277 		f2fs_bug_on(sbi, IS_ERR(ipage));
278 		if (!truncate_inline_inode(ipage, 0))
279 			return false;
280 		f2fs_clear_inline_inode(inode);
281 		update_inode(inode, ipage);
282 		f2fs_put_page(ipage, 1);
283 	} else if (ri && (ri->i_inline & F2FS_INLINE_DATA)) {
284 		if (truncate_blocks(inode, 0, false))
285 			return false;
286 		goto process_inline;
287 	}
288 	return false;
289 }
290 
291 struct f2fs_dir_entry *find_in_inline_dir(struct inode *dir,
292 			struct f2fs_filename *fname, struct page **res_page)
293 {
294 	struct f2fs_sb_info *sbi = F2FS_SB(dir->i_sb);
295 	struct f2fs_inline_dentry *inline_dentry;
296 	struct qstr name = FSTR_TO_QSTR(&fname->disk_name);
297 	struct f2fs_dir_entry *de;
298 	struct f2fs_dentry_ptr d;
299 	struct page *ipage;
300 	f2fs_hash_t namehash;
301 
302 	ipage = get_node_page(sbi, dir->i_ino);
303 	if (IS_ERR(ipage))
304 		return NULL;
305 
306 	namehash = f2fs_dentry_hash(&name);
307 
308 	inline_dentry = inline_data_addr(ipage);
309 
310 	make_dentry_ptr(NULL, &d, (void *)inline_dentry, 2);
311 	de = find_target_dentry(fname, namehash, NULL, &d);
312 	unlock_page(ipage);
313 	if (de)
314 		*res_page = ipage;
315 	else
316 		f2fs_put_page(ipage, 0);
317 
318 	/*
319 	 * For the most part, it should be a bug when name_len is zero.
320 	 * We stop here for figuring out where the bugs has occurred.
321 	 */
322 	f2fs_bug_on(sbi, d.max < 0);
323 	return de;
324 }
325 
326 struct f2fs_dir_entry *f2fs_parent_inline_dir(struct inode *dir,
327 							struct page **p)
328 {
329 	struct f2fs_sb_info *sbi = F2FS_I_SB(dir);
330 	struct page *ipage;
331 	struct f2fs_dir_entry *de;
332 	struct f2fs_inline_dentry *dentry_blk;
333 
334 	ipage = get_node_page(sbi, dir->i_ino);
335 	if (IS_ERR(ipage))
336 		return NULL;
337 
338 	dentry_blk = inline_data_addr(ipage);
339 	de = &dentry_blk->dentry[1];
340 	*p = ipage;
341 	unlock_page(ipage);
342 	return de;
343 }
344 
345 int make_empty_inline_dir(struct inode *inode, struct inode *parent,
346 							struct page *ipage)
347 {
348 	struct f2fs_inline_dentry *dentry_blk;
349 	struct f2fs_dentry_ptr d;
350 
351 	dentry_blk = inline_data_addr(ipage);
352 
353 	make_dentry_ptr(NULL, &d, (void *)dentry_blk, 2);
354 	do_make_empty_dir(inode, parent, &d);
355 
356 	set_page_dirty(ipage);
357 
358 	/* update i_size to MAX_INLINE_DATA */
359 	if (i_size_read(inode) < MAX_INLINE_DATA) {
360 		i_size_write(inode, MAX_INLINE_DATA);
361 		set_inode_flag(F2FS_I(inode), FI_UPDATE_DIR);
362 	}
363 	return 0;
364 }
365 
366 /*
367  * NOTE: ipage is grabbed by caller, but if any error occurs, we should
368  * release ipage in this function.
369  */
370 static int f2fs_convert_inline_dir(struct inode *dir, struct page *ipage,
371 				struct f2fs_inline_dentry *inline_dentry)
372 {
373 	struct page *page;
374 	struct dnode_of_data dn;
375 	struct f2fs_dentry_block *dentry_blk;
376 	int err;
377 
378 	page = grab_cache_page(dir->i_mapping, 0);
379 	if (!page) {
380 		f2fs_put_page(ipage, 1);
381 		return -ENOMEM;
382 	}
383 
384 	set_new_dnode(&dn, dir, ipage, NULL, 0);
385 	err = f2fs_reserve_block(&dn, 0);
386 	if (err)
387 		goto out;
388 
389 	f2fs_wait_on_page_writeback(page, DATA);
390 	zero_user_segment(page, MAX_INLINE_DATA, PAGE_CACHE_SIZE);
391 
392 	dentry_blk = kmap_atomic(page);
393 
394 	/* copy data from inline dentry block to new dentry block */
395 	memcpy(dentry_blk->dentry_bitmap, inline_dentry->dentry_bitmap,
396 					INLINE_DENTRY_BITMAP_SIZE);
397 	memset(dentry_blk->dentry_bitmap + INLINE_DENTRY_BITMAP_SIZE, 0,
398 			SIZE_OF_DENTRY_BITMAP - INLINE_DENTRY_BITMAP_SIZE);
399 	/*
400 	 * we do not need to zero out remainder part of dentry and filename
401 	 * field, since we have used bitmap for marking the usage status of
402 	 * them, besides, we can also ignore copying/zeroing reserved space
403 	 * of dentry block, because them haven't been used so far.
404 	 */
405 	memcpy(dentry_blk->dentry, inline_dentry->dentry,
406 			sizeof(struct f2fs_dir_entry) * NR_INLINE_DENTRY);
407 	memcpy(dentry_blk->filename, inline_dentry->filename,
408 					NR_INLINE_DENTRY * F2FS_SLOT_LEN);
409 
410 	kunmap_atomic(dentry_blk);
411 	SetPageUptodate(page);
412 	set_page_dirty(page);
413 
414 	/* clear inline dir and flag after data writeback */
415 	truncate_inline_inode(ipage, 0);
416 
417 	stat_dec_inline_dir(dir);
418 	clear_inode_flag(F2FS_I(dir), FI_INLINE_DENTRY);
419 
420 	if (i_size_read(dir) < PAGE_CACHE_SIZE) {
421 		i_size_write(dir, PAGE_CACHE_SIZE);
422 		set_inode_flag(F2FS_I(dir), FI_UPDATE_DIR);
423 	}
424 
425 	sync_inode_page(&dn);
426 out:
427 	f2fs_put_page(page, 1);
428 	return err;
429 }
430 
431 int f2fs_add_inline_entry(struct inode *dir, const struct qstr *name,
432 			struct inode *inode, nid_t ino, umode_t mode)
433 {
434 	struct f2fs_sb_info *sbi = F2FS_I_SB(dir);
435 	struct page *ipage;
436 	unsigned int bit_pos;
437 	f2fs_hash_t name_hash;
438 	size_t namelen = name->len;
439 	struct f2fs_inline_dentry *dentry_blk = NULL;
440 	struct f2fs_dentry_ptr d;
441 	int slots = GET_DENTRY_SLOTS(namelen);
442 	struct page *page = NULL;
443 	int err = 0;
444 
445 	ipage = get_node_page(sbi, dir->i_ino);
446 	if (IS_ERR(ipage))
447 		return PTR_ERR(ipage);
448 
449 	dentry_blk = inline_data_addr(ipage);
450 	bit_pos = room_for_filename(&dentry_blk->dentry_bitmap,
451 						slots, NR_INLINE_DENTRY);
452 	if (bit_pos >= NR_INLINE_DENTRY) {
453 		err = f2fs_convert_inline_dir(dir, ipage, dentry_blk);
454 		if (err)
455 			return err;
456 		err = -EAGAIN;
457 		goto out;
458 	}
459 
460 	if (inode) {
461 		down_write(&F2FS_I(inode)->i_sem);
462 		page = init_inode_metadata(inode, dir, name, ipage);
463 		if (IS_ERR(page)) {
464 			err = PTR_ERR(page);
465 			goto fail;
466 		}
467 	}
468 
469 	f2fs_wait_on_page_writeback(ipage, NODE);
470 
471 	name_hash = f2fs_dentry_hash(name);
472 	make_dentry_ptr(NULL, &d, (void *)dentry_blk, 2);
473 	f2fs_update_dentry(ino, mode, &d, name, name_hash, bit_pos);
474 
475 	set_page_dirty(ipage);
476 
477 	/* we don't need to mark_inode_dirty now */
478 	if (inode) {
479 		F2FS_I(inode)->i_pino = dir->i_ino;
480 		update_inode(inode, page);
481 		f2fs_put_page(page, 1);
482 	}
483 
484 	update_parent_metadata(dir, inode, 0);
485 fail:
486 	if (inode)
487 		up_write(&F2FS_I(inode)->i_sem);
488 
489 	if (is_inode_flag_set(F2FS_I(dir), FI_UPDATE_DIR)) {
490 		update_inode(dir, ipage);
491 		clear_inode_flag(F2FS_I(dir), FI_UPDATE_DIR);
492 	}
493 out:
494 	f2fs_put_page(ipage, 1);
495 	return err;
496 }
497 
498 void f2fs_delete_inline_entry(struct f2fs_dir_entry *dentry, struct page *page,
499 					struct inode *dir, struct inode *inode)
500 {
501 	struct f2fs_inline_dentry *inline_dentry;
502 	int slots = GET_DENTRY_SLOTS(le16_to_cpu(dentry->name_len));
503 	unsigned int bit_pos;
504 	int i;
505 
506 	lock_page(page);
507 	f2fs_wait_on_page_writeback(page, NODE);
508 
509 	inline_dentry = inline_data_addr(page);
510 	bit_pos = dentry - inline_dentry->dentry;
511 	for (i = 0; i < slots; i++)
512 		test_and_clear_bit_le(bit_pos + i,
513 				&inline_dentry->dentry_bitmap);
514 
515 	set_page_dirty(page);
516 
517 	dir->i_ctime = dir->i_mtime = CURRENT_TIME;
518 
519 	if (inode)
520 		f2fs_drop_nlink(dir, inode, page);
521 
522 	f2fs_put_page(page, 1);
523 }
524 
525 bool f2fs_empty_inline_dir(struct inode *dir)
526 {
527 	struct f2fs_sb_info *sbi = F2FS_I_SB(dir);
528 	struct page *ipage;
529 	unsigned int bit_pos = 2;
530 	struct f2fs_inline_dentry *dentry_blk;
531 
532 	ipage = get_node_page(sbi, dir->i_ino);
533 	if (IS_ERR(ipage))
534 		return false;
535 
536 	dentry_blk = inline_data_addr(ipage);
537 	bit_pos = find_next_bit_le(&dentry_blk->dentry_bitmap,
538 					NR_INLINE_DENTRY,
539 					bit_pos);
540 
541 	f2fs_put_page(ipage, 1);
542 
543 	if (bit_pos < NR_INLINE_DENTRY)
544 		return false;
545 
546 	return true;
547 }
548 
549 int f2fs_read_inline_dir(struct file *file, struct dir_context *ctx,
550 				struct f2fs_str *fstr)
551 {
552 	struct inode *inode = file_inode(file);
553 	struct f2fs_inline_dentry *inline_dentry = NULL;
554 	struct page *ipage = NULL;
555 	struct f2fs_dentry_ptr d;
556 
557 	if (ctx->pos == NR_INLINE_DENTRY)
558 		return 0;
559 
560 	ipage = get_node_page(F2FS_I_SB(inode), inode->i_ino);
561 	if (IS_ERR(ipage))
562 		return PTR_ERR(ipage);
563 
564 	inline_dentry = inline_data_addr(ipage);
565 
566 	make_dentry_ptr(inode, &d, (void *)inline_dentry, 2);
567 
568 	if (!f2fs_fill_dentries(ctx, &d, 0, fstr))
569 		ctx->pos = NR_INLINE_DENTRY;
570 
571 	f2fs_put_page(ipage, 1);
572 	return 0;
573 }
574 
575 int f2fs_inline_data_fiemap(struct inode *inode,
576 		struct fiemap_extent_info *fieinfo, __u64 start, __u64 len)
577 {
578 	__u64 byteaddr, ilen;
579 	__u32 flags = FIEMAP_EXTENT_DATA_INLINE | FIEMAP_EXTENT_NOT_ALIGNED |
580 		FIEMAP_EXTENT_LAST;
581 	struct node_info ni;
582 	struct page *ipage;
583 	int err = 0;
584 
585 	ipage = get_node_page(F2FS_I_SB(inode), inode->i_ino);
586 	if (IS_ERR(ipage))
587 		return PTR_ERR(ipage);
588 
589 	if (!f2fs_has_inline_data(inode)) {
590 		err = -EAGAIN;
591 		goto out;
592 	}
593 
594 	ilen = min_t(size_t, MAX_INLINE_DATA, i_size_read(inode));
595 	if (start >= ilen)
596 		goto out;
597 	if (start + len < ilen)
598 		ilen = start + len;
599 	ilen -= start;
600 
601 	get_node_info(F2FS_I_SB(inode), inode->i_ino, &ni);
602 	byteaddr = (__u64)ni.blk_addr << inode->i_sb->s_blocksize_bits;
603 	byteaddr += (char *)inline_data_addr(ipage) - (char *)F2FS_INODE(ipage);
604 	err = fiemap_fill_next_extent(fieinfo, start, byteaddr, ilen, flags);
605 out:
606 	f2fs_put_page(ipage, 1);
607 	return err;
608 }
609