xref: /openbmc/linux/fs/f2fs/checkpoint.c (revision 437275272f9e635673f065300e5d95226a25cb06)
10a8165d7SJaegeuk Kim /*
2127e670aSJaegeuk Kim  * fs/f2fs/checkpoint.c
3127e670aSJaegeuk Kim  *
4127e670aSJaegeuk Kim  * Copyright (c) 2012 Samsung Electronics Co., Ltd.
5127e670aSJaegeuk Kim  *             http://www.samsung.com/
6127e670aSJaegeuk Kim  *
7127e670aSJaegeuk Kim  * This program is free software; you can redistribute it and/or modify
8127e670aSJaegeuk Kim  * it under the terms of the GNU General Public License version 2 as
9127e670aSJaegeuk Kim  * published by the Free Software Foundation.
10127e670aSJaegeuk Kim  */
11127e670aSJaegeuk Kim #include <linux/fs.h>
12127e670aSJaegeuk Kim #include <linux/bio.h>
13127e670aSJaegeuk Kim #include <linux/mpage.h>
14127e670aSJaegeuk Kim #include <linux/writeback.h>
15127e670aSJaegeuk Kim #include <linux/blkdev.h>
16127e670aSJaegeuk Kim #include <linux/f2fs_fs.h>
17127e670aSJaegeuk Kim #include <linux/pagevec.h>
18127e670aSJaegeuk Kim #include <linux/swap.h>
19127e670aSJaegeuk Kim 
20127e670aSJaegeuk Kim #include "f2fs.h"
21127e670aSJaegeuk Kim #include "node.h"
22127e670aSJaegeuk Kim #include "segment.h"
23127e670aSJaegeuk Kim 
24127e670aSJaegeuk Kim static struct kmem_cache *orphan_entry_slab;
25127e670aSJaegeuk Kim static struct kmem_cache *inode_entry_slab;
26127e670aSJaegeuk Kim 
270a8165d7SJaegeuk Kim /*
28127e670aSJaegeuk Kim  * We guarantee no failure on the returned page.
29127e670aSJaegeuk Kim  */
30127e670aSJaegeuk Kim struct page *grab_meta_page(struct f2fs_sb_info *sbi, pgoff_t index)
31127e670aSJaegeuk Kim {
32127e670aSJaegeuk Kim 	struct address_space *mapping = sbi->meta_inode->i_mapping;
33127e670aSJaegeuk Kim 	struct page *page = NULL;
34127e670aSJaegeuk Kim repeat:
35127e670aSJaegeuk Kim 	page = grab_cache_page(mapping, index);
36127e670aSJaegeuk Kim 	if (!page) {
37127e670aSJaegeuk Kim 		cond_resched();
38127e670aSJaegeuk Kim 		goto repeat;
39127e670aSJaegeuk Kim 	}
40127e670aSJaegeuk Kim 
41127e670aSJaegeuk Kim 	/* We wait writeback only inside grab_meta_page() */
42127e670aSJaegeuk Kim 	wait_on_page_writeback(page);
43127e670aSJaegeuk Kim 	SetPageUptodate(page);
44127e670aSJaegeuk Kim 	return page;
45127e670aSJaegeuk Kim }
46127e670aSJaegeuk Kim 
470a8165d7SJaegeuk Kim /*
48127e670aSJaegeuk Kim  * We guarantee no failure on the returned page.
49127e670aSJaegeuk Kim  */
50127e670aSJaegeuk Kim struct page *get_meta_page(struct f2fs_sb_info *sbi, pgoff_t index)
51127e670aSJaegeuk Kim {
52127e670aSJaegeuk Kim 	struct address_space *mapping = sbi->meta_inode->i_mapping;
53127e670aSJaegeuk Kim 	struct page *page;
54127e670aSJaegeuk Kim repeat:
55127e670aSJaegeuk Kim 	page = grab_cache_page(mapping, index);
56127e670aSJaegeuk Kim 	if (!page) {
57127e670aSJaegeuk Kim 		cond_resched();
58127e670aSJaegeuk Kim 		goto repeat;
59127e670aSJaegeuk Kim 	}
60127e670aSJaegeuk Kim 	if (f2fs_readpage(sbi, page, index, READ_SYNC)) {
61127e670aSJaegeuk Kim 		f2fs_put_page(page, 1);
62127e670aSJaegeuk Kim 		goto repeat;
63127e670aSJaegeuk Kim 	}
64127e670aSJaegeuk Kim 	mark_page_accessed(page);
65127e670aSJaegeuk Kim 
66127e670aSJaegeuk Kim 	/* We do not allow returning an errorneous page */
67127e670aSJaegeuk Kim 	return page;
68127e670aSJaegeuk Kim }
69127e670aSJaegeuk Kim 
70127e670aSJaegeuk Kim static int f2fs_write_meta_page(struct page *page,
71127e670aSJaegeuk Kim 				struct writeback_control *wbc)
72127e670aSJaegeuk Kim {
73127e670aSJaegeuk Kim 	struct inode *inode = page->mapping->host;
74127e670aSJaegeuk Kim 	struct f2fs_sb_info *sbi = F2FS_SB(inode->i_sb);
75577e3495SJaegeuk Kim 
76577e3495SJaegeuk Kim 	/* Should not write any meta pages, if any IO error was occurred */
77577e3495SJaegeuk Kim 	if (wbc->for_reclaim ||
78577e3495SJaegeuk Kim 			is_set_ckpt_flags(F2FS_CKPT(sbi), CP_ERROR_FLAG)) {
79577e3495SJaegeuk Kim 		dec_page_count(sbi, F2FS_DIRTY_META);
80577e3495SJaegeuk Kim 		wbc->pages_skipped++;
81577e3495SJaegeuk Kim 		set_page_dirty(page);
82577e3495SJaegeuk Kim 		return AOP_WRITEPAGE_ACTIVATE;
83577e3495SJaegeuk Kim 	}
84127e670aSJaegeuk Kim 
85127e670aSJaegeuk Kim 	wait_on_page_writeback(page);
86127e670aSJaegeuk Kim 
87577e3495SJaegeuk Kim 	write_meta_page(sbi, page);
88127e670aSJaegeuk Kim 	dec_page_count(sbi, F2FS_DIRTY_META);
89127e670aSJaegeuk Kim 	unlock_page(page);
90577e3495SJaegeuk Kim 	return 0;
91127e670aSJaegeuk Kim }
92127e670aSJaegeuk Kim 
93127e670aSJaegeuk Kim static int f2fs_write_meta_pages(struct address_space *mapping,
94127e670aSJaegeuk Kim 				struct writeback_control *wbc)
95127e670aSJaegeuk Kim {
96127e670aSJaegeuk Kim 	struct f2fs_sb_info *sbi = F2FS_SB(mapping->host->i_sb);
97127e670aSJaegeuk Kim 	struct block_device *bdev = sbi->sb->s_bdev;
98127e670aSJaegeuk Kim 	long written;
99127e670aSJaegeuk Kim 
100127e670aSJaegeuk Kim 	if (wbc->for_kupdate)
101127e670aSJaegeuk Kim 		return 0;
102127e670aSJaegeuk Kim 
103127e670aSJaegeuk Kim 	if (get_pages(sbi, F2FS_DIRTY_META) == 0)
104127e670aSJaegeuk Kim 		return 0;
105127e670aSJaegeuk Kim 
106127e670aSJaegeuk Kim 	/* if mounting is failed, skip writing node pages */
107127e670aSJaegeuk Kim 	mutex_lock(&sbi->cp_mutex);
108127e670aSJaegeuk Kim 	written = sync_meta_pages(sbi, META, bio_get_nr_vecs(bdev));
109127e670aSJaegeuk Kim 	mutex_unlock(&sbi->cp_mutex);
110127e670aSJaegeuk Kim 	wbc->nr_to_write -= written;
111127e670aSJaegeuk Kim 	return 0;
112127e670aSJaegeuk Kim }
113127e670aSJaegeuk Kim 
114127e670aSJaegeuk Kim long sync_meta_pages(struct f2fs_sb_info *sbi, enum page_type type,
115127e670aSJaegeuk Kim 						long nr_to_write)
116127e670aSJaegeuk Kim {
117127e670aSJaegeuk Kim 	struct address_space *mapping = sbi->meta_inode->i_mapping;
118127e670aSJaegeuk Kim 	pgoff_t index = 0, end = LONG_MAX;
119127e670aSJaegeuk Kim 	struct pagevec pvec;
120127e670aSJaegeuk Kim 	long nwritten = 0;
121127e670aSJaegeuk Kim 	struct writeback_control wbc = {
122127e670aSJaegeuk Kim 		.for_reclaim = 0,
123127e670aSJaegeuk Kim 	};
124127e670aSJaegeuk Kim 
125127e670aSJaegeuk Kim 	pagevec_init(&pvec, 0);
126127e670aSJaegeuk Kim 
127127e670aSJaegeuk Kim 	while (index <= end) {
128127e670aSJaegeuk Kim 		int i, nr_pages;
129127e670aSJaegeuk Kim 		nr_pages = pagevec_lookup_tag(&pvec, mapping, &index,
130127e670aSJaegeuk Kim 				PAGECACHE_TAG_DIRTY,
131127e670aSJaegeuk Kim 				min(end - index, (pgoff_t)PAGEVEC_SIZE-1) + 1);
132127e670aSJaegeuk Kim 		if (nr_pages == 0)
133127e670aSJaegeuk Kim 			break;
134127e670aSJaegeuk Kim 
135127e670aSJaegeuk Kim 		for (i = 0; i < nr_pages; i++) {
136127e670aSJaegeuk Kim 			struct page *page = pvec.pages[i];
137127e670aSJaegeuk Kim 			lock_page(page);
138127e670aSJaegeuk Kim 			BUG_ON(page->mapping != mapping);
139127e670aSJaegeuk Kim 			BUG_ON(!PageDirty(page));
140127e670aSJaegeuk Kim 			clear_page_dirty_for_io(page);
141577e3495SJaegeuk Kim 			if (f2fs_write_meta_page(page, &wbc)) {
142577e3495SJaegeuk Kim 				unlock_page(page);
143577e3495SJaegeuk Kim 				break;
144577e3495SJaegeuk Kim 			}
145127e670aSJaegeuk Kim 			if (nwritten++ >= nr_to_write)
146127e670aSJaegeuk Kim 				break;
147127e670aSJaegeuk Kim 		}
148127e670aSJaegeuk Kim 		pagevec_release(&pvec);
149127e670aSJaegeuk Kim 		cond_resched();
150127e670aSJaegeuk Kim 	}
151127e670aSJaegeuk Kim 
152127e670aSJaegeuk Kim 	if (nwritten)
153127e670aSJaegeuk Kim 		f2fs_submit_bio(sbi, type, nr_to_write == LONG_MAX);
154127e670aSJaegeuk Kim 
155127e670aSJaegeuk Kim 	return nwritten;
156127e670aSJaegeuk Kim }
157127e670aSJaegeuk Kim 
158127e670aSJaegeuk Kim static int f2fs_set_meta_page_dirty(struct page *page)
159127e670aSJaegeuk Kim {
160127e670aSJaegeuk Kim 	struct address_space *mapping = page->mapping;
161127e670aSJaegeuk Kim 	struct f2fs_sb_info *sbi = F2FS_SB(mapping->host->i_sb);
162127e670aSJaegeuk Kim 
163127e670aSJaegeuk Kim 	SetPageUptodate(page);
164127e670aSJaegeuk Kim 	if (!PageDirty(page)) {
165127e670aSJaegeuk Kim 		__set_page_dirty_nobuffers(page);
166127e670aSJaegeuk Kim 		inc_page_count(sbi, F2FS_DIRTY_META);
167127e670aSJaegeuk Kim 		return 1;
168127e670aSJaegeuk Kim 	}
169127e670aSJaegeuk Kim 	return 0;
170127e670aSJaegeuk Kim }
171127e670aSJaegeuk Kim 
172127e670aSJaegeuk Kim const struct address_space_operations f2fs_meta_aops = {
173127e670aSJaegeuk Kim 	.writepage	= f2fs_write_meta_page,
174127e670aSJaegeuk Kim 	.writepages	= f2fs_write_meta_pages,
175127e670aSJaegeuk Kim 	.set_page_dirty	= f2fs_set_meta_page_dirty,
176127e670aSJaegeuk Kim };
177127e670aSJaegeuk Kim 
178127e670aSJaegeuk Kim int check_orphan_space(struct f2fs_sb_info *sbi)
179127e670aSJaegeuk Kim {
180127e670aSJaegeuk Kim 	unsigned int max_orphans;
181127e670aSJaegeuk Kim 	int err = 0;
182127e670aSJaegeuk Kim 
183127e670aSJaegeuk Kim 	/*
184127e670aSJaegeuk Kim 	 * considering 512 blocks in a segment 5 blocks are needed for cp
185127e670aSJaegeuk Kim 	 * and log segment summaries. Remaining blocks are used to keep
186127e670aSJaegeuk Kim 	 * orphan entries with the limitation one reserved segment
187127e670aSJaegeuk Kim 	 * for cp pack we can have max 1020*507 orphan entries
188127e670aSJaegeuk Kim 	 */
189127e670aSJaegeuk Kim 	max_orphans = (sbi->blocks_per_seg - 5) * F2FS_ORPHANS_PER_BLOCK;
190127e670aSJaegeuk Kim 	mutex_lock(&sbi->orphan_inode_mutex);
191127e670aSJaegeuk Kim 	if (sbi->n_orphans >= max_orphans)
192127e670aSJaegeuk Kim 		err = -ENOSPC;
193127e670aSJaegeuk Kim 	mutex_unlock(&sbi->orphan_inode_mutex);
194127e670aSJaegeuk Kim 	return err;
195127e670aSJaegeuk Kim }
196127e670aSJaegeuk Kim 
197127e670aSJaegeuk Kim void add_orphan_inode(struct f2fs_sb_info *sbi, nid_t ino)
198127e670aSJaegeuk Kim {
199127e670aSJaegeuk Kim 	struct list_head *head, *this;
200127e670aSJaegeuk Kim 	struct orphan_inode_entry *new = NULL, *orphan = NULL;
201127e670aSJaegeuk Kim 
202127e670aSJaegeuk Kim 	mutex_lock(&sbi->orphan_inode_mutex);
203127e670aSJaegeuk Kim 	head = &sbi->orphan_inode_list;
204127e670aSJaegeuk Kim 	list_for_each(this, head) {
205127e670aSJaegeuk Kim 		orphan = list_entry(this, struct orphan_inode_entry, list);
206127e670aSJaegeuk Kim 		if (orphan->ino == ino)
207127e670aSJaegeuk Kim 			goto out;
208127e670aSJaegeuk Kim 		if (orphan->ino > ino)
209127e670aSJaegeuk Kim 			break;
210127e670aSJaegeuk Kim 		orphan = NULL;
211127e670aSJaegeuk Kim 	}
212127e670aSJaegeuk Kim retry:
213127e670aSJaegeuk Kim 	new = kmem_cache_alloc(orphan_entry_slab, GFP_ATOMIC);
214127e670aSJaegeuk Kim 	if (!new) {
215127e670aSJaegeuk Kim 		cond_resched();
216127e670aSJaegeuk Kim 		goto retry;
217127e670aSJaegeuk Kim 	}
218127e670aSJaegeuk Kim 	new->ino = ino;
219127e670aSJaegeuk Kim 
220127e670aSJaegeuk Kim 	/* add new_oentry into list which is sorted by inode number */
221a2617dc6Smajianpeng 	if (orphan)
222a2617dc6Smajianpeng 		list_add(&new->list, this->prev);
223127e670aSJaegeuk Kim 	else
224127e670aSJaegeuk Kim 		list_add_tail(&new->list, head);
225a2617dc6Smajianpeng 
226127e670aSJaegeuk Kim 	sbi->n_orphans++;
227127e670aSJaegeuk Kim out:
228127e670aSJaegeuk Kim 	mutex_unlock(&sbi->orphan_inode_mutex);
229127e670aSJaegeuk Kim }
230127e670aSJaegeuk Kim 
231127e670aSJaegeuk Kim void remove_orphan_inode(struct f2fs_sb_info *sbi, nid_t ino)
232127e670aSJaegeuk Kim {
233127e670aSJaegeuk Kim 	struct list_head *this, *next, *head;
234127e670aSJaegeuk Kim 	struct orphan_inode_entry *orphan;
235127e670aSJaegeuk Kim 
236127e670aSJaegeuk Kim 	mutex_lock(&sbi->orphan_inode_mutex);
237127e670aSJaegeuk Kim 	head = &sbi->orphan_inode_list;
238127e670aSJaegeuk Kim 	list_for_each_safe(this, next, head) {
239127e670aSJaegeuk Kim 		orphan = list_entry(this, struct orphan_inode_entry, list);
240127e670aSJaegeuk Kim 		if (orphan->ino == ino) {
241127e670aSJaegeuk Kim 			list_del(&orphan->list);
242127e670aSJaegeuk Kim 			kmem_cache_free(orphan_entry_slab, orphan);
243127e670aSJaegeuk Kim 			sbi->n_orphans--;
244127e670aSJaegeuk Kim 			break;
245127e670aSJaegeuk Kim 		}
246127e670aSJaegeuk Kim 	}
247127e670aSJaegeuk Kim 	mutex_unlock(&sbi->orphan_inode_mutex);
248127e670aSJaegeuk Kim }
249127e670aSJaegeuk Kim 
250127e670aSJaegeuk Kim static void recover_orphan_inode(struct f2fs_sb_info *sbi, nid_t ino)
251127e670aSJaegeuk Kim {
252127e670aSJaegeuk Kim 	struct inode *inode = f2fs_iget(sbi->sb, ino);
253127e670aSJaegeuk Kim 	BUG_ON(IS_ERR(inode));
254127e670aSJaegeuk Kim 	clear_nlink(inode);
255127e670aSJaegeuk Kim 
256127e670aSJaegeuk Kim 	/* truncate all the data during iput */
257127e670aSJaegeuk Kim 	iput(inode);
258127e670aSJaegeuk Kim }
259127e670aSJaegeuk Kim 
260127e670aSJaegeuk Kim int recover_orphan_inodes(struct f2fs_sb_info *sbi)
261127e670aSJaegeuk Kim {
262127e670aSJaegeuk Kim 	block_t start_blk, orphan_blkaddr, i, j;
263127e670aSJaegeuk Kim 
26425ca923bSJaegeuk Kim 	if (!is_set_ckpt_flags(F2FS_CKPT(sbi), CP_ORPHAN_PRESENT_FLAG))
265127e670aSJaegeuk Kim 		return 0;
266127e670aSJaegeuk Kim 
267127e670aSJaegeuk Kim 	sbi->por_doing = 1;
268127e670aSJaegeuk Kim 	start_blk = __start_cp_addr(sbi) + 1;
269127e670aSJaegeuk Kim 	orphan_blkaddr = __start_sum_addr(sbi) - 1;
270127e670aSJaegeuk Kim 
271127e670aSJaegeuk Kim 	for (i = 0; i < orphan_blkaddr; i++) {
272127e670aSJaegeuk Kim 		struct page *page = get_meta_page(sbi, start_blk + i);
273127e670aSJaegeuk Kim 		struct f2fs_orphan_block *orphan_blk;
274127e670aSJaegeuk Kim 
275127e670aSJaegeuk Kim 		orphan_blk = (struct f2fs_orphan_block *)page_address(page);
276127e670aSJaegeuk Kim 		for (j = 0; j < le32_to_cpu(orphan_blk->entry_count); j++) {
277127e670aSJaegeuk Kim 			nid_t ino = le32_to_cpu(orphan_blk->ino[j]);
278127e670aSJaegeuk Kim 			recover_orphan_inode(sbi, ino);
279127e670aSJaegeuk Kim 		}
280127e670aSJaegeuk Kim 		f2fs_put_page(page, 1);
281127e670aSJaegeuk Kim 	}
282127e670aSJaegeuk Kim 	/* clear Orphan Flag */
28325ca923bSJaegeuk Kim 	clear_ckpt_flags(F2FS_CKPT(sbi), CP_ORPHAN_PRESENT_FLAG);
284127e670aSJaegeuk Kim 	sbi->por_doing = 0;
285127e670aSJaegeuk Kim 	return 0;
286127e670aSJaegeuk Kim }
287127e670aSJaegeuk Kim 
288127e670aSJaegeuk Kim static void write_orphan_inodes(struct f2fs_sb_info *sbi, block_t start_blk)
289127e670aSJaegeuk Kim {
290127e670aSJaegeuk Kim 	struct list_head *head, *this, *next;
291127e670aSJaegeuk Kim 	struct f2fs_orphan_block *orphan_blk = NULL;
292127e670aSJaegeuk Kim 	struct page *page = NULL;
293127e670aSJaegeuk Kim 	unsigned int nentries = 0;
294127e670aSJaegeuk Kim 	unsigned short index = 1;
295127e670aSJaegeuk Kim 	unsigned short orphan_blocks;
296127e670aSJaegeuk Kim 
297127e670aSJaegeuk Kim 	orphan_blocks = (unsigned short)((sbi->n_orphans +
298127e670aSJaegeuk Kim 		(F2FS_ORPHANS_PER_BLOCK - 1)) / F2FS_ORPHANS_PER_BLOCK);
299127e670aSJaegeuk Kim 
300127e670aSJaegeuk Kim 	mutex_lock(&sbi->orphan_inode_mutex);
301127e670aSJaegeuk Kim 	head = &sbi->orphan_inode_list;
302127e670aSJaegeuk Kim 
303127e670aSJaegeuk Kim 	/* loop for each orphan inode entry and write them in Jornal block */
304127e670aSJaegeuk Kim 	list_for_each_safe(this, next, head) {
305127e670aSJaegeuk Kim 		struct orphan_inode_entry *orphan;
306127e670aSJaegeuk Kim 
307127e670aSJaegeuk Kim 		orphan = list_entry(this, struct orphan_inode_entry, list);
308127e670aSJaegeuk Kim 
309127e670aSJaegeuk Kim 		if (nentries == F2FS_ORPHANS_PER_BLOCK) {
310127e670aSJaegeuk Kim 			/*
311127e670aSJaegeuk Kim 			 * an orphan block is full of 1020 entries,
312127e670aSJaegeuk Kim 			 * then we need to flush current orphan blocks
313127e670aSJaegeuk Kim 			 * and bring another one in memory
314127e670aSJaegeuk Kim 			 */
315127e670aSJaegeuk Kim 			orphan_blk->blk_addr = cpu_to_le16(index);
316127e670aSJaegeuk Kim 			orphan_blk->blk_count = cpu_to_le16(orphan_blocks);
317127e670aSJaegeuk Kim 			orphan_blk->entry_count = cpu_to_le32(nentries);
318127e670aSJaegeuk Kim 			set_page_dirty(page);
319127e670aSJaegeuk Kim 			f2fs_put_page(page, 1);
320127e670aSJaegeuk Kim 			index++;
321127e670aSJaegeuk Kim 			start_blk++;
322127e670aSJaegeuk Kim 			nentries = 0;
323127e670aSJaegeuk Kim 			page = NULL;
324127e670aSJaegeuk Kim 		}
325127e670aSJaegeuk Kim 		if (page)
326127e670aSJaegeuk Kim 			goto page_exist;
327127e670aSJaegeuk Kim 
328127e670aSJaegeuk Kim 		page = grab_meta_page(sbi, start_blk);
329127e670aSJaegeuk Kim 		orphan_blk = (struct f2fs_orphan_block *)page_address(page);
330127e670aSJaegeuk Kim 		memset(orphan_blk, 0, sizeof(*orphan_blk));
331127e670aSJaegeuk Kim page_exist:
332127e670aSJaegeuk Kim 		orphan_blk->ino[nentries++] = cpu_to_le32(orphan->ino);
333127e670aSJaegeuk Kim 	}
334127e670aSJaegeuk Kim 	if (!page)
335127e670aSJaegeuk Kim 		goto end;
336127e670aSJaegeuk Kim 
337127e670aSJaegeuk Kim 	orphan_blk->blk_addr = cpu_to_le16(index);
338127e670aSJaegeuk Kim 	orphan_blk->blk_count = cpu_to_le16(orphan_blocks);
339127e670aSJaegeuk Kim 	orphan_blk->entry_count = cpu_to_le32(nentries);
340127e670aSJaegeuk Kim 	set_page_dirty(page);
341127e670aSJaegeuk Kim 	f2fs_put_page(page, 1);
342127e670aSJaegeuk Kim end:
343127e670aSJaegeuk Kim 	mutex_unlock(&sbi->orphan_inode_mutex);
344127e670aSJaegeuk Kim }
345127e670aSJaegeuk Kim 
346127e670aSJaegeuk Kim static struct page *validate_checkpoint(struct f2fs_sb_info *sbi,
347127e670aSJaegeuk Kim 				block_t cp_addr, unsigned long long *version)
348127e670aSJaegeuk Kim {
349127e670aSJaegeuk Kim 	struct page *cp_page_1, *cp_page_2 = NULL;
350127e670aSJaegeuk Kim 	unsigned long blk_size = sbi->blocksize;
351127e670aSJaegeuk Kim 	struct f2fs_checkpoint *cp_block;
352127e670aSJaegeuk Kim 	unsigned long long cur_version = 0, pre_version = 0;
353127e670aSJaegeuk Kim 	unsigned int crc = 0;
354127e670aSJaegeuk Kim 	size_t crc_offset;
355127e670aSJaegeuk Kim 
356127e670aSJaegeuk Kim 	/* Read the 1st cp block in this CP pack */
357127e670aSJaegeuk Kim 	cp_page_1 = get_meta_page(sbi, cp_addr);
358127e670aSJaegeuk Kim 
359127e670aSJaegeuk Kim 	/* get the version number */
360127e670aSJaegeuk Kim 	cp_block = (struct f2fs_checkpoint *)page_address(cp_page_1);
361127e670aSJaegeuk Kim 	crc_offset = le32_to_cpu(cp_block->checksum_offset);
362127e670aSJaegeuk Kim 	if (crc_offset >= blk_size)
363127e670aSJaegeuk Kim 		goto invalid_cp1;
364127e670aSJaegeuk Kim 
365127e670aSJaegeuk Kim 	crc = *(unsigned int *)((unsigned char *)cp_block + crc_offset);
366127e670aSJaegeuk Kim 	if (!f2fs_crc_valid(crc, cp_block, crc_offset))
367127e670aSJaegeuk Kim 		goto invalid_cp1;
368127e670aSJaegeuk Kim 
369127e670aSJaegeuk Kim 	pre_version = le64_to_cpu(cp_block->checkpoint_ver);
370127e670aSJaegeuk Kim 
371127e670aSJaegeuk Kim 	/* Read the 2nd cp block in this CP pack */
37225ca923bSJaegeuk Kim 	cp_addr += le32_to_cpu(cp_block->cp_pack_total_block_count) - 1;
373127e670aSJaegeuk Kim 	cp_page_2 = get_meta_page(sbi, cp_addr);
374127e670aSJaegeuk Kim 
375127e670aSJaegeuk Kim 	cp_block = (struct f2fs_checkpoint *)page_address(cp_page_2);
376127e670aSJaegeuk Kim 	crc_offset = le32_to_cpu(cp_block->checksum_offset);
377127e670aSJaegeuk Kim 	if (crc_offset >= blk_size)
378127e670aSJaegeuk Kim 		goto invalid_cp2;
379127e670aSJaegeuk Kim 
380127e670aSJaegeuk Kim 	crc = *(unsigned int *)((unsigned char *)cp_block + crc_offset);
381127e670aSJaegeuk Kim 	if (!f2fs_crc_valid(crc, cp_block, crc_offset))
382127e670aSJaegeuk Kim 		goto invalid_cp2;
383127e670aSJaegeuk Kim 
384127e670aSJaegeuk Kim 	cur_version = le64_to_cpu(cp_block->checkpoint_ver);
385127e670aSJaegeuk Kim 
386127e670aSJaegeuk Kim 	if (cur_version == pre_version) {
387127e670aSJaegeuk Kim 		*version = cur_version;
388127e670aSJaegeuk Kim 		f2fs_put_page(cp_page_2, 1);
389127e670aSJaegeuk Kim 		return cp_page_1;
390127e670aSJaegeuk Kim 	}
391127e670aSJaegeuk Kim invalid_cp2:
392127e670aSJaegeuk Kim 	f2fs_put_page(cp_page_2, 1);
393127e670aSJaegeuk Kim invalid_cp1:
394127e670aSJaegeuk Kim 	f2fs_put_page(cp_page_1, 1);
395127e670aSJaegeuk Kim 	return NULL;
396127e670aSJaegeuk Kim }
397127e670aSJaegeuk Kim 
398127e670aSJaegeuk Kim int get_valid_checkpoint(struct f2fs_sb_info *sbi)
399127e670aSJaegeuk Kim {
400127e670aSJaegeuk Kim 	struct f2fs_checkpoint *cp_block;
401127e670aSJaegeuk Kim 	struct f2fs_super_block *fsb = sbi->raw_super;
402127e670aSJaegeuk Kim 	struct page *cp1, *cp2, *cur_page;
403127e670aSJaegeuk Kim 	unsigned long blk_size = sbi->blocksize;
404127e670aSJaegeuk Kim 	unsigned long long cp1_version = 0, cp2_version = 0;
405127e670aSJaegeuk Kim 	unsigned long long cp_start_blk_no;
406127e670aSJaegeuk Kim 
407127e670aSJaegeuk Kim 	sbi->ckpt = kzalloc(blk_size, GFP_KERNEL);
408127e670aSJaegeuk Kim 	if (!sbi->ckpt)
409127e670aSJaegeuk Kim 		return -ENOMEM;
410127e670aSJaegeuk Kim 	/*
411127e670aSJaegeuk Kim 	 * Finding out valid cp block involves read both
412127e670aSJaegeuk Kim 	 * sets( cp pack1 and cp pack 2)
413127e670aSJaegeuk Kim 	 */
414127e670aSJaegeuk Kim 	cp_start_blk_no = le32_to_cpu(fsb->cp_blkaddr);
415127e670aSJaegeuk Kim 	cp1 = validate_checkpoint(sbi, cp_start_blk_no, &cp1_version);
416127e670aSJaegeuk Kim 
417127e670aSJaegeuk Kim 	/* The second checkpoint pack should start at the next segment */
418127e670aSJaegeuk Kim 	cp_start_blk_no += 1 << le32_to_cpu(fsb->log_blocks_per_seg);
419127e670aSJaegeuk Kim 	cp2 = validate_checkpoint(sbi, cp_start_blk_no, &cp2_version);
420127e670aSJaegeuk Kim 
421127e670aSJaegeuk Kim 	if (cp1 && cp2) {
422127e670aSJaegeuk Kim 		if (ver_after(cp2_version, cp1_version))
423127e670aSJaegeuk Kim 			cur_page = cp2;
424127e670aSJaegeuk Kim 		else
425127e670aSJaegeuk Kim 			cur_page = cp1;
426127e670aSJaegeuk Kim 	} else if (cp1) {
427127e670aSJaegeuk Kim 		cur_page = cp1;
428127e670aSJaegeuk Kim 	} else if (cp2) {
429127e670aSJaegeuk Kim 		cur_page = cp2;
430127e670aSJaegeuk Kim 	} else {
431127e670aSJaegeuk Kim 		goto fail_no_cp;
432127e670aSJaegeuk Kim 	}
433127e670aSJaegeuk Kim 
434127e670aSJaegeuk Kim 	cp_block = (struct f2fs_checkpoint *)page_address(cur_page);
435127e670aSJaegeuk Kim 	memcpy(sbi->ckpt, cp_block, blk_size);
436127e670aSJaegeuk Kim 
437127e670aSJaegeuk Kim 	f2fs_put_page(cp1, 1);
438127e670aSJaegeuk Kim 	f2fs_put_page(cp2, 1);
439127e670aSJaegeuk Kim 	return 0;
440127e670aSJaegeuk Kim 
441127e670aSJaegeuk Kim fail_no_cp:
442127e670aSJaegeuk Kim 	kfree(sbi->ckpt);
443127e670aSJaegeuk Kim 	return -EINVAL;
444127e670aSJaegeuk Kim }
445127e670aSJaegeuk Kim 
446127e670aSJaegeuk Kim void set_dirty_dir_page(struct inode *inode, struct page *page)
447127e670aSJaegeuk Kim {
448127e670aSJaegeuk Kim 	struct f2fs_sb_info *sbi = F2FS_SB(inode->i_sb);
449127e670aSJaegeuk Kim 	struct list_head *head = &sbi->dir_inode_list;
450127e670aSJaegeuk Kim 	struct dir_inode_entry *new;
451127e670aSJaegeuk Kim 	struct list_head *this;
452127e670aSJaegeuk Kim 
453127e670aSJaegeuk Kim 	if (!S_ISDIR(inode->i_mode))
454127e670aSJaegeuk Kim 		return;
455127e670aSJaegeuk Kim retry:
456127e670aSJaegeuk Kim 	new = kmem_cache_alloc(inode_entry_slab, GFP_NOFS);
457127e670aSJaegeuk Kim 	if (!new) {
458127e670aSJaegeuk Kim 		cond_resched();
459127e670aSJaegeuk Kim 		goto retry;
460127e670aSJaegeuk Kim 	}
461127e670aSJaegeuk Kim 	new->inode = inode;
462127e670aSJaegeuk Kim 	INIT_LIST_HEAD(&new->list);
463127e670aSJaegeuk Kim 
464127e670aSJaegeuk Kim 	spin_lock(&sbi->dir_inode_lock);
465127e670aSJaegeuk Kim 	list_for_each(this, head) {
466127e670aSJaegeuk Kim 		struct dir_inode_entry *entry;
467127e670aSJaegeuk Kim 		entry = list_entry(this, struct dir_inode_entry, list);
468127e670aSJaegeuk Kim 		if (entry->inode == inode) {
469127e670aSJaegeuk Kim 			kmem_cache_free(inode_entry_slab, new);
470127e670aSJaegeuk Kim 			goto out;
471127e670aSJaegeuk Kim 		}
472127e670aSJaegeuk Kim 	}
473127e670aSJaegeuk Kim 	list_add_tail(&new->list, head);
474127e670aSJaegeuk Kim 	sbi->n_dirty_dirs++;
475127e670aSJaegeuk Kim 
476127e670aSJaegeuk Kim 	BUG_ON(!S_ISDIR(inode->i_mode));
477127e670aSJaegeuk Kim out:
478127e670aSJaegeuk Kim 	inc_page_count(sbi, F2FS_DIRTY_DENTS);
479127e670aSJaegeuk Kim 	inode_inc_dirty_dents(inode);
480127e670aSJaegeuk Kim 	SetPagePrivate(page);
481127e670aSJaegeuk Kim 
482127e670aSJaegeuk Kim 	spin_unlock(&sbi->dir_inode_lock);
483127e670aSJaegeuk Kim }
484127e670aSJaegeuk Kim 
485127e670aSJaegeuk Kim void remove_dirty_dir_inode(struct inode *inode)
486127e670aSJaegeuk Kim {
487127e670aSJaegeuk Kim 	struct f2fs_sb_info *sbi = F2FS_SB(inode->i_sb);
488127e670aSJaegeuk Kim 	struct list_head *head = &sbi->dir_inode_list;
489127e670aSJaegeuk Kim 	struct list_head *this;
490127e670aSJaegeuk Kim 
491127e670aSJaegeuk Kim 	if (!S_ISDIR(inode->i_mode))
492127e670aSJaegeuk Kim 		return;
493127e670aSJaegeuk Kim 
494127e670aSJaegeuk Kim 	spin_lock(&sbi->dir_inode_lock);
495127e670aSJaegeuk Kim 	if (atomic_read(&F2FS_I(inode)->dirty_dents))
496127e670aSJaegeuk Kim 		goto out;
497127e670aSJaegeuk Kim 
498127e670aSJaegeuk Kim 	list_for_each(this, head) {
499127e670aSJaegeuk Kim 		struct dir_inode_entry *entry;
500127e670aSJaegeuk Kim 		entry = list_entry(this, struct dir_inode_entry, list);
501127e670aSJaegeuk Kim 		if (entry->inode == inode) {
502127e670aSJaegeuk Kim 			list_del(&entry->list);
503127e670aSJaegeuk Kim 			kmem_cache_free(inode_entry_slab, entry);
504127e670aSJaegeuk Kim 			sbi->n_dirty_dirs--;
505127e670aSJaegeuk Kim 			break;
506127e670aSJaegeuk Kim 		}
507127e670aSJaegeuk Kim 	}
508127e670aSJaegeuk Kim out:
509127e670aSJaegeuk Kim 	spin_unlock(&sbi->dir_inode_lock);
510127e670aSJaegeuk Kim }
511127e670aSJaegeuk Kim 
512127e670aSJaegeuk Kim void sync_dirty_dir_inodes(struct f2fs_sb_info *sbi)
513127e670aSJaegeuk Kim {
514127e670aSJaegeuk Kim 	struct list_head *head = &sbi->dir_inode_list;
515127e670aSJaegeuk Kim 	struct dir_inode_entry *entry;
516127e670aSJaegeuk Kim 	struct inode *inode;
517127e670aSJaegeuk Kim retry:
518127e670aSJaegeuk Kim 	spin_lock(&sbi->dir_inode_lock);
519127e670aSJaegeuk Kim 	if (list_empty(head)) {
520127e670aSJaegeuk Kim 		spin_unlock(&sbi->dir_inode_lock);
521127e670aSJaegeuk Kim 		return;
522127e670aSJaegeuk Kim 	}
523127e670aSJaegeuk Kim 	entry = list_entry(head->next, struct dir_inode_entry, list);
524127e670aSJaegeuk Kim 	inode = igrab(entry->inode);
525127e670aSJaegeuk Kim 	spin_unlock(&sbi->dir_inode_lock);
526127e670aSJaegeuk Kim 	if (inode) {
527127e670aSJaegeuk Kim 		filemap_flush(inode->i_mapping);
528127e670aSJaegeuk Kim 		iput(inode);
529127e670aSJaegeuk Kim 	} else {
530127e670aSJaegeuk Kim 		/*
531127e670aSJaegeuk Kim 		 * We should submit bio, since it exists several
532127e670aSJaegeuk Kim 		 * wribacking dentry pages in the freeing inode.
533127e670aSJaegeuk Kim 		 */
534127e670aSJaegeuk Kim 		f2fs_submit_bio(sbi, DATA, true);
535127e670aSJaegeuk Kim 	}
536127e670aSJaegeuk Kim 	goto retry;
537127e670aSJaegeuk Kim }
538127e670aSJaegeuk Kim 
5390a8165d7SJaegeuk Kim /*
540127e670aSJaegeuk Kim  * Freeze all the FS-operations for checkpoint.
541127e670aSJaegeuk Kim  */
542*43727527SJaegeuk Kim static void block_operations(struct f2fs_sb_info *sbi)
543127e670aSJaegeuk Kim {
544127e670aSJaegeuk Kim 	int t;
545127e670aSJaegeuk Kim 	struct writeback_control wbc = {
546127e670aSJaegeuk Kim 		.sync_mode = WB_SYNC_ALL,
547127e670aSJaegeuk Kim 		.nr_to_write = LONG_MAX,
548127e670aSJaegeuk Kim 		.for_reclaim = 0,
549127e670aSJaegeuk Kim 	};
550127e670aSJaegeuk Kim 
551127e670aSJaegeuk Kim 	/* Stop renaming operation */
552127e670aSJaegeuk Kim 	mutex_lock_op(sbi, RENAME);
553127e670aSJaegeuk Kim 	mutex_lock_op(sbi, DENTRY_OPS);
554127e670aSJaegeuk Kim 
555127e670aSJaegeuk Kim retry_dents:
556127e670aSJaegeuk Kim 	/* write all the dirty dentry pages */
557127e670aSJaegeuk Kim 	sync_dirty_dir_inodes(sbi);
558127e670aSJaegeuk Kim 
559127e670aSJaegeuk Kim 	mutex_lock_op(sbi, DATA_WRITE);
560127e670aSJaegeuk Kim 	if (get_pages(sbi, F2FS_DIRTY_DENTS)) {
561127e670aSJaegeuk Kim 		mutex_unlock_op(sbi, DATA_WRITE);
562127e670aSJaegeuk Kim 		goto retry_dents;
563127e670aSJaegeuk Kim 	}
564127e670aSJaegeuk Kim 
565127e670aSJaegeuk Kim 	/* block all the operations */
566127e670aSJaegeuk Kim 	for (t = DATA_NEW; t <= NODE_TRUNC; t++)
567127e670aSJaegeuk Kim 		mutex_lock_op(sbi, t);
568127e670aSJaegeuk Kim 
569127e670aSJaegeuk Kim 	mutex_lock(&sbi->write_inode);
570127e670aSJaegeuk Kim 
571127e670aSJaegeuk Kim 	/*
572127e670aSJaegeuk Kim 	 * POR: we should ensure that there is no dirty node pages
573127e670aSJaegeuk Kim 	 * until finishing nat/sit flush.
574127e670aSJaegeuk Kim 	 */
575127e670aSJaegeuk Kim retry:
576127e670aSJaegeuk Kim 	sync_node_pages(sbi, 0, &wbc);
577127e670aSJaegeuk Kim 
578127e670aSJaegeuk Kim 	mutex_lock_op(sbi, NODE_WRITE);
579127e670aSJaegeuk Kim 
580127e670aSJaegeuk Kim 	if (get_pages(sbi, F2FS_DIRTY_NODES)) {
581127e670aSJaegeuk Kim 		mutex_unlock_op(sbi, NODE_WRITE);
582127e670aSJaegeuk Kim 		goto retry;
583127e670aSJaegeuk Kim 	}
584127e670aSJaegeuk Kim 	mutex_unlock(&sbi->write_inode);
585127e670aSJaegeuk Kim }
586127e670aSJaegeuk Kim 
587127e670aSJaegeuk Kim static void unblock_operations(struct f2fs_sb_info *sbi)
588127e670aSJaegeuk Kim {
589127e670aSJaegeuk Kim 	int t;
590127e670aSJaegeuk Kim 	for (t = NODE_WRITE; t >= RENAME; t--)
591127e670aSJaegeuk Kim 		mutex_unlock_op(sbi, t);
592127e670aSJaegeuk Kim }
593127e670aSJaegeuk Kim 
594127e670aSJaegeuk Kim static void do_checkpoint(struct f2fs_sb_info *sbi, bool is_umount)
595127e670aSJaegeuk Kim {
596127e670aSJaegeuk Kim 	struct f2fs_checkpoint *ckpt = F2FS_CKPT(sbi);
597127e670aSJaegeuk Kim 	nid_t last_nid = 0;
598127e670aSJaegeuk Kim 	block_t start_blk;
599127e670aSJaegeuk Kim 	struct page *cp_page;
600127e670aSJaegeuk Kim 	unsigned int data_sum_blocks, orphan_blocks;
60125ca923bSJaegeuk Kim 	unsigned int crc32 = 0;
602127e670aSJaegeuk Kim 	void *kaddr;
603127e670aSJaegeuk Kim 	int i;
604127e670aSJaegeuk Kim 
605127e670aSJaegeuk Kim 	/* Flush all the NAT/SIT pages */
606127e670aSJaegeuk Kim 	while (get_pages(sbi, F2FS_DIRTY_META))
607127e670aSJaegeuk Kim 		sync_meta_pages(sbi, META, LONG_MAX);
608127e670aSJaegeuk Kim 
609127e670aSJaegeuk Kim 	next_free_nid(sbi, &last_nid);
610127e670aSJaegeuk Kim 
611127e670aSJaegeuk Kim 	/*
612127e670aSJaegeuk Kim 	 * modify checkpoint
613127e670aSJaegeuk Kim 	 * version number is already updated
614127e670aSJaegeuk Kim 	 */
615127e670aSJaegeuk Kim 	ckpt->elapsed_time = cpu_to_le64(get_mtime(sbi));
616127e670aSJaegeuk Kim 	ckpt->valid_block_count = cpu_to_le64(valid_user_blocks(sbi));
617127e670aSJaegeuk Kim 	ckpt->free_segment_count = cpu_to_le32(free_segments(sbi));
618127e670aSJaegeuk Kim 	for (i = 0; i < 3; i++) {
619127e670aSJaegeuk Kim 		ckpt->cur_node_segno[i] =
620127e670aSJaegeuk Kim 			cpu_to_le32(curseg_segno(sbi, i + CURSEG_HOT_NODE));
621127e670aSJaegeuk Kim 		ckpt->cur_node_blkoff[i] =
622127e670aSJaegeuk Kim 			cpu_to_le16(curseg_blkoff(sbi, i + CURSEG_HOT_NODE));
623127e670aSJaegeuk Kim 		ckpt->alloc_type[i + CURSEG_HOT_NODE] =
624127e670aSJaegeuk Kim 				curseg_alloc_type(sbi, i + CURSEG_HOT_NODE);
625127e670aSJaegeuk Kim 	}
626127e670aSJaegeuk Kim 	for (i = 0; i < 3; i++) {
627127e670aSJaegeuk Kim 		ckpt->cur_data_segno[i] =
628127e670aSJaegeuk Kim 			cpu_to_le32(curseg_segno(sbi, i + CURSEG_HOT_DATA));
629127e670aSJaegeuk Kim 		ckpt->cur_data_blkoff[i] =
630127e670aSJaegeuk Kim 			cpu_to_le16(curseg_blkoff(sbi, i + CURSEG_HOT_DATA));
631127e670aSJaegeuk Kim 		ckpt->alloc_type[i + CURSEG_HOT_DATA] =
632127e670aSJaegeuk Kim 				curseg_alloc_type(sbi, i + CURSEG_HOT_DATA);
633127e670aSJaegeuk Kim 	}
634127e670aSJaegeuk Kim 
635127e670aSJaegeuk Kim 	ckpt->valid_node_count = cpu_to_le32(valid_node_count(sbi));
636127e670aSJaegeuk Kim 	ckpt->valid_inode_count = cpu_to_le32(valid_inode_count(sbi));
637127e670aSJaegeuk Kim 	ckpt->next_free_nid = cpu_to_le32(last_nid);
638127e670aSJaegeuk Kim 
639127e670aSJaegeuk Kim 	/* 2 cp  + n data seg summary + orphan inode blocks */
640127e670aSJaegeuk Kim 	data_sum_blocks = npages_for_summary_flush(sbi);
641127e670aSJaegeuk Kim 	if (data_sum_blocks < 3)
64225ca923bSJaegeuk Kim 		set_ckpt_flags(ckpt, CP_COMPACT_SUM_FLAG);
643127e670aSJaegeuk Kim 	else
64425ca923bSJaegeuk Kim 		clear_ckpt_flags(ckpt, CP_COMPACT_SUM_FLAG);
645127e670aSJaegeuk Kim 
646127e670aSJaegeuk Kim 	orphan_blocks = (sbi->n_orphans + F2FS_ORPHANS_PER_BLOCK - 1)
647127e670aSJaegeuk Kim 					/ F2FS_ORPHANS_PER_BLOCK;
64825ca923bSJaegeuk Kim 	ckpt->cp_pack_start_sum = cpu_to_le32(1 + orphan_blocks);
649127e670aSJaegeuk Kim 
650127e670aSJaegeuk Kim 	if (is_umount) {
65125ca923bSJaegeuk Kim 		set_ckpt_flags(ckpt, CP_UMOUNT_FLAG);
65225ca923bSJaegeuk Kim 		ckpt->cp_pack_total_block_count = cpu_to_le32(2 +
65325ca923bSJaegeuk Kim 			data_sum_blocks + orphan_blocks + NR_CURSEG_NODE_TYPE);
654127e670aSJaegeuk Kim 	} else {
65525ca923bSJaegeuk Kim 		clear_ckpt_flags(ckpt, CP_UMOUNT_FLAG);
65625ca923bSJaegeuk Kim 		ckpt->cp_pack_total_block_count = cpu_to_le32(2 +
65725ca923bSJaegeuk Kim 			data_sum_blocks + orphan_blocks);
658127e670aSJaegeuk Kim 	}
659127e670aSJaegeuk Kim 
660127e670aSJaegeuk Kim 	if (sbi->n_orphans)
66125ca923bSJaegeuk Kim 		set_ckpt_flags(ckpt, CP_ORPHAN_PRESENT_FLAG);
662127e670aSJaegeuk Kim 	else
66325ca923bSJaegeuk Kim 		clear_ckpt_flags(ckpt, CP_ORPHAN_PRESENT_FLAG);
664127e670aSJaegeuk Kim 
665127e670aSJaegeuk Kim 	/* update SIT/NAT bitmap */
666127e670aSJaegeuk Kim 	get_sit_bitmap(sbi, __bitmap_ptr(sbi, SIT_BITMAP));
667127e670aSJaegeuk Kim 	get_nat_bitmap(sbi, __bitmap_ptr(sbi, NAT_BITMAP));
668127e670aSJaegeuk Kim 
669127e670aSJaegeuk Kim 	crc32 = f2fs_crc32(ckpt, le32_to_cpu(ckpt->checksum_offset));
67025ca923bSJaegeuk Kim 	*(__le32 *)((unsigned char *)ckpt +
671127e670aSJaegeuk Kim 				le32_to_cpu(ckpt->checksum_offset))
672127e670aSJaegeuk Kim 				= cpu_to_le32(crc32);
673127e670aSJaegeuk Kim 
674127e670aSJaegeuk Kim 	start_blk = __start_cp_addr(sbi);
675127e670aSJaegeuk Kim 
676127e670aSJaegeuk Kim 	/* write out checkpoint buffer at block 0 */
677127e670aSJaegeuk Kim 	cp_page = grab_meta_page(sbi, start_blk++);
678127e670aSJaegeuk Kim 	kaddr = page_address(cp_page);
679127e670aSJaegeuk Kim 	memcpy(kaddr, ckpt, (1 << sbi->log_blocksize));
680127e670aSJaegeuk Kim 	set_page_dirty(cp_page);
681127e670aSJaegeuk Kim 	f2fs_put_page(cp_page, 1);
682127e670aSJaegeuk Kim 
683127e670aSJaegeuk Kim 	if (sbi->n_orphans) {
684127e670aSJaegeuk Kim 		write_orphan_inodes(sbi, start_blk);
685127e670aSJaegeuk Kim 		start_blk += orphan_blocks;
686127e670aSJaegeuk Kim 	}
687127e670aSJaegeuk Kim 
688127e670aSJaegeuk Kim 	write_data_summaries(sbi, start_blk);
689127e670aSJaegeuk Kim 	start_blk += data_sum_blocks;
690127e670aSJaegeuk Kim 	if (is_umount) {
691127e670aSJaegeuk Kim 		write_node_summaries(sbi, start_blk);
692127e670aSJaegeuk Kim 		start_blk += NR_CURSEG_NODE_TYPE;
693127e670aSJaegeuk Kim 	}
694127e670aSJaegeuk Kim 
695127e670aSJaegeuk Kim 	/* writeout checkpoint block */
696127e670aSJaegeuk Kim 	cp_page = grab_meta_page(sbi, start_blk);
697127e670aSJaegeuk Kim 	kaddr = page_address(cp_page);
698127e670aSJaegeuk Kim 	memcpy(kaddr, ckpt, (1 << sbi->log_blocksize));
699127e670aSJaegeuk Kim 	set_page_dirty(cp_page);
700127e670aSJaegeuk Kim 	f2fs_put_page(cp_page, 1);
701127e670aSJaegeuk Kim 
702127e670aSJaegeuk Kim 	/* wait for previous submitted node/meta pages writeback */
703127e670aSJaegeuk Kim 	while (get_pages(sbi, F2FS_WRITEBACK))
704127e670aSJaegeuk Kim 		congestion_wait(BLK_RW_ASYNC, HZ / 50);
705127e670aSJaegeuk Kim 
706127e670aSJaegeuk Kim 	filemap_fdatawait_range(sbi->node_inode->i_mapping, 0, LONG_MAX);
707127e670aSJaegeuk Kim 	filemap_fdatawait_range(sbi->meta_inode->i_mapping, 0, LONG_MAX);
708127e670aSJaegeuk Kim 
709127e670aSJaegeuk Kim 	/* update user_block_counts */
710127e670aSJaegeuk Kim 	sbi->last_valid_block_count = sbi->total_valid_block_count;
711127e670aSJaegeuk Kim 	sbi->alloc_valid_block_count = 0;
712127e670aSJaegeuk Kim 
713127e670aSJaegeuk Kim 	/* Here, we only have one bio having CP pack */
714127e670aSJaegeuk Kim 	sync_meta_pages(sbi, META_FLUSH, LONG_MAX);
715127e670aSJaegeuk Kim 
716577e3495SJaegeuk Kim 	if (!is_set_ckpt_flags(ckpt, CP_ERROR_FLAG)) {
717127e670aSJaegeuk Kim 		clear_prefree_segments(sbi);
718127e670aSJaegeuk Kim 		F2FS_RESET_SB_DIRT(sbi);
719127e670aSJaegeuk Kim 	}
720577e3495SJaegeuk Kim }
721127e670aSJaegeuk Kim 
7220a8165d7SJaegeuk Kim /*
723127e670aSJaegeuk Kim  * We guarantee that this checkpoint procedure should not fail.
724127e670aSJaegeuk Kim  */
725*43727527SJaegeuk Kim void write_checkpoint(struct f2fs_sb_info *sbi, bool is_umount)
726127e670aSJaegeuk Kim {
727127e670aSJaegeuk Kim 	struct f2fs_checkpoint *ckpt = F2FS_CKPT(sbi);
728127e670aSJaegeuk Kim 	unsigned long long ckpt_ver;
729127e670aSJaegeuk Kim 
730127e670aSJaegeuk Kim 	mutex_lock(&sbi->cp_mutex);
731127e670aSJaegeuk Kim 	block_operations(sbi);
732127e670aSJaegeuk Kim 
733127e670aSJaegeuk Kim 	f2fs_submit_bio(sbi, DATA, true);
734127e670aSJaegeuk Kim 	f2fs_submit_bio(sbi, NODE, true);
735127e670aSJaegeuk Kim 	f2fs_submit_bio(sbi, META, true);
736127e670aSJaegeuk Kim 
737127e670aSJaegeuk Kim 	/*
738127e670aSJaegeuk Kim 	 * update checkpoint pack index
739127e670aSJaegeuk Kim 	 * Increase the version number so that
740127e670aSJaegeuk Kim 	 * SIT entries and seg summaries are written at correct place
741127e670aSJaegeuk Kim 	 */
742127e670aSJaegeuk Kim 	ckpt_ver = le64_to_cpu(ckpt->checkpoint_ver);
743127e670aSJaegeuk Kim 	ckpt->checkpoint_ver = cpu_to_le64(++ckpt_ver);
744127e670aSJaegeuk Kim 
745127e670aSJaegeuk Kim 	/* write cached NAT/SIT entries to NAT/SIT area */
746127e670aSJaegeuk Kim 	flush_nat_entries(sbi);
747127e670aSJaegeuk Kim 	flush_sit_entries(sbi);
748127e670aSJaegeuk Kim 
749127e670aSJaegeuk Kim 	reset_victim_segmap(sbi);
750127e670aSJaegeuk Kim 
751127e670aSJaegeuk Kim 	/* unlock all the fs_lock[] in do_checkpoint() */
752127e670aSJaegeuk Kim 	do_checkpoint(sbi, is_umount);
753127e670aSJaegeuk Kim 
754127e670aSJaegeuk Kim 	unblock_operations(sbi);
755127e670aSJaegeuk Kim 	mutex_unlock(&sbi->cp_mutex);
756127e670aSJaegeuk Kim }
757127e670aSJaegeuk Kim 
758127e670aSJaegeuk Kim void init_orphan_info(struct f2fs_sb_info *sbi)
759127e670aSJaegeuk Kim {
760127e670aSJaegeuk Kim 	mutex_init(&sbi->orphan_inode_mutex);
761127e670aSJaegeuk Kim 	INIT_LIST_HEAD(&sbi->orphan_inode_list);
762127e670aSJaegeuk Kim 	sbi->n_orphans = 0;
763127e670aSJaegeuk Kim }
764127e670aSJaegeuk Kim 
7656e6093a8SNamjae Jeon int __init create_checkpoint_caches(void)
766127e670aSJaegeuk Kim {
767127e670aSJaegeuk Kim 	orphan_entry_slab = f2fs_kmem_cache_create("f2fs_orphan_entry",
768127e670aSJaegeuk Kim 			sizeof(struct orphan_inode_entry), NULL);
769127e670aSJaegeuk Kim 	if (unlikely(!orphan_entry_slab))
770127e670aSJaegeuk Kim 		return -ENOMEM;
771127e670aSJaegeuk Kim 	inode_entry_slab = f2fs_kmem_cache_create("f2fs_dirty_dir_entry",
772127e670aSJaegeuk Kim 			sizeof(struct dir_inode_entry), NULL);
773127e670aSJaegeuk Kim 	if (unlikely(!inode_entry_slab)) {
774127e670aSJaegeuk Kim 		kmem_cache_destroy(orphan_entry_slab);
775127e670aSJaegeuk Kim 		return -ENOMEM;
776127e670aSJaegeuk Kim 	}
777127e670aSJaegeuk Kim 	return 0;
778127e670aSJaegeuk Kim }
779127e670aSJaegeuk Kim 
780127e670aSJaegeuk Kim void destroy_checkpoint_caches(void)
781127e670aSJaegeuk Kim {
782127e670aSJaegeuk Kim 	kmem_cache_destroy(orphan_entry_slab);
783127e670aSJaegeuk Kim 	kmem_cache_destroy(inode_entry_slab);
784127e670aSJaegeuk Kim }
785