xref: /openbmc/linux/fs/f2fs/checkpoint.c (revision 2af4bd6ca556d690ee166200abd16fdbe749782e)
10a8165d7SJaegeuk Kim /*
2127e670aSJaegeuk Kim  * fs/f2fs/checkpoint.c
3127e670aSJaegeuk Kim  *
4127e670aSJaegeuk Kim  * Copyright (c) 2012 Samsung Electronics Co., Ltd.
5127e670aSJaegeuk Kim  *             http://www.samsung.com/
6127e670aSJaegeuk Kim  *
7127e670aSJaegeuk Kim  * This program is free software; you can redistribute it and/or modify
8127e670aSJaegeuk Kim  * it under the terms of the GNU General Public License version 2 as
9127e670aSJaegeuk Kim  * published by the Free Software Foundation.
10127e670aSJaegeuk Kim  */
11127e670aSJaegeuk Kim #include <linux/fs.h>
12127e670aSJaegeuk Kim #include <linux/bio.h>
13127e670aSJaegeuk Kim #include <linux/mpage.h>
14127e670aSJaegeuk Kim #include <linux/writeback.h>
15127e670aSJaegeuk Kim #include <linux/blkdev.h>
16127e670aSJaegeuk Kim #include <linux/f2fs_fs.h>
17127e670aSJaegeuk Kim #include <linux/pagevec.h>
18127e670aSJaegeuk Kim #include <linux/swap.h>
19127e670aSJaegeuk Kim 
20127e670aSJaegeuk Kim #include "f2fs.h"
21127e670aSJaegeuk Kim #include "node.h"
22127e670aSJaegeuk Kim #include "segment.h"
23*2af4bd6cSNamjae Jeon #include <trace/events/f2fs.h>
24127e670aSJaegeuk Kim 
25127e670aSJaegeuk Kim static struct kmem_cache *orphan_entry_slab;
26127e670aSJaegeuk Kim static struct kmem_cache *inode_entry_slab;
27127e670aSJaegeuk Kim 
280a8165d7SJaegeuk Kim /*
29127e670aSJaegeuk Kim  * We guarantee no failure on the returned page.
30127e670aSJaegeuk Kim  */
31127e670aSJaegeuk Kim struct page *grab_meta_page(struct f2fs_sb_info *sbi, pgoff_t index)
32127e670aSJaegeuk Kim {
33127e670aSJaegeuk Kim 	struct address_space *mapping = sbi->meta_inode->i_mapping;
34127e670aSJaegeuk Kim 	struct page *page = NULL;
35127e670aSJaegeuk Kim repeat:
36127e670aSJaegeuk Kim 	page = grab_cache_page(mapping, index);
37127e670aSJaegeuk Kim 	if (!page) {
38127e670aSJaegeuk Kim 		cond_resched();
39127e670aSJaegeuk Kim 		goto repeat;
40127e670aSJaegeuk Kim 	}
41127e670aSJaegeuk Kim 
42127e670aSJaegeuk Kim 	/* We wait writeback only inside grab_meta_page() */
43127e670aSJaegeuk Kim 	wait_on_page_writeback(page);
44127e670aSJaegeuk Kim 	SetPageUptodate(page);
45127e670aSJaegeuk Kim 	return page;
46127e670aSJaegeuk Kim }
47127e670aSJaegeuk Kim 
480a8165d7SJaegeuk Kim /*
49127e670aSJaegeuk Kim  * We guarantee no failure on the returned page.
50127e670aSJaegeuk Kim  */
51127e670aSJaegeuk Kim struct page *get_meta_page(struct f2fs_sb_info *sbi, pgoff_t index)
52127e670aSJaegeuk Kim {
53127e670aSJaegeuk Kim 	struct address_space *mapping = sbi->meta_inode->i_mapping;
54127e670aSJaegeuk Kim 	struct page *page;
55127e670aSJaegeuk Kim repeat:
56127e670aSJaegeuk Kim 	page = grab_cache_page(mapping, index);
57127e670aSJaegeuk Kim 	if (!page) {
58127e670aSJaegeuk Kim 		cond_resched();
59127e670aSJaegeuk Kim 		goto repeat;
60127e670aSJaegeuk Kim 	}
61393ff91fSJaegeuk Kim 	if (PageUptodate(page))
62393ff91fSJaegeuk Kim 		goto out;
63127e670aSJaegeuk Kim 
64393ff91fSJaegeuk Kim 	if (f2fs_readpage(sbi, page, index, READ_SYNC))
65393ff91fSJaegeuk Kim 		goto repeat;
66393ff91fSJaegeuk Kim 
67393ff91fSJaegeuk Kim 	lock_page(page);
68393ff91fSJaegeuk Kim out:
69393ff91fSJaegeuk Kim 	mark_page_accessed(page);
70127e670aSJaegeuk Kim 	return page;
71127e670aSJaegeuk Kim }
72127e670aSJaegeuk Kim 
73127e670aSJaegeuk Kim static int f2fs_write_meta_page(struct page *page,
74127e670aSJaegeuk Kim 				struct writeback_control *wbc)
75127e670aSJaegeuk Kim {
76127e670aSJaegeuk Kim 	struct inode *inode = page->mapping->host;
77127e670aSJaegeuk Kim 	struct f2fs_sb_info *sbi = F2FS_SB(inode->i_sb);
78577e3495SJaegeuk Kim 
79577e3495SJaegeuk Kim 	/* Should not write any meta pages, if any IO error was occurred */
80577e3495SJaegeuk Kim 	if (wbc->for_reclaim ||
81577e3495SJaegeuk Kim 			is_set_ckpt_flags(F2FS_CKPT(sbi), CP_ERROR_FLAG)) {
82577e3495SJaegeuk Kim 		dec_page_count(sbi, F2FS_DIRTY_META);
83577e3495SJaegeuk Kim 		wbc->pages_skipped++;
84577e3495SJaegeuk Kim 		set_page_dirty(page);
85577e3495SJaegeuk Kim 		return AOP_WRITEPAGE_ACTIVATE;
86577e3495SJaegeuk Kim 	}
87127e670aSJaegeuk Kim 
88127e670aSJaegeuk Kim 	wait_on_page_writeback(page);
89127e670aSJaegeuk Kim 
90577e3495SJaegeuk Kim 	write_meta_page(sbi, page);
91127e670aSJaegeuk Kim 	dec_page_count(sbi, F2FS_DIRTY_META);
92127e670aSJaegeuk Kim 	unlock_page(page);
93577e3495SJaegeuk Kim 	return 0;
94127e670aSJaegeuk Kim }
95127e670aSJaegeuk Kim 
96127e670aSJaegeuk Kim static int f2fs_write_meta_pages(struct address_space *mapping,
97127e670aSJaegeuk Kim 				struct writeback_control *wbc)
98127e670aSJaegeuk Kim {
99127e670aSJaegeuk Kim 	struct f2fs_sb_info *sbi = F2FS_SB(mapping->host->i_sb);
100127e670aSJaegeuk Kim 	struct block_device *bdev = sbi->sb->s_bdev;
101127e670aSJaegeuk Kim 	long written;
102127e670aSJaegeuk Kim 
103127e670aSJaegeuk Kim 	if (wbc->for_kupdate)
104127e670aSJaegeuk Kim 		return 0;
105127e670aSJaegeuk Kim 
106127e670aSJaegeuk Kim 	if (get_pages(sbi, F2FS_DIRTY_META) == 0)
107127e670aSJaegeuk Kim 		return 0;
108127e670aSJaegeuk Kim 
109127e670aSJaegeuk Kim 	/* if mounting is failed, skip writing node pages */
110127e670aSJaegeuk Kim 	mutex_lock(&sbi->cp_mutex);
111127e670aSJaegeuk Kim 	written = sync_meta_pages(sbi, META, bio_get_nr_vecs(bdev));
112127e670aSJaegeuk Kim 	mutex_unlock(&sbi->cp_mutex);
113127e670aSJaegeuk Kim 	wbc->nr_to_write -= written;
114127e670aSJaegeuk Kim 	return 0;
115127e670aSJaegeuk Kim }
116127e670aSJaegeuk Kim 
117127e670aSJaegeuk Kim long sync_meta_pages(struct f2fs_sb_info *sbi, enum page_type type,
118127e670aSJaegeuk Kim 						long nr_to_write)
119127e670aSJaegeuk Kim {
120127e670aSJaegeuk Kim 	struct address_space *mapping = sbi->meta_inode->i_mapping;
121127e670aSJaegeuk Kim 	pgoff_t index = 0, end = LONG_MAX;
122127e670aSJaegeuk Kim 	struct pagevec pvec;
123127e670aSJaegeuk Kim 	long nwritten = 0;
124127e670aSJaegeuk Kim 	struct writeback_control wbc = {
125127e670aSJaegeuk Kim 		.for_reclaim = 0,
126127e670aSJaegeuk Kim 	};
127127e670aSJaegeuk Kim 
128127e670aSJaegeuk Kim 	pagevec_init(&pvec, 0);
129127e670aSJaegeuk Kim 
130127e670aSJaegeuk Kim 	while (index <= end) {
131127e670aSJaegeuk Kim 		int i, nr_pages;
132127e670aSJaegeuk Kim 		nr_pages = pagevec_lookup_tag(&pvec, mapping, &index,
133127e670aSJaegeuk Kim 				PAGECACHE_TAG_DIRTY,
134127e670aSJaegeuk Kim 				min(end - index, (pgoff_t)PAGEVEC_SIZE-1) + 1);
135127e670aSJaegeuk Kim 		if (nr_pages == 0)
136127e670aSJaegeuk Kim 			break;
137127e670aSJaegeuk Kim 
138127e670aSJaegeuk Kim 		for (i = 0; i < nr_pages; i++) {
139127e670aSJaegeuk Kim 			struct page *page = pvec.pages[i];
140127e670aSJaegeuk Kim 			lock_page(page);
141127e670aSJaegeuk Kim 			BUG_ON(page->mapping != mapping);
142127e670aSJaegeuk Kim 			BUG_ON(!PageDirty(page));
143127e670aSJaegeuk Kim 			clear_page_dirty_for_io(page);
144577e3495SJaegeuk Kim 			if (f2fs_write_meta_page(page, &wbc)) {
145577e3495SJaegeuk Kim 				unlock_page(page);
146577e3495SJaegeuk Kim 				break;
147577e3495SJaegeuk Kim 			}
148127e670aSJaegeuk Kim 			if (nwritten++ >= nr_to_write)
149127e670aSJaegeuk Kim 				break;
150127e670aSJaegeuk Kim 		}
151127e670aSJaegeuk Kim 		pagevec_release(&pvec);
152127e670aSJaegeuk Kim 		cond_resched();
153127e670aSJaegeuk Kim 	}
154127e670aSJaegeuk Kim 
155127e670aSJaegeuk Kim 	if (nwritten)
156127e670aSJaegeuk Kim 		f2fs_submit_bio(sbi, type, nr_to_write == LONG_MAX);
157127e670aSJaegeuk Kim 
158127e670aSJaegeuk Kim 	return nwritten;
159127e670aSJaegeuk Kim }
160127e670aSJaegeuk Kim 
161127e670aSJaegeuk Kim static int f2fs_set_meta_page_dirty(struct page *page)
162127e670aSJaegeuk Kim {
163127e670aSJaegeuk Kim 	struct address_space *mapping = page->mapping;
164127e670aSJaegeuk Kim 	struct f2fs_sb_info *sbi = F2FS_SB(mapping->host->i_sb);
165127e670aSJaegeuk Kim 
166127e670aSJaegeuk Kim 	SetPageUptodate(page);
167127e670aSJaegeuk Kim 	if (!PageDirty(page)) {
168127e670aSJaegeuk Kim 		__set_page_dirty_nobuffers(page);
169127e670aSJaegeuk Kim 		inc_page_count(sbi, F2FS_DIRTY_META);
170127e670aSJaegeuk Kim 		return 1;
171127e670aSJaegeuk Kim 	}
172127e670aSJaegeuk Kim 	return 0;
173127e670aSJaegeuk Kim }
174127e670aSJaegeuk Kim 
175127e670aSJaegeuk Kim const struct address_space_operations f2fs_meta_aops = {
176127e670aSJaegeuk Kim 	.writepage	= f2fs_write_meta_page,
177127e670aSJaegeuk Kim 	.writepages	= f2fs_write_meta_pages,
178127e670aSJaegeuk Kim 	.set_page_dirty	= f2fs_set_meta_page_dirty,
179127e670aSJaegeuk Kim };
180127e670aSJaegeuk Kim 
181127e670aSJaegeuk Kim int check_orphan_space(struct f2fs_sb_info *sbi)
182127e670aSJaegeuk Kim {
183127e670aSJaegeuk Kim 	unsigned int max_orphans;
184127e670aSJaegeuk Kim 	int err = 0;
185127e670aSJaegeuk Kim 
186127e670aSJaegeuk Kim 	/*
187127e670aSJaegeuk Kim 	 * considering 512 blocks in a segment 5 blocks are needed for cp
188127e670aSJaegeuk Kim 	 * and log segment summaries. Remaining blocks are used to keep
189127e670aSJaegeuk Kim 	 * orphan entries with the limitation one reserved segment
190127e670aSJaegeuk Kim 	 * for cp pack we can have max 1020*507 orphan entries
191127e670aSJaegeuk Kim 	 */
192127e670aSJaegeuk Kim 	max_orphans = (sbi->blocks_per_seg - 5) * F2FS_ORPHANS_PER_BLOCK;
193127e670aSJaegeuk Kim 	mutex_lock(&sbi->orphan_inode_mutex);
194127e670aSJaegeuk Kim 	if (sbi->n_orphans >= max_orphans)
195127e670aSJaegeuk Kim 		err = -ENOSPC;
196127e670aSJaegeuk Kim 	mutex_unlock(&sbi->orphan_inode_mutex);
197127e670aSJaegeuk Kim 	return err;
198127e670aSJaegeuk Kim }
199127e670aSJaegeuk Kim 
200127e670aSJaegeuk Kim void add_orphan_inode(struct f2fs_sb_info *sbi, nid_t ino)
201127e670aSJaegeuk Kim {
202127e670aSJaegeuk Kim 	struct list_head *head, *this;
203127e670aSJaegeuk Kim 	struct orphan_inode_entry *new = NULL, *orphan = NULL;
204127e670aSJaegeuk Kim 
205127e670aSJaegeuk Kim 	mutex_lock(&sbi->orphan_inode_mutex);
206127e670aSJaegeuk Kim 	head = &sbi->orphan_inode_list;
207127e670aSJaegeuk Kim 	list_for_each(this, head) {
208127e670aSJaegeuk Kim 		orphan = list_entry(this, struct orphan_inode_entry, list);
209127e670aSJaegeuk Kim 		if (orphan->ino == ino)
210127e670aSJaegeuk Kim 			goto out;
211127e670aSJaegeuk Kim 		if (orphan->ino > ino)
212127e670aSJaegeuk Kim 			break;
213127e670aSJaegeuk Kim 		orphan = NULL;
214127e670aSJaegeuk Kim 	}
215127e670aSJaegeuk Kim retry:
216127e670aSJaegeuk Kim 	new = kmem_cache_alloc(orphan_entry_slab, GFP_ATOMIC);
217127e670aSJaegeuk Kim 	if (!new) {
218127e670aSJaegeuk Kim 		cond_resched();
219127e670aSJaegeuk Kim 		goto retry;
220127e670aSJaegeuk Kim 	}
221127e670aSJaegeuk Kim 	new->ino = ino;
222127e670aSJaegeuk Kim 
223127e670aSJaegeuk Kim 	/* add new_oentry into list which is sorted by inode number */
224a2617dc6Smajianpeng 	if (orphan)
225a2617dc6Smajianpeng 		list_add(&new->list, this->prev);
226127e670aSJaegeuk Kim 	else
227127e670aSJaegeuk Kim 		list_add_tail(&new->list, head);
228a2617dc6Smajianpeng 
229127e670aSJaegeuk Kim 	sbi->n_orphans++;
230127e670aSJaegeuk Kim out:
231127e670aSJaegeuk Kim 	mutex_unlock(&sbi->orphan_inode_mutex);
232127e670aSJaegeuk Kim }
233127e670aSJaegeuk Kim 
234127e670aSJaegeuk Kim void remove_orphan_inode(struct f2fs_sb_info *sbi, nid_t ino)
235127e670aSJaegeuk Kim {
236127e670aSJaegeuk Kim 	struct list_head *this, *next, *head;
237127e670aSJaegeuk Kim 	struct orphan_inode_entry *orphan;
238127e670aSJaegeuk Kim 
239127e670aSJaegeuk Kim 	mutex_lock(&sbi->orphan_inode_mutex);
240127e670aSJaegeuk Kim 	head = &sbi->orphan_inode_list;
241127e670aSJaegeuk Kim 	list_for_each_safe(this, next, head) {
242127e670aSJaegeuk Kim 		orphan = list_entry(this, struct orphan_inode_entry, list);
243127e670aSJaegeuk Kim 		if (orphan->ino == ino) {
244127e670aSJaegeuk Kim 			list_del(&orphan->list);
245127e670aSJaegeuk Kim 			kmem_cache_free(orphan_entry_slab, orphan);
246127e670aSJaegeuk Kim 			sbi->n_orphans--;
247127e670aSJaegeuk Kim 			break;
248127e670aSJaegeuk Kim 		}
249127e670aSJaegeuk Kim 	}
250127e670aSJaegeuk Kim 	mutex_unlock(&sbi->orphan_inode_mutex);
251127e670aSJaegeuk Kim }
252127e670aSJaegeuk Kim 
253127e670aSJaegeuk Kim static void recover_orphan_inode(struct f2fs_sb_info *sbi, nid_t ino)
254127e670aSJaegeuk Kim {
255127e670aSJaegeuk Kim 	struct inode *inode = f2fs_iget(sbi->sb, ino);
256127e670aSJaegeuk Kim 	BUG_ON(IS_ERR(inode));
257127e670aSJaegeuk Kim 	clear_nlink(inode);
258127e670aSJaegeuk Kim 
259127e670aSJaegeuk Kim 	/* truncate all the data during iput */
260127e670aSJaegeuk Kim 	iput(inode);
261127e670aSJaegeuk Kim }
262127e670aSJaegeuk Kim 
263127e670aSJaegeuk Kim int recover_orphan_inodes(struct f2fs_sb_info *sbi)
264127e670aSJaegeuk Kim {
265127e670aSJaegeuk Kim 	block_t start_blk, orphan_blkaddr, i, j;
266127e670aSJaegeuk Kim 
26725ca923bSJaegeuk Kim 	if (!is_set_ckpt_flags(F2FS_CKPT(sbi), CP_ORPHAN_PRESENT_FLAG))
268127e670aSJaegeuk Kim 		return 0;
269127e670aSJaegeuk Kim 
270127e670aSJaegeuk Kim 	sbi->por_doing = 1;
271127e670aSJaegeuk Kim 	start_blk = __start_cp_addr(sbi) + 1;
272127e670aSJaegeuk Kim 	orphan_blkaddr = __start_sum_addr(sbi) - 1;
273127e670aSJaegeuk Kim 
274127e670aSJaegeuk Kim 	for (i = 0; i < orphan_blkaddr; i++) {
275127e670aSJaegeuk Kim 		struct page *page = get_meta_page(sbi, start_blk + i);
276127e670aSJaegeuk Kim 		struct f2fs_orphan_block *orphan_blk;
277127e670aSJaegeuk Kim 
278127e670aSJaegeuk Kim 		orphan_blk = (struct f2fs_orphan_block *)page_address(page);
279127e670aSJaegeuk Kim 		for (j = 0; j < le32_to_cpu(orphan_blk->entry_count); j++) {
280127e670aSJaegeuk Kim 			nid_t ino = le32_to_cpu(orphan_blk->ino[j]);
281127e670aSJaegeuk Kim 			recover_orphan_inode(sbi, ino);
282127e670aSJaegeuk Kim 		}
283127e670aSJaegeuk Kim 		f2fs_put_page(page, 1);
284127e670aSJaegeuk Kim 	}
285127e670aSJaegeuk Kim 	/* clear Orphan Flag */
28625ca923bSJaegeuk Kim 	clear_ckpt_flags(F2FS_CKPT(sbi), CP_ORPHAN_PRESENT_FLAG);
287127e670aSJaegeuk Kim 	sbi->por_doing = 0;
288127e670aSJaegeuk Kim 	return 0;
289127e670aSJaegeuk Kim }
290127e670aSJaegeuk Kim 
291127e670aSJaegeuk Kim static void write_orphan_inodes(struct f2fs_sb_info *sbi, block_t start_blk)
292127e670aSJaegeuk Kim {
293127e670aSJaegeuk Kim 	struct list_head *head, *this, *next;
294127e670aSJaegeuk Kim 	struct f2fs_orphan_block *orphan_blk = NULL;
295127e670aSJaegeuk Kim 	struct page *page = NULL;
296127e670aSJaegeuk Kim 	unsigned int nentries = 0;
297127e670aSJaegeuk Kim 	unsigned short index = 1;
298127e670aSJaegeuk Kim 	unsigned short orphan_blocks;
299127e670aSJaegeuk Kim 
300127e670aSJaegeuk Kim 	orphan_blocks = (unsigned short)((sbi->n_orphans +
301127e670aSJaegeuk Kim 		(F2FS_ORPHANS_PER_BLOCK - 1)) / F2FS_ORPHANS_PER_BLOCK);
302127e670aSJaegeuk Kim 
303127e670aSJaegeuk Kim 	mutex_lock(&sbi->orphan_inode_mutex);
304127e670aSJaegeuk Kim 	head = &sbi->orphan_inode_list;
305127e670aSJaegeuk Kim 
306127e670aSJaegeuk Kim 	/* loop for each orphan inode entry and write them in Jornal block */
307127e670aSJaegeuk Kim 	list_for_each_safe(this, next, head) {
308127e670aSJaegeuk Kim 		struct orphan_inode_entry *orphan;
309127e670aSJaegeuk Kim 
310127e670aSJaegeuk Kim 		orphan = list_entry(this, struct orphan_inode_entry, list);
311127e670aSJaegeuk Kim 
312127e670aSJaegeuk Kim 		if (nentries == F2FS_ORPHANS_PER_BLOCK) {
313127e670aSJaegeuk Kim 			/*
314127e670aSJaegeuk Kim 			 * an orphan block is full of 1020 entries,
315127e670aSJaegeuk Kim 			 * then we need to flush current orphan blocks
316127e670aSJaegeuk Kim 			 * and bring another one in memory
317127e670aSJaegeuk Kim 			 */
318127e670aSJaegeuk Kim 			orphan_blk->blk_addr = cpu_to_le16(index);
319127e670aSJaegeuk Kim 			orphan_blk->blk_count = cpu_to_le16(orphan_blocks);
320127e670aSJaegeuk Kim 			orphan_blk->entry_count = cpu_to_le32(nentries);
321127e670aSJaegeuk Kim 			set_page_dirty(page);
322127e670aSJaegeuk Kim 			f2fs_put_page(page, 1);
323127e670aSJaegeuk Kim 			index++;
324127e670aSJaegeuk Kim 			start_blk++;
325127e670aSJaegeuk Kim 			nentries = 0;
326127e670aSJaegeuk Kim 			page = NULL;
327127e670aSJaegeuk Kim 		}
328127e670aSJaegeuk Kim 		if (page)
329127e670aSJaegeuk Kim 			goto page_exist;
330127e670aSJaegeuk Kim 
331127e670aSJaegeuk Kim 		page = grab_meta_page(sbi, start_blk);
332127e670aSJaegeuk Kim 		orphan_blk = (struct f2fs_orphan_block *)page_address(page);
333127e670aSJaegeuk Kim 		memset(orphan_blk, 0, sizeof(*orphan_blk));
334127e670aSJaegeuk Kim page_exist:
335127e670aSJaegeuk Kim 		orphan_blk->ino[nentries++] = cpu_to_le32(orphan->ino);
336127e670aSJaegeuk Kim 	}
337127e670aSJaegeuk Kim 	if (!page)
338127e670aSJaegeuk Kim 		goto end;
339127e670aSJaegeuk Kim 
340127e670aSJaegeuk Kim 	orphan_blk->blk_addr = cpu_to_le16(index);
341127e670aSJaegeuk Kim 	orphan_blk->blk_count = cpu_to_le16(orphan_blocks);
342127e670aSJaegeuk Kim 	orphan_blk->entry_count = cpu_to_le32(nentries);
343127e670aSJaegeuk Kim 	set_page_dirty(page);
344127e670aSJaegeuk Kim 	f2fs_put_page(page, 1);
345127e670aSJaegeuk Kim end:
346127e670aSJaegeuk Kim 	mutex_unlock(&sbi->orphan_inode_mutex);
347127e670aSJaegeuk Kim }
348127e670aSJaegeuk Kim 
349127e670aSJaegeuk Kim static struct page *validate_checkpoint(struct f2fs_sb_info *sbi,
350127e670aSJaegeuk Kim 				block_t cp_addr, unsigned long long *version)
351127e670aSJaegeuk Kim {
352127e670aSJaegeuk Kim 	struct page *cp_page_1, *cp_page_2 = NULL;
353127e670aSJaegeuk Kim 	unsigned long blk_size = sbi->blocksize;
354127e670aSJaegeuk Kim 	struct f2fs_checkpoint *cp_block;
355127e670aSJaegeuk Kim 	unsigned long long cur_version = 0, pre_version = 0;
356127e670aSJaegeuk Kim 	unsigned int crc = 0;
357127e670aSJaegeuk Kim 	size_t crc_offset;
358127e670aSJaegeuk Kim 
359127e670aSJaegeuk Kim 	/* Read the 1st cp block in this CP pack */
360127e670aSJaegeuk Kim 	cp_page_1 = get_meta_page(sbi, cp_addr);
361127e670aSJaegeuk Kim 
362127e670aSJaegeuk Kim 	/* get the version number */
363127e670aSJaegeuk Kim 	cp_block = (struct f2fs_checkpoint *)page_address(cp_page_1);
364127e670aSJaegeuk Kim 	crc_offset = le32_to_cpu(cp_block->checksum_offset);
365127e670aSJaegeuk Kim 	if (crc_offset >= blk_size)
366127e670aSJaegeuk Kim 		goto invalid_cp1;
367127e670aSJaegeuk Kim 
368127e670aSJaegeuk Kim 	crc = *(unsigned int *)((unsigned char *)cp_block + crc_offset);
369127e670aSJaegeuk Kim 	if (!f2fs_crc_valid(crc, cp_block, crc_offset))
370127e670aSJaegeuk Kim 		goto invalid_cp1;
371127e670aSJaegeuk Kim 
372127e670aSJaegeuk Kim 	pre_version = le64_to_cpu(cp_block->checkpoint_ver);
373127e670aSJaegeuk Kim 
374127e670aSJaegeuk Kim 	/* Read the 2nd cp block in this CP pack */
37525ca923bSJaegeuk Kim 	cp_addr += le32_to_cpu(cp_block->cp_pack_total_block_count) - 1;
376127e670aSJaegeuk Kim 	cp_page_2 = get_meta_page(sbi, cp_addr);
377127e670aSJaegeuk Kim 
378127e670aSJaegeuk Kim 	cp_block = (struct f2fs_checkpoint *)page_address(cp_page_2);
379127e670aSJaegeuk Kim 	crc_offset = le32_to_cpu(cp_block->checksum_offset);
380127e670aSJaegeuk Kim 	if (crc_offset >= blk_size)
381127e670aSJaegeuk Kim 		goto invalid_cp2;
382127e670aSJaegeuk Kim 
383127e670aSJaegeuk Kim 	crc = *(unsigned int *)((unsigned char *)cp_block + crc_offset);
384127e670aSJaegeuk Kim 	if (!f2fs_crc_valid(crc, cp_block, crc_offset))
385127e670aSJaegeuk Kim 		goto invalid_cp2;
386127e670aSJaegeuk Kim 
387127e670aSJaegeuk Kim 	cur_version = le64_to_cpu(cp_block->checkpoint_ver);
388127e670aSJaegeuk Kim 
389127e670aSJaegeuk Kim 	if (cur_version == pre_version) {
390127e670aSJaegeuk Kim 		*version = cur_version;
391127e670aSJaegeuk Kim 		f2fs_put_page(cp_page_2, 1);
392127e670aSJaegeuk Kim 		return cp_page_1;
393127e670aSJaegeuk Kim 	}
394127e670aSJaegeuk Kim invalid_cp2:
395127e670aSJaegeuk Kim 	f2fs_put_page(cp_page_2, 1);
396127e670aSJaegeuk Kim invalid_cp1:
397127e670aSJaegeuk Kim 	f2fs_put_page(cp_page_1, 1);
398127e670aSJaegeuk Kim 	return NULL;
399127e670aSJaegeuk Kim }
400127e670aSJaegeuk Kim 
401127e670aSJaegeuk Kim int get_valid_checkpoint(struct f2fs_sb_info *sbi)
402127e670aSJaegeuk Kim {
403127e670aSJaegeuk Kim 	struct f2fs_checkpoint *cp_block;
404127e670aSJaegeuk Kim 	struct f2fs_super_block *fsb = sbi->raw_super;
405127e670aSJaegeuk Kim 	struct page *cp1, *cp2, *cur_page;
406127e670aSJaegeuk Kim 	unsigned long blk_size = sbi->blocksize;
407127e670aSJaegeuk Kim 	unsigned long long cp1_version = 0, cp2_version = 0;
408127e670aSJaegeuk Kim 	unsigned long long cp_start_blk_no;
409127e670aSJaegeuk Kim 
410127e670aSJaegeuk Kim 	sbi->ckpt = kzalloc(blk_size, GFP_KERNEL);
411127e670aSJaegeuk Kim 	if (!sbi->ckpt)
412127e670aSJaegeuk Kim 		return -ENOMEM;
413127e670aSJaegeuk Kim 	/*
414127e670aSJaegeuk Kim 	 * Finding out valid cp block involves read both
415127e670aSJaegeuk Kim 	 * sets( cp pack1 and cp pack 2)
416127e670aSJaegeuk Kim 	 */
417127e670aSJaegeuk Kim 	cp_start_blk_no = le32_to_cpu(fsb->cp_blkaddr);
418127e670aSJaegeuk Kim 	cp1 = validate_checkpoint(sbi, cp_start_blk_no, &cp1_version);
419127e670aSJaegeuk Kim 
420127e670aSJaegeuk Kim 	/* The second checkpoint pack should start at the next segment */
421127e670aSJaegeuk Kim 	cp_start_blk_no += 1 << le32_to_cpu(fsb->log_blocks_per_seg);
422127e670aSJaegeuk Kim 	cp2 = validate_checkpoint(sbi, cp_start_blk_no, &cp2_version);
423127e670aSJaegeuk Kim 
424127e670aSJaegeuk Kim 	if (cp1 && cp2) {
425127e670aSJaegeuk Kim 		if (ver_after(cp2_version, cp1_version))
426127e670aSJaegeuk Kim 			cur_page = cp2;
427127e670aSJaegeuk Kim 		else
428127e670aSJaegeuk Kim 			cur_page = cp1;
429127e670aSJaegeuk Kim 	} else if (cp1) {
430127e670aSJaegeuk Kim 		cur_page = cp1;
431127e670aSJaegeuk Kim 	} else if (cp2) {
432127e670aSJaegeuk Kim 		cur_page = cp2;
433127e670aSJaegeuk Kim 	} else {
434127e670aSJaegeuk Kim 		goto fail_no_cp;
435127e670aSJaegeuk Kim 	}
436127e670aSJaegeuk Kim 
437127e670aSJaegeuk Kim 	cp_block = (struct f2fs_checkpoint *)page_address(cur_page);
438127e670aSJaegeuk Kim 	memcpy(sbi->ckpt, cp_block, blk_size);
439127e670aSJaegeuk Kim 
440127e670aSJaegeuk Kim 	f2fs_put_page(cp1, 1);
441127e670aSJaegeuk Kim 	f2fs_put_page(cp2, 1);
442127e670aSJaegeuk Kim 	return 0;
443127e670aSJaegeuk Kim 
444127e670aSJaegeuk Kim fail_no_cp:
445127e670aSJaegeuk Kim 	kfree(sbi->ckpt);
446127e670aSJaegeuk Kim 	return -EINVAL;
447127e670aSJaegeuk Kim }
448127e670aSJaegeuk Kim 
449127e670aSJaegeuk Kim void set_dirty_dir_page(struct inode *inode, struct page *page)
450127e670aSJaegeuk Kim {
451127e670aSJaegeuk Kim 	struct f2fs_sb_info *sbi = F2FS_SB(inode->i_sb);
452127e670aSJaegeuk Kim 	struct list_head *head = &sbi->dir_inode_list;
453127e670aSJaegeuk Kim 	struct dir_inode_entry *new;
454127e670aSJaegeuk Kim 	struct list_head *this;
455127e670aSJaegeuk Kim 
456127e670aSJaegeuk Kim 	if (!S_ISDIR(inode->i_mode))
457127e670aSJaegeuk Kim 		return;
458127e670aSJaegeuk Kim retry:
459127e670aSJaegeuk Kim 	new = kmem_cache_alloc(inode_entry_slab, GFP_NOFS);
460127e670aSJaegeuk Kim 	if (!new) {
461127e670aSJaegeuk Kim 		cond_resched();
462127e670aSJaegeuk Kim 		goto retry;
463127e670aSJaegeuk Kim 	}
464127e670aSJaegeuk Kim 	new->inode = inode;
465127e670aSJaegeuk Kim 	INIT_LIST_HEAD(&new->list);
466127e670aSJaegeuk Kim 
467127e670aSJaegeuk Kim 	spin_lock(&sbi->dir_inode_lock);
468127e670aSJaegeuk Kim 	list_for_each(this, head) {
469127e670aSJaegeuk Kim 		struct dir_inode_entry *entry;
470127e670aSJaegeuk Kim 		entry = list_entry(this, struct dir_inode_entry, list);
471127e670aSJaegeuk Kim 		if (entry->inode == inode) {
472127e670aSJaegeuk Kim 			kmem_cache_free(inode_entry_slab, new);
473127e670aSJaegeuk Kim 			goto out;
474127e670aSJaegeuk Kim 		}
475127e670aSJaegeuk Kim 	}
476127e670aSJaegeuk Kim 	list_add_tail(&new->list, head);
477127e670aSJaegeuk Kim 	sbi->n_dirty_dirs++;
478127e670aSJaegeuk Kim 
479127e670aSJaegeuk Kim 	BUG_ON(!S_ISDIR(inode->i_mode));
480127e670aSJaegeuk Kim out:
481127e670aSJaegeuk Kim 	inc_page_count(sbi, F2FS_DIRTY_DENTS);
482127e670aSJaegeuk Kim 	inode_inc_dirty_dents(inode);
483127e670aSJaegeuk Kim 	SetPagePrivate(page);
484127e670aSJaegeuk Kim 
485127e670aSJaegeuk Kim 	spin_unlock(&sbi->dir_inode_lock);
486127e670aSJaegeuk Kim }
487127e670aSJaegeuk Kim 
488127e670aSJaegeuk Kim void remove_dirty_dir_inode(struct inode *inode)
489127e670aSJaegeuk Kim {
490127e670aSJaegeuk Kim 	struct f2fs_sb_info *sbi = F2FS_SB(inode->i_sb);
491127e670aSJaegeuk Kim 	struct list_head *head = &sbi->dir_inode_list;
492127e670aSJaegeuk Kim 	struct list_head *this;
493127e670aSJaegeuk Kim 
494127e670aSJaegeuk Kim 	if (!S_ISDIR(inode->i_mode))
495127e670aSJaegeuk Kim 		return;
496127e670aSJaegeuk Kim 
497127e670aSJaegeuk Kim 	spin_lock(&sbi->dir_inode_lock);
498127e670aSJaegeuk Kim 	if (atomic_read(&F2FS_I(inode)->dirty_dents))
499127e670aSJaegeuk Kim 		goto out;
500127e670aSJaegeuk Kim 
501127e670aSJaegeuk Kim 	list_for_each(this, head) {
502127e670aSJaegeuk Kim 		struct dir_inode_entry *entry;
503127e670aSJaegeuk Kim 		entry = list_entry(this, struct dir_inode_entry, list);
504127e670aSJaegeuk Kim 		if (entry->inode == inode) {
505127e670aSJaegeuk Kim 			list_del(&entry->list);
506127e670aSJaegeuk Kim 			kmem_cache_free(inode_entry_slab, entry);
507127e670aSJaegeuk Kim 			sbi->n_dirty_dirs--;
508127e670aSJaegeuk Kim 			break;
509127e670aSJaegeuk Kim 		}
510127e670aSJaegeuk Kim 	}
511127e670aSJaegeuk Kim out:
512127e670aSJaegeuk Kim 	spin_unlock(&sbi->dir_inode_lock);
513127e670aSJaegeuk Kim }
514127e670aSJaegeuk Kim 
515127e670aSJaegeuk Kim void sync_dirty_dir_inodes(struct f2fs_sb_info *sbi)
516127e670aSJaegeuk Kim {
517127e670aSJaegeuk Kim 	struct list_head *head = &sbi->dir_inode_list;
518127e670aSJaegeuk Kim 	struct dir_inode_entry *entry;
519127e670aSJaegeuk Kim 	struct inode *inode;
520127e670aSJaegeuk Kim retry:
521127e670aSJaegeuk Kim 	spin_lock(&sbi->dir_inode_lock);
522127e670aSJaegeuk Kim 	if (list_empty(head)) {
523127e670aSJaegeuk Kim 		spin_unlock(&sbi->dir_inode_lock);
524127e670aSJaegeuk Kim 		return;
525127e670aSJaegeuk Kim 	}
526127e670aSJaegeuk Kim 	entry = list_entry(head->next, struct dir_inode_entry, list);
527127e670aSJaegeuk Kim 	inode = igrab(entry->inode);
528127e670aSJaegeuk Kim 	spin_unlock(&sbi->dir_inode_lock);
529127e670aSJaegeuk Kim 	if (inode) {
530127e670aSJaegeuk Kim 		filemap_flush(inode->i_mapping);
531127e670aSJaegeuk Kim 		iput(inode);
532127e670aSJaegeuk Kim 	} else {
533127e670aSJaegeuk Kim 		/*
534127e670aSJaegeuk Kim 		 * We should submit bio, since it exists several
535127e670aSJaegeuk Kim 		 * wribacking dentry pages in the freeing inode.
536127e670aSJaegeuk Kim 		 */
537127e670aSJaegeuk Kim 		f2fs_submit_bio(sbi, DATA, true);
538127e670aSJaegeuk Kim 	}
539127e670aSJaegeuk Kim 	goto retry;
540127e670aSJaegeuk Kim }
541127e670aSJaegeuk Kim 
5420a8165d7SJaegeuk Kim /*
543127e670aSJaegeuk Kim  * Freeze all the FS-operations for checkpoint.
544127e670aSJaegeuk Kim  */
54543727527SJaegeuk Kim static void block_operations(struct f2fs_sb_info *sbi)
546127e670aSJaegeuk Kim {
547127e670aSJaegeuk Kim 	struct writeback_control wbc = {
548127e670aSJaegeuk Kim 		.sync_mode = WB_SYNC_ALL,
549127e670aSJaegeuk Kim 		.nr_to_write = LONG_MAX,
550127e670aSJaegeuk Kim 		.for_reclaim = 0,
551127e670aSJaegeuk Kim 	};
55239936837SJaegeuk Kim retry_flush_dents:
55339936837SJaegeuk Kim 	mutex_lock_all(sbi);
554127e670aSJaegeuk Kim 
555127e670aSJaegeuk Kim 	/* write all the dirty dentry pages */
556127e670aSJaegeuk Kim 	if (get_pages(sbi, F2FS_DIRTY_DENTS)) {
55739936837SJaegeuk Kim 		mutex_unlock_all(sbi);
55839936837SJaegeuk Kim 		sync_dirty_dir_inodes(sbi);
55939936837SJaegeuk Kim 		goto retry_flush_dents;
560127e670aSJaegeuk Kim 	}
561127e670aSJaegeuk Kim 
562127e670aSJaegeuk Kim 	/*
563127e670aSJaegeuk Kim 	 * POR: we should ensure that there is no dirty node pages
564127e670aSJaegeuk Kim 	 * until finishing nat/sit flush.
565127e670aSJaegeuk Kim 	 */
56639936837SJaegeuk Kim retry_flush_nodes:
56739936837SJaegeuk Kim 	mutex_lock(&sbi->node_write);
568127e670aSJaegeuk Kim 
569127e670aSJaegeuk Kim 	if (get_pages(sbi, F2FS_DIRTY_NODES)) {
57039936837SJaegeuk Kim 		mutex_unlock(&sbi->node_write);
57139936837SJaegeuk Kim 		sync_node_pages(sbi, 0, &wbc);
57239936837SJaegeuk Kim 		goto retry_flush_nodes;
573127e670aSJaegeuk Kim 	}
574127e670aSJaegeuk Kim }
575127e670aSJaegeuk Kim 
576127e670aSJaegeuk Kim static void unblock_operations(struct f2fs_sb_info *sbi)
577127e670aSJaegeuk Kim {
57839936837SJaegeuk Kim 	mutex_unlock(&sbi->node_write);
57939936837SJaegeuk Kim 	mutex_unlock_all(sbi);
580127e670aSJaegeuk Kim }
581127e670aSJaegeuk Kim 
582127e670aSJaegeuk Kim static void do_checkpoint(struct f2fs_sb_info *sbi, bool is_umount)
583127e670aSJaegeuk Kim {
584127e670aSJaegeuk Kim 	struct f2fs_checkpoint *ckpt = F2FS_CKPT(sbi);
585127e670aSJaegeuk Kim 	nid_t last_nid = 0;
586127e670aSJaegeuk Kim 	block_t start_blk;
587127e670aSJaegeuk Kim 	struct page *cp_page;
588127e670aSJaegeuk Kim 	unsigned int data_sum_blocks, orphan_blocks;
58925ca923bSJaegeuk Kim 	unsigned int crc32 = 0;
590127e670aSJaegeuk Kim 	void *kaddr;
591127e670aSJaegeuk Kim 	int i;
592127e670aSJaegeuk Kim 
593127e670aSJaegeuk Kim 	/* Flush all the NAT/SIT pages */
594127e670aSJaegeuk Kim 	while (get_pages(sbi, F2FS_DIRTY_META))
595127e670aSJaegeuk Kim 		sync_meta_pages(sbi, META, LONG_MAX);
596127e670aSJaegeuk Kim 
597127e670aSJaegeuk Kim 	next_free_nid(sbi, &last_nid);
598127e670aSJaegeuk Kim 
599127e670aSJaegeuk Kim 	/*
600127e670aSJaegeuk Kim 	 * modify checkpoint
601127e670aSJaegeuk Kim 	 * version number is already updated
602127e670aSJaegeuk Kim 	 */
603127e670aSJaegeuk Kim 	ckpt->elapsed_time = cpu_to_le64(get_mtime(sbi));
604127e670aSJaegeuk Kim 	ckpt->valid_block_count = cpu_to_le64(valid_user_blocks(sbi));
605127e670aSJaegeuk Kim 	ckpt->free_segment_count = cpu_to_le32(free_segments(sbi));
606127e670aSJaegeuk Kim 	for (i = 0; i < 3; i++) {
607127e670aSJaegeuk Kim 		ckpt->cur_node_segno[i] =
608127e670aSJaegeuk Kim 			cpu_to_le32(curseg_segno(sbi, i + CURSEG_HOT_NODE));
609127e670aSJaegeuk Kim 		ckpt->cur_node_blkoff[i] =
610127e670aSJaegeuk Kim 			cpu_to_le16(curseg_blkoff(sbi, i + CURSEG_HOT_NODE));
611127e670aSJaegeuk Kim 		ckpt->alloc_type[i + CURSEG_HOT_NODE] =
612127e670aSJaegeuk Kim 				curseg_alloc_type(sbi, i + CURSEG_HOT_NODE);
613127e670aSJaegeuk Kim 	}
614127e670aSJaegeuk Kim 	for (i = 0; i < 3; i++) {
615127e670aSJaegeuk Kim 		ckpt->cur_data_segno[i] =
616127e670aSJaegeuk Kim 			cpu_to_le32(curseg_segno(sbi, i + CURSEG_HOT_DATA));
617127e670aSJaegeuk Kim 		ckpt->cur_data_blkoff[i] =
618127e670aSJaegeuk Kim 			cpu_to_le16(curseg_blkoff(sbi, i + CURSEG_HOT_DATA));
619127e670aSJaegeuk Kim 		ckpt->alloc_type[i + CURSEG_HOT_DATA] =
620127e670aSJaegeuk Kim 				curseg_alloc_type(sbi, i + CURSEG_HOT_DATA);
621127e670aSJaegeuk Kim 	}
622127e670aSJaegeuk Kim 
623127e670aSJaegeuk Kim 	ckpt->valid_node_count = cpu_to_le32(valid_node_count(sbi));
624127e670aSJaegeuk Kim 	ckpt->valid_inode_count = cpu_to_le32(valid_inode_count(sbi));
625127e670aSJaegeuk Kim 	ckpt->next_free_nid = cpu_to_le32(last_nid);
626127e670aSJaegeuk Kim 
627127e670aSJaegeuk Kim 	/* 2 cp  + n data seg summary + orphan inode blocks */
628127e670aSJaegeuk Kim 	data_sum_blocks = npages_for_summary_flush(sbi);
629127e670aSJaegeuk Kim 	if (data_sum_blocks < 3)
63025ca923bSJaegeuk Kim 		set_ckpt_flags(ckpt, CP_COMPACT_SUM_FLAG);
631127e670aSJaegeuk Kim 	else
63225ca923bSJaegeuk Kim 		clear_ckpt_flags(ckpt, CP_COMPACT_SUM_FLAG);
633127e670aSJaegeuk Kim 
634127e670aSJaegeuk Kim 	orphan_blocks = (sbi->n_orphans + F2FS_ORPHANS_PER_BLOCK - 1)
635127e670aSJaegeuk Kim 					/ F2FS_ORPHANS_PER_BLOCK;
63625ca923bSJaegeuk Kim 	ckpt->cp_pack_start_sum = cpu_to_le32(1 + orphan_blocks);
637127e670aSJaegeuk Kim 
638127e670aSJaegeuk Kim 	if (is_umount) {
63925ca923bSJaegeuk Kim 		set_ckpt_flags(ckpt, CP_UMOUNT_FLAG);
64025ca923bSJaegeuk Kim 		ckpt->cp_pack_total_block_count = cpu_to_le32(2 +
64125ca923bSJaegeuk Kim 			data_sum_blocks + orphan_blocks + NR_CURSEG_NODE_TYPE);
642127e670aSJaegeuk Kim 	} else {
64325ca923bSJaegeuk Kim 		clear_ckpt_flags(ckpt, CP_UMOUNT_FLAG);
64425ca923bSJaegeuk Kim 		ckpt->cp_pack_total_block_count = cpu_to_le32(2 +
64525ca923bSJaegeuk Kim 			data_sum_blocks + orphan_blocks);
646127e670aSJaegeuk Kim 	}
647127e670aSJaegeuk Kim 
648127e670aSJaegeuk Kim 	if (sbi->n_orphans)
64925ca923bSJaegeuk Kim 		set_ckpt_flags(ckpt, CP_ORPHAN_PRESENT_FLAG);
650127e670aSJaegeuk Kim 	else
65125ca923bSJaegeuk Kim 		clear_ckpt_flags(ckpt, CP_ORPHAN_PRESENT_FLAG);
652127e670aSJaegeuk Kim 
653127e670aSJaegeuk Kim 	/* update SIT/NAT bitmap */
654127e670aSJaegeuk Kim 	get_sit_bitmap(sbi, __bitmap_ptr(sbi, SIT_BITMAP));
655127e670aSJaegeuk Kim 	get_nat_bitmap(sbi, __bitmap_ptr(sbi, NAT_BITMAP));
656127e670aSJaegeuk Kim 
657127e670aSJaegeuk Kim 	crc32 = f2fs_crc32(ckpt, le32_to_cpu(ckpt->checksum_offset));
65825ca923bSJaegeuk Kim 	*(__le32 *)((unsigned char *)ckpt +
659127e670aSJaegeuk Kim 				le32_to_cpu(ckpt->checksum_offset))
660127e670aSJaegeuk Kim 				= cpu_to_le32(crc32);
661127e670aSJaegeuk Kim 
662127e670aSJaegeuk Kim 	start_blk = __start_cp_addr(sbi);
663127e670aSJaegeuk Kim 
664127e670aSJaegeuk Kim 	/* write out checkpoint buffer at block 0 */
665127e670aSJaegeuk Kim 	cp_page = grab_meta_page(sbi, start_blk++);
666127e670aSJaegeuk Kim 	kaddr = page_address(cp_page);
667127e670aSJaegeuk Kim 	memcpy(kaddr, ckpt, (1 << sbi->log_blocksize));
668127e670aSJaegeuk Kim 	set_page_dirty(cp_page);
669127e670aSJaegeuk Kim 	f2fs_put_page(cp_page, 1);
670127e670aSJaegeuk Kim 
671127e670aSJaegeuk Kim 	if (sbi->n_orphans) {
672127e670aSJaegeuk Kim 		write_orphan_inodes(sbi, start_blk);
673127e670aSJaegeuk Kim 		start_blk += orphan_blocks;
674127e670aSJaegeuk Kim 	}
675127e670aSJaegeuk Kim 
676127e670aSJaegeuk Kim 	write_data_summaries(sbi, start_blk);
677127e670aSJaegeuk Kim 	start_blk += data_sum_blocks;
678127e670aSJaegeuk Kim 	if (is_umount) {
679127e670aSJaegeuk Kim 		write_node_summaries(sbi, start_blk);
680127e670aSJaegeuk Kim 		start_blk += NR_CURSEG_NODE_TYPE;
681127e670aSJaegeuk Kim 	}
682127e670aSJaegeuk Kim 
683127e670aSJaegeuk Kim 	/* writeout checkpoint block */
684127e670aSJaegeuk Kim 	cp_page = grab_meta_page(sbi, start_blk);
685127e670aSJaegeuk Kim 	kaddr = page_address(cp_page);
686127e670aSJaegeuk Kim 	memcpy(kaddr, ckpt, (1 << sbi->log_blocksize));
687127e670aSJaegeuk Kim 	set_page_dirty(cp_page);
688127e670aSJaegeuk Kim 	f2fs_put_page(cp_page, 1);
689127e670aSJaegeuk Kim 
690127e670aSJaegeuk Kim 	/* wait for previous submitted node/meta pages writeback */
691127e670aSJaegeuk Kim 	while (get_pages(sbi, F2FS_WRITEBACK))
692127e670aSJaegeuk Kim 		congestion_wait(BLK_RW_ASYNC, HZ / 50);
693127e670aSJaegeuk Kim 
694127e670aSJaegeuk Kim 	filemap_fdatawait_range(sbi->node_inode->i_mapping, 0, LONG_MAX);
695127e670aSJaegeuk Kim 	filemap_fdatawait_range(sbi->meta_inode->i_mapping, 0, LONG_MAX);
696127e670aSJaegeuk Kim 
697127e670aSJaegeuk Kim 	/* update user_block_counts */
698127e670aSJaegeuk Kim 	sbi->last_valid_block_count = sbi->total_valid_block_count;
699127e670aSJaegeuk Kim 	sbi->alloc_valid_block_count = 0;
700127e670aSJaegeuk Kim 
701127e670aSJaegeuk Kim 	/* Here, we only have one bio having CP pack */
702127e670aSJaegeuk Kim 	sync_meta_pages(sbi, META_FLUSH, LONG_MAX);
703127e670aSJaegeuk Kim 
704577e3495SJaegeuk Kim 	if (!is_set_ckpt_flags(ckpt, CP_ERROR_FLAG)) {
705127e670aSJaegeuk Kim 		clear_prefree_segments(sbi);
706127e670aSJaegeuk Kim 		F2FS_RESET_SB_DIRT(sbi);
707127e670aSJaegeuk Kim 	}
708577e3495SJaegeuk Kim }
709127e670aSJaegeuk Kim 
7100a8165d7SJaegeuk Kim /*
711127e670aSJaegeuk Kim  * We guarantee that this checkpoint procedure should not fail.
712127e670aSJaegeuk Kim  */
71343727527SJaegeuk Kim void write_checkpoint(struct f2fs_sb_info *sbi, bool is_umount)
714127e670aSJaegeuk Kim {
715127e670aSJaegeuk Kim 	struct f2fs_checkpoint *ckpt = F2FS_CKPT(sbi);
716127e670aSJaegeuk Kim 	unsigned long long ckpt_ver;
717127e670aSJaegeuk Kim 
718*2af4bd6cSNamjae Jeon 	trace_f2fs_write_checkpoint(sbi->sb, is_umount, "start block_ops");
719*2af4bd6cSNamjae Jeon 
720127e670aSJaegeuk Kim 	mutex_lock(&sbi->cp_mutex);
721127e670aSJaegeuk Kim 	block_operations(sbi);
722127e670aSJaegeuk Kim 
723*2af4bd6cSNamjae Jeon 	trace_f2fs_write_checkpoint(sbi->sb, is_umount, "finish block_ops");
724*2af4bd6cSNamjae Jeon 
725127e670aSJaegeuk Kim 	f2fs_submit_bio(sbi, DATA, true);
726127e670aSJaegeuk Kim 	f2fs_submit_bio(sbi, NODE, true);
727127e670aSJaegeuk Kim 	f2fs_submit_bio(sbi, META, true);
728127e670aSJaegeuk Kim 
729127e670aSJaegeuk Kim 	/*
730127e670aSJaegeuk Kim 	 * update checkpoint pack index
731127e670aSJaegeuk Kim 	 * Increase the version number so that
732127e670aSJaegeuk Kim 	 * SIT entries and seg summaries are written at correct place
733127e670aSJaegeuk Kim 	 */
734127e670aSJaegeuk Kim 	ckpt_ver = le64_to_cpu(ckpt->checkpoint_ver);
735127e670aSJaegeuk Kim 	ckpt->checkpoint_ver = cpu_to_le64(++ckpt_ver);
736127e670aSJaegeuk Kim 
737127e670aSJaegeuk Kim 	/* write cached NAT/SIT entries to NAT/SIT area */
738127e670aSJaegeuk Kim 	flush_nat_entries(sbi);
739127e670aSJaegeuk Kim 	flush_sit_entries(sbi);
740127e670aSJaegeuk Kim 
741127e670aSJaegeuk Kim 	/* unlock all the fs_lock[] in do_checkpoint() */
742127e670aSJaegeuk Kim 	do_checkpoint(sbi, is_umount);
743127e670aSJaegeuk Kim 
744127e670aSJaegeuk Kim 	unblock_operations(sbi);
745127e670aSJaegeuk Kim 	mutex_unlock(&sbi->cp_mutex);
746*2af4bd6cSNamjae Jeon 
747*2af4bd6cSNamjae Jeon 	trace_f2fs_write_checkpoint(sbi->sb, is_umount, "finish checkpoint");
748127e670aSJaegeuk Kim }
749127e670aSJaegeuk Kim 
750127e670aSJaegeuk Kim void init_orphan_info(struct f2fs_sb_info *sbi)
751127e670aSJaegeuk Kim {
752127e670aSJaegeuk Kim 	mutex_init(&sbi->orphan_inode_mutex);
753127e670aSJaegeuk Kim 	INIT_LIST_HEAD(&sbi->orphan_inode_list);
754127e670aSJaegeuk Kim 	sbi->n_orphans = 0;
755127e670aSJaegeuk Kim }
756127e670aSJaegeuk Kim 
7576e6093a8SNamjae Jeon int __init create_checkpoint_caches(void)
758127e670aSJaegeuk Kim {
759127e670aSJaegeuk Kim 	orphan_entry_slab = f2fs_kmem_cache_create("f2fs_orphan_entry",
760127e670aSJaegeuk Kim 			sizeof(struct orphan_inode_entry), NULL);
761127e670aSJaegeuk Kim 	if (unlikely(!orphan_entry_slab))
762127e670aSJaegeuk Kim 		return -ENOMEM;
763127e670aSJaegeuk Kim 	inode_entry_slab = f2fs_kmem_cache_create("f2fs_dirty_dir_entry",
764127e670aSJaegeuk Kim 			sizeof(struct dir_inode_entry), NULL);
765127e670aSJaegeuk Kim 	if (unlikely(!inode_entry_slab)) {
766127e670aSJaegeuk Kim 		kmem_cache_destroy(orphan_entry_slab);
767127e670aSJaegeuk Kim 		return -ENOMEM;
768127e670aSJaegeuk Kim 	}
769127e670aSJaegeuk Kim 	return 0;
770127e670aSJaegeuk Kim }
771127e670aSJaegeuk Kim 
772127e670aSJaegeuk Kim void destroy_checkpoint_caches(void)
773127e670aSJaegeuk Kim {
774127e670aSJaegeuk Kim 	kmem_cache_destroy(orphan_entry_slab);
775127e670aSJaegeuk Kim 	kmem_cache_destroy(inode_entry_slab);
776127e670aSJaegeuk Kim }
777