xref: /openbmc/linux/arch/openrisc/mm/tlb.c (revision c900529f3d9161bfde5cca0754f83b4d3c3e0220)
12874c5fdSThomas Gleixner // SPDX-License-Identifier: GPL-2.0-or-later
261e85e36SJonas Bonn /*
361e85e36SJonas Bonn  * OpenRISC tlb.c
461e85e36SJonas Bonn  *
561e85e36SJonas Bonn  * Linux architectural port borrowing liberally from similar works of
661e85e36SJonas Bonn  * others.  All original copyrights apply as per the original source
761e85e36SJonas Bonn  * declaration.
861e85e36SJonas Bonn  *
961e85e36SJonas Bonn  * Modifications for the OpenRISC architecture:
1061e85e36SJonas Bonn  * Copyright (C) 2003 Matjaz Breskvar <phoenix@bsemi.com>
1161e85e36SJonas Bonn  * Copyright (C) 2010-2011 Julius Baxter <julius.baxter@orsoc.se>
1261e85e36SJonas Bonn  * Copyright (C) 2010-2011 Jonas Bonn <jonas@southpole.se>
1361e85e36SJonas Bonn  */
1461e85e36SJonas Bonn 
1561e85e36SJonas Bonn #include <linux/sched.h>
1661e85e36SJonas Bonn #include <linux/kernel.h>
1761e85e36SJonas Bonn #include <linux/errno.h>
1861e85e36SJonas Bonn #include <linux/string.h>
1961e85e36SJonas Bonn #include <linux/types.h>
2061e85e36SJonas Bonn #include <linux/ptrace.h>
2161e85e36SJonas Bonn #include <linux/mman.h>
2261e85e36SJonas Bonn #include <linux/mm.h>
2361e85e36SJonas Bonn #include <linux/init.h>
2461e85e36SJonas Bonn 
2561e85e36SJonas Bonn #include <asm/tlbflush.h>
2661e85e36SJonas Bonn #include <asm/mmu_context.h>
2761e85e36SJonas Bonn #include <asm/spr_defs.h>
2861e85e36SJonas Bonn 
2961e85e36SJonas Bonn #define NO_CONTEXT -1
3061e85e36SJonas Bonn 
3161e85e36SJonas Bonn #define NUM_DTLB_SETS (1 << ((mfspr(SPR_IMMUCFGR) & SPR_IMMUCFGR_NTS) >> \
3261e85e36SJonas Bonn 			    SPR_DMMUCFGR_NTS_OFF))
3361e85e36SJonas Bonn #define NUM_ITLB_SETS (1 << ((mfspr(SPR_IMMUCFGR) & SPR_IMMUCFGR_NTS) >> \
3461e85e36SJonas Bonn 			    SPR_IMMUCFGR_NTS_OFF))
3561e85e36SJonas Bonn #define DTLB_OFFSET(addr) (((addr) >> PAGE_SHIFT) & (NUM_DTLB_SETS-1))
3661e85e36SJonas Bonn #define ITLB_OFFSET(addr) (((addr) >> PAGE_SHIFT) & (NUM_ITLB_SETS-1))
3761e85e36SJonas Bonn /*
3861e85e36SJonas Bonn  * Invalidate all TLB entries.
3961e85e36SJonas Bonn  *
4061e85e36SJonas Bonn  * This comes down to setting the 'valid' bit for all xTLBMR registers to 0.
4161e85e36SJonas Bonn  * Easiest way to accomplish this is to just zero out the xTLBMR register
4261e85e36SJonas Bonn  * completely.
4361e85e36SJonas Bonn  *
4461e85e36SJonas Bonn  */
4561e85e36SJonas Bonn 
local_flush_tlb_all(void)468e6d08e0SStefan Kristiansson void local_flush_tlb_all(void)
4761e85e36SJonas Bonn {
4861e85e36SJonas Bonn 	int i;
4961e85e36SJonas Bonn 	unsigned long num_tlb_sets;
5061e85e36SJonas Bonn 
5161e85e36SJonas Bonn 	/* Determine number of sets for IMMU. */
5261e85e36SJonas Bonn 	/* FIXME: Assumption is I & D nsets equal. */
5361e85e36SJonas Bonn 	num_tlb_sets = NUM_ITLB_SETS;
5461e85e36SJonas Bonn 
5561e85e36SJonas Bonn 	for (i = 0; i < num_tlb_sets; i++) {
5661e85e36SJonas Bonn 		mtspr_off(SPR_DTLBMR_BASE(0), i, 0);
5761e85e36SJonas Bonn 		mtspr_off(SPR_ITLBMR_BASE(0), i, 0);
5861e85e36SJonas Bonn 	}
5961e85e36SJonas Bonn }
6061e85e36SJonas Bonn 
6161e85e36SJonas Bonn #define have_dtlbeir (mfspr(SPR_DMMUCFGR) & SPR_DMMUCFGR_TEIRI)
6261e85e36SJonas Bonn #define have_itlbeir (mfspr(SPR_IMMUCFGR) & SPR_IMMUCFGR_TEIRI)
6361e85e36SJonas Bonn 
6461e85e36SJonas Bonn /*
6561e85e36SJonas Bonn  * Invalidate a single page.  This is what the xTLBEIR register is for.
6661e85e36SJonas Bonn  *
6761e85e36SJonas Bonn  * There's no point in checking the vma for PAGE_EXEC to determine whether it's
6861e85e36SJonas Bonn  * the data or instruction TLB that should be flushed... that would take more
6961e85e36SJonas Bonn  * than the few instructions that the following compiles down to!
7061e85e36SJonas Bonn  *
7161e85e36SJonas Bonn  * The case where we don't have the xTLBEIR register really only works for
7261e85e36SJonas Bonn  * MMU's with a single way and is hard-coded that way.
7361e85e36SJonas Bonn  */
7461e85e36SJonas Bonn 
7561e85e36SJonas Bonn #define flush_dtlb_page_eir(addr) mtspr(SPR_DTLBEIR, addr)
7661e85e36SJonas Bonn #define flush_dtlb_page_no_eir(addr) \
7761e85e36SJonas Bonn 	mtspr_off(SPR_DTLBMR_BASE(0), DTLB_OFFSET(addr), 0);
7861e85e36SJonas Bonn 
7961e85e36SJonas Bonn #define flush_itlb_page_eir(addr) mtspr(SPR_ITLBEIR, addr)
8061e85e36SJonas Bonn #define flush_itlb_page_no_eir(addr) \
8161e85e36SJonas Bonn 	mtspr_off(SPR_ITLBMR_BASE(0), ITLB_OFFSET(addr), 0);
8261e85e36SJonas Bonn 
local_flush_tlb_page(struct vm_area_struct * vma,unsigned long addr)838e6d08e0SStefan Kristiansson void local_flush_tlb_page(struct vm_area_struct *vma, unsigned long addr)
8461e85e36SJonas Bonn {
8561e85e36SJonas Bonn 	if (have_dtlbeir)
8661e85e36SJonas Bonn 		flush_dtlb_page_eir(addr);
8761e85e36SJonas Bonn 	else
8861e85e36SJonas Bonn 		flush_dtlb_page_no_eir(addr);
8961e85e36SJonas Bonn 
9061e85e36SJonas Bonn 	if (have_itlbeir)
9161e85e36SJonas Bonn 		flush_itlb_page_eir(addr);
9261e85e36SJonas Bonn 	else
9361e85e36SJonas Bonn 		flush_itlb_page_no_eir(addr);
9461e85e36SJonas Bonn }
9561e85e36SJonas Bonn 
local_flush_tlb_range(struct vm_area_struct * vma,unsigned long start,unsigned long end)968e6d08e0SStefan Kristiansson void local_flush_tlb_range(struct vm_area_struct *vma,
9761e85e36SJonas Bonn 			   unsigned long start, unsigned long end)
9861e85e36SJonas Bonn {
9961e85e36SJonas Bonn 	int addr;
10061e85e36SJonas Bonn 	bool dtlbeir;
10161e85e36SJonas Bonn 	bool itlbeir;
10261e85e36SJonas Bonn 
10361e85e36SJonas Bonn 	dtlbeir = have_dtlbeir;
10461e85e36SJonas Bonn 	itlbeir = have_itlbeir;
10561e85e36SJonas Bonn 
10661e85e36SJonas Bonn 	for (addr = start; addr < end; addr += PAGE_SIZE) {
10761e85e36SJonas Bonn 		if (dtlbeir)
10861e85e36SJonas Bonn 			flush_dtlb_page_eir(addr);
10961e85e36SJonas Bonn 		else
11061e85e36SJonas Bonn 			flush_dtlb_page_no_eir(addr);
11161e85e36SJonas Bonn 
11261e85e36SJonas Bonn 		if (itlbeir)
11361e85e36SJonas Bonn 			flush_itlb_page_eir(addr);
11461e85e36SJonas Bonn 		else
11561e85e36SJonas Bonn 			flush_itlb_page_no_eir(addr);
11661e85e36SJonas Bonn 	}
11761e85e36SJonas Bonn }
11861e85e36SJonas Bonn 
11961e85e36SJonas Bonn /*
12061e85e36SJonas Bonn  * Invalidate the selected mm context only.
12161e85e36SJonas Bonn  *
12261e85e36SJonas Bonn  * FIXME: Due to some bug here, we're flushing everything for now.
12361e85e36SJonas Bonn  * This should be changed to loop over over mm and call flush_tlb_range.
12461e85e36SJonas Bonn  */
12561e85e36SJonas Bonn 
local_flush_tlb_mm(struct mm_struct * mm)1268e6d08e0SStefan Kristiansson void local_flush_tlb_mm(struct mm_struct *mm)
12761e85e36SJonas Bonn {
12861e85e36SJonas Bonn 
12961e85e36SJonas Bonn 	/* Was seeing bugs with the mm struct passed to us. Scrapped most of
13061e85e36SJonas Bonn 	   this function. */
131*d4940199SJulia Lawall 	/* Several architectures do this */
1328e6d08e0SStefan Kristiansson 	local_flush_tlb_all();
13361e85e36SJonas Bonn }
13461e85e36SJonas Bonn 
13561e85e36SJonas Bonn /* called in schedule() just before actually doing the switch_to */
13661e85e36SJonas Bonn 
switch_mm(struct mm_struct * prev,struct mm_struct * next,struct task_struct * next_tsk)13761e85e36SJonas Bonn void switch_mm(struct mm_struct *prev, struct mm_struct *next,
13861e85e36SJonas Bonn 	       struct task_struct *next_tsk)
13961e85e36SJonas Bonn {
140c28b2741SStafford Horne 	unsigned int cpu;
141c28b2741SStafford Horne 
142c28b2741SStafford Horne 	if (unlikely(prev == next))
143c28b2741SStafford Horne 		return;
144c28b2741SStafford Horne 
145c28b2741SStafford Horne 	cpu = smp_processor_id();
146c28b2741SStafford Horne 
147c28b2741SStafford Horne 	cpumask_clear_cpu(cpu, mm_cpumask(prev));
148c28b2741SStafford Horne 	cpumask_set_cpu(cpu, mm_cpumask(next));
149c28b2741SStafford Horne 
15061e85e36SJonas Bonn 	/* remember the pgd for the fault handlers
15161e85e36SJonas Bonn 	 * this is similar to the pgd register in some other CPU's.
15261e85e36SJonas Bonn 	 * we need our own copy of it because current and active_mm
15361e85e36SJonas Bonn 	 * might be invalid at points where we still need to derefer
15461e85e36SJonas Bonn 	 * the pgd.
15561e85e36SJonas Bonn 	 */
156c28b2741SStafford Horne 	current_pgd[cpu] = next->pgd;
15761e85e36SJonas Bonn 
15861e85e36SJonas Bonn 	/* We don't have context support implemented, so flush all
15961e85e36SJonas Bonn 	 * entries belonging to previous map
16061e85e36SJonas Bonn 	 */
1618e6d08e0SStefan Kristiansson 	local_flush_tlb_mm(prev);
16261e85e36SJonas Bonn }
16361e85e36SJonas Bonn 
16461e85e36SJonas Bonn /*
16561e85e36SJonas Bonn  * Initialize the context related info for a new mm_struct
16661e85e36SJonas Bonn  * instance.
16761e85e36SJonas Bonn  */
16861e85e36SJonas Bonn 
init_new_context(struct task_struct * tsk,struct mm_struct * mm)16961e85e36SJonas Bonn int init_new_context(struct task_struct *tsk, struct mm_struct *mm)
17061e85e36SJonas Bonn {
17161e85e36SJonas Bonn 	mm->context = NO_CONTEXT;
17261e85e36SJonas Bonn 	return 0;
17361e85e36SJonas Bonn }
17461e85e36SJonas Bonn 
17561e85e36SJonas Bonn /* called by __exit_mm to destroy the used MMU context if any before
17661e85e36SJonas Bonn  * destroying the mm itself. this is only called when the last user of the mm
17761e85e36SJonas Bonn  * drops it.
17861e85e36SJonas Bonn  */
17961e85e36SJonas Bonn 
destroy_context(struct mm_struct * mm)18061e85e36SJonas Bonn void destroy_context(struct mm_struct *mm)
18161e85e36SJonas Bonn {
18261e85e36SJonas Bonn 	flush_tlb_mm(mm);
18361e85e36SJonas Bonn 
18461e85e36SJonas Bonn }
185