1*2874c5fdSThomas Gleixner // SPDX-License-Identifier: GPL-2.0-or-later 261e85e36SJonas Bonn /* 361e85e36SJonas Bonn * OpenRISC tlb.c 461e85e36SJonas Bonn * 561e85e36SJonas Bonn * Linux architectural port borrowing liberally from similar works of 661e85e36SJonas Bonn * others. All original copyrights apply as per the original source 761e85e36SJonas Bonn * declaration. 861e85e36SJonas Bonn * 961e85e36SJonas Bonn * Modifications for the OpenRISC architecture: 1061e85e36SJonas Bonn * Copyright (C) 2003 Matjaz Breskvar <phoenix@bsemi.com> 1161e85e36SJonas Bonn * Copyright (C) 2010-2011 Julius Baxter <julius.baxter@orsoc.se> 1261e85e36SJonas Bonn * Copyright (C) 2010-2011 Jonas Bonn <jonas@southpole.se> 1361e85e36SJonas Bonn */ 1461e85e36SJonas Bonn 1561e85e36SJonas Bonn #include <linux/sched.h> 1661e85e36SJonas Bonn #include <linux/kernel.h> 1761e85e36SJonas Bonn #include <linux/errno.h> 1861e85e36SJonas Bonn #include <linux/string.h> 1961e85e36SJonas Bonn #include <linux/types.h> 2061e85e36SJonas Bonn #include <linux/ptrace.h> 2161e85e36SJonas Bonn #include <linux/mman.h> 2261e85e36SJonas Bonn #include <linux/mm.h> 2361e85e36SJonas Bonn #include <linux/init.h> 2461e85e36SJonas Bonn 2561e85e36SJonas Bonn #include <asm/tlbflush.h> 2661e85e36SJonas Bonn #include <asm/pgtable.h> 2761e85e36SJonas Bonn #include <asm/mmu_context.h> 2861e85e36SJonas Bonn #include <asm/spr_defs.h> 2961e85e36SJonas Bonn 3061e85e36SJonas Bonn #define NO_CONTEXT -1 3161e85e36SJonas Bonn 3261e85e36SJonas Bonn #define NUM_DTLB_SETS (1 << ((mfspr(SPR_IMMUCFGR) & SPR_IMMUCFGR_NTS) >> \ 3361e85e36SJonas Bonn SPR_DMMUCFGR_NTS_OFF)) 3461e85e36SJonas Bonn #define NUM_ITLB_SETS (1 << ((mfspr(SPR_IMMUCFGR) & SPR_IMMUCFGR_NTS) >> \ 3561e85e36SJonas Bonn SPR_IMMUCFGR_NTS_OFF)) 3661e85e36SJonas Bonn #define DTLB_OFFSET(addr) (((addr) >> PAGE_SHIFT) & (NUM_DTLB_SETS-1)) 3761e85e36SJonas Bonn #define ITLB_OFFSET(addr) (((addr) >> PAGE_SHIFT) & (NUM_ITLB_SETS-1)) 3861e85e36SJonas Bonn /* 3961e85e36SJonas Bonn * Invalidate all TLB entries. 4061e85e36SJonas Bonn * 4161e85e36SJonas Bonn * This comes down to setting the 'valid' bit for all xTLBMR registers to 0. 4261e85e36SJonas Bonn * Easiest way to accomplish this is to just zero out the xTLBMR register 4361e85e36SJonas Bonn * completely. 4461e85e36SJonas Bonn * 4561e85e36SJonas Bonn */ 4661e85e36SJonas Bonn 478e6d08e0SStefan Kristiansson void local_flush_tlb_all(void) 4861e85e36SJonas Bonn { 4961e85e36SJonas Bonn int i; 5061e85e36SJonas Bonn unsigned long num_tlb_sets; 5161e85e36SJonas Bonn 5261e85e36SJonas Bonn /* Determine number of sets for IMMU. */ 5361e85e36SJonas Bonn /* FIXME: Assumption is I & D nsets equal. */ 5461e85e36SJonas Bonn num_tlb_sets = NUM_ITLB_SETS; 5561e85e36SJonas Bonn 5661e85e36SJonas Bonn for (i = 0; i < num_tlb_sets; i++) { 5761e85e36SJonas Bonn mtspr_off(SPR_DTLBMR_BASE(0), i, 0); 5861e85e36SJonas Bonn mtspr_off(SPR_ITLBMR_BASE(0), i, 0); 5961e85e36SJonas Bonn } 6061e85e36SJonas Bonn } 6161e85e36SJonas Bonn 6261e85e36SJonas Bonn #define have_dtlbeir (mfspr(SPR_DMMUCFGR) & SPR_DMMUCFGR_TEIRI) 6361e85e36SJonas Bonn #define have_itlbeir (mfspr(SPR_IMMUCFGR) & SPR_IMMUCFGR_TEIRI) 6461e85e36SJonas Bonn 6561e85e36SJonas Bonn /* 6661e85e36SJonas Bonn * Invalidate a single page. This is what the xTLBEIR register is for. 6761e85e36SJonas Bonn * 6861e85e36SJonas Bonn * There's no point in checking the vma for PAGE_EXEC to determine whether it's 6961e85e36SJonas Bonn * the data or instruction TLB that should be flushed... that would take more 7061e85e36SJonas Bonn * than the few instructions that the following compiles down to! 7161e85e36SJonas Bonn * 7261e85e36SJonas Bonn * The case where we don't have the xTLBEIR register really only works for 7361e85e36SJonas Bonn * MMU's with a single way and is hard-coded that way. 7461e85e36SJonas Bonn */ 7561e85e36SJonas Bonn 7661e85e36SJonas Bonn #define flush_dtlb_page_eir(addr) mtspr(SPR_DTLBEIR, addr) 7761e85e36SJonas Bonn #define flush_dtlb_page_no_eir(addr) \ 7861e85e36SJonas Bonn mtspr_off(SPR_DTLBMR_BASE(0), DTLB_OFFSET(addr), 0); 7961e85e36SJonas Bonn 8061e85e36SJonas Bonn #define flush_itlb_page_eir(addr) mtspr(SPR_ITLBEIR, addr) 8161e85e36SJonas Bonn #define flush_itlb_page_no_eir(addr) \ 8261e85e36SJonas Bonn mtspr_off(SPR_ITLBMR_BASE(0), ITLB_OFFSET(addr), 0); 8361e85e36SJonas Bonn 848e6d08e0SStefan Kristiansson void local_flush_tlb_page(struct vm_area_struct *vma, unsigned long addr) 8561e85e36SJonas Bonn { 8661e85e36SJonas Bonn if (have_dtlbeir) 8761e85e36SJonas Bonn flush_dtlb_page_eir(addr); 8861e85e36SJonas Bonn else 8961e85e36SJonas Bonn flush_dtlb_page_no_eir(addr); 9061e85e36SJonas Bonn 9161e85e36SJonas Bonn if (have_itlbeir) 9261e85e36SJonas Bonn flush_itlb_page_eir(addr); 9361e85e36SJonas Bonn else 9461e85e36SJonas Bonn flush_itlb_page_no_eir(addr); 9561e85e36SJonas Bonn } 9661e85e36SJonas Bonn 978e6d08e0SStefan Kristiansson void local_flush_tlb_range(struct vm_area_struct *vma, 9861e85e36SJonas Bonn unsigned long start, unsigned long end) 9961e85e36SJonas Bonn { 10061e85e36SJonas Bonn int addr; 10161e85e36SJonas Bonn bool dtlbeir; 10261e85e36SJonas Bonn bool itlbeir; 10361e85e36SJonas Bonn 10461e85e36SJonas Bonn dtlbeir = have_dtlbeir; 10561e85e36SJonas Bonn itlbeir = have_itlbeir; 10661e85e36SJonas Bonn 10761e85e36SJonas Bonn for (addr = start; addr < end; addr += PAGE_SIZE) { 10861e85e36SJonas Bonn if (dtlbeir) 10961e85e36SJonas Bonn flush_dtlb_page_eir(addr); 11061e85e36SJonas Bonn else 11161e85e36SJonas Bonn flush_dtlb_page_no_eir(addr); 11261e85e36SJonas Bonn 11361e85e36SJonas Bonn if (itlbeir) 11461e85e36SJonas Bonn flush_itlb_page_eir(addr); 11561e85e36SJonas Bonn else 11661e85e36SJonas Bonn flush_itlb_page_no_eir(addr); 11761e85e36SJonas Bonn } 11861e85e36SJonas Bonn } 11961e85e36SJonas Bonn 12061e85e36SJonas Bonn /* 12161e85e36SJonas Bonn * Invalidate the selected mm context only. 12261e85e36SJonas Bonn * 12361e85e36SJonas Bonn * FIXME: Due to some bug here, we're flushing everything for now. 12461e85e36SJonas Bonn * This should be changed to loop over over mm and call flush_tlb_range. 12561e85e36SJonas Bonn */ 12661e85e36SJonas Bonn 1278e6d08e0SStefan Kristiansson void local_flush_tlb_mm(struct mm_struct *mm) 12861e85e36SJonas Bonn { 12961e85e36SJonas Bonn 13061e85e36SJonas Bonn /* Was seeing bugs with the mm struct passed to us. Scrapped most of 13161e85e36SJonas Bonn this function. */ 13261e85e36SJonas Bonn /* Several architctures do this */ 1338e6d08e0SStefan Kristiansson local_flush_tlb_all(); 13461e85e36SJonas Bonn } 13561e85e36SJonas Bonn 13661e85e36SJonas Bonn /* called in schedule() just before actually doing the switch_to */ 13761e85e36SJonas Bonn 13861e85e36SJonas Bonn void switch_mm(struct mm_struct *prev, struct mm_struct *next, 13961e85e36SJonas Bonn struct task_struct *next_tsk) 14061e85e36SJonas Bonn { 14161e85e36SJonas Bonn /* remember the pgd for the fault handlers 14261e85e36SJonas Bonn * this is similar to the pgd register in some other CPU's. 14361e85e36SJonas Bonn * we need our own copy of it because current and active_mm 14461e85e36SJonas Bonn * might be invalid at points where we still need to derefer 14561e85e36SJonas Bonn * the pgd. 14661e85e36SJonas Bonn */ 1478e6d08e0SStefan Kristiansson current_pgd[smp_processor_id()] = next->pgd; 14861e85e36SJonas Bonn 14961e85e36SJonas Bonn /* We don't have context support implemented, so flush all 15061e85e36SJonas Bonn * entries belonging to previous map 15161e85e36SJonas Bonn */ 15261e85e36SJonas Bonn 15361e85e36SJonas Bonn if (prev != next) 1548e6d08e0SStefan Kristiansson local_flush_tlb_mm(prev); 15561e85e36SJonas Bonn 15661e85e36SJonas Bonn } 15761e85e36SJonas Bonn 15861e85e36SJonas Bonn /* 15961e85e36SJonas Bonn * Initialize the context related info for a new mm_struct 16061e85e36SJonas Bonn * instance. 16161e85e36SJonas Bonn */ 16261e85e36SJonas Bonn 16361e85e36SJonas Bonn int init_new_context(struct task_struct *tsk, struct mm_struct *mm) 16461e85e36SJonas Bonn { 16561e85e36SJonas Bonn mm->context = NO_CONTEXT; 16661e85e36SJonas Bonn return 0; 16761e85e36SJonas Bonn } 16861e85e36SJonas Bonn 16961e85e36SJonas Bonn /* called by __exit_mm to destroy the used MMU context if any before 17061e85e36SJonas Bonn * destroying the mm itself. this is only called when the last user of the mm 17161e85e36SJonas Bonn * drops it. 17261e85e36SJonas Bonn */ 17361e85e36SJonas Bonn 17461e85e36SJonas Bonn void destroy_context(struct mm_struct *mm) 17561e85e36SJonas Bonn { 17661e85e36SJonas Bonn flush_tlb_mm(mm); 17761e85e36SJonas Bonn 17861e85e36SJonas Bonn } 17961e85e36SJonas Bonn 18061e85e36SJonas Bonn /* called once during VM initialization, from init.c */ 18161e85e36SJonas Bonn 18261e85e36SJonas Bonn void __init tlb_init(void) 18361e85e36SJonas Bonn { 18461e85e36SJonas Bonn /* Do nothing... */ 18561e85e36SJonas Bonn /* invalidate the entire TLB */ 18661e85e36SJonas Bonn /* flush_tlb_all(); */ 18761e85e36SJonas Bonn } 188