1f525bb2cSGuo Ren // SPDX-License-Identifier: GPL-2.0
2f525bb2cSGuo Ren
3f525bb2cSGuo Ren #include <linux/highmem.h>
4f525bb2cSGuo Ren #include <linux/genalloc.h>
5f525bb2cSGuo Ren #include <asm/tlbflush.h>
6f525bb2cSGuo Ren #include <asm/fixmap.h>
7f525bb2cSGuo Ren
8f525bb2cSGuo Ren #if (CONFIG_ITCM_RAM_BASE == 0xffffffff)
9f525bb2cSGuo Ren #error "You should define ITCM_RAM_BASE"
10f525bb2cSGuo Ren #endif
11f525bb2cSGuo Ren
12f525bb2cSGuo Ren #ifdef CONFIG_HAVE_DTCM
13f525bb2cSGuo Ren #if (CONFIG_DTCM_RAM_BASE == 0xffffffff)
14f525bb2cSGuo Ren #error "You should define DTCM_RAM_BASE"
15f525bb2cSGuo Ren #endif
16f525bb2cSGuo Ren
17f525bb2cSGuo Ren #if (CONFIG_DTCM_RAM_BASE == CONFIG_ITCM_RAM_BASE)
18f525bb2cSGuo Ren #error "You should define correct DTCM_RAM_BASE"
19f525bb2cSGuo Ren #endif
20f525bb2cSGuo Ren #endif
21f525bb2cSGuo Ren
22f525bb2cSGuo Ren extern char __tcm_start, __tcm_end, __dtcm_start;
23f525bb2cSGuo Ren
24f525bb2cSGuo Ren static struct gen_pool *tcm_pool;
25f525bb2cSGuo Ren
tcm_mapping_init(void)26f525bb2cSGuo Ren static void __init tcm_mapping_init(void)
27f525bb2cSGuo Ren {
28f525bb2cSGuo Ren pte_t *tcm_pte;
29f525bb2cSGuo Ren unsigned long vaddr, paddr;
30f525bb2cSGuo Ren int i;
31f525bb2cSGuo Ren
32f525bb2cSGuo Ren paddr = CONFIG_ITCM_RAM_BASE;
33f525bb2cSGuo Ren
34f525bb2cSGuo Ren if (pfn_valid(PFN_DOWN(CONFIG_ITCM_RAM_BASE)))
35f525bb2cSGuo Ren goto panic;
36f525bb2cSGuo Ren
37f525bb2cSGuo Ren #ifndef CONFIG_HAVE_DTCM
38f525bb2cSGuo Ren for (i = 0; i < TCM_NR_PAGES; i++) {
39f525bb2cSGuo Ren #else
40f525bb2cSGuo Ren for (i = 0; i < CONFIG_ITCM_NR_PAGES; i++) {
41f525bb2cSGuo Ren #endif
42f525bb2cSGuo Ren vaddr = __fix_to_virt(FIX_TCM - i);
43f525bb2cSGuo Ren
44f525bb2cSGuo Ren tcm_pte =
45f525bb2cSGuo Ren pte_offset_kernel((pmd_t *)pgd_offset_k(vaddr), vaddr);
46f525bb2cSGuo Ren
47f525bb2cSGuo Ren set_pte(tcm_pte, pfn_pte(__phys_to_pfn(paddr), PAGE_KERNEL));
48f525bb2cSGuo Ren
49f525bb2cSGuo Ren flush_tlb_one(vaddr);
50f525bb2cSGuo Ren
51f525bb2cSGuo Ren paddr = paddr + PAGE_SIZE;
52f525bb2cSGuo Ren }
53f525bb2cSGuo Ren
54f525bb2cSGuo Ren #ifdef CONFIG_HAVE_DTCM
55f525bb2cSGuo Ren if (pfn_valid(PFN_DOWN(CONFIG_DTCM_RAM_BASE)))
56f525bb2cSGuo Ren goto panic;
57f525bb2cSGuo Ren
58f525bb2cSGuo Ren paddr = CONFIG_DTCM_RAM_BASE;
59f525bb2cSGuo Ren
60f525bb2cSGuo Ren for (i = 0; i < CONFIG_DTCM_NR_PAGES; i++) {
61f525bb2cSGuo Ren vaddr = __fix_to_virt(FIX_TCM - CONFIG_ITCM_NR_PAGES - i);
62f525bb2cSGuo Ren
63f525bb2cSGuo Ren tcm_pte =
64f525bb2cSGuo Ren pte_offset_kernel((pmd_t *) pgd_offset_k(vaddr), vaddr);
65f525bb2cSGuo Ren
66f525bb2cSGuo Ren set_pte(tcm_pte, pfn_pte(__phys_to_pfn(paddr), PAGE_KERNEL));
67f525bb2cSGuo Ren
68f525bb2cSGuo Ren flush_tlb_one(vaddr);
69f525bb2cSGuo Ren
70f525bb2cSGuo Ren paddr = paddr + PAGE_SIZE;
71f525bb2cSGuo Ren }
72f525bb2cSGuo Ren #endif
73f525bb2cSGuo Ren
74f525bb2cSGuo Ren #ifndef CONFIG_HAVE_DTCM
75f525bb2cSGuo Ren memcpy((void *)__fix_to_virt(FIX_TCM),
76f525bb2cSGuo Ren &__tcm_start, &__tcm_end - &__tcm_start);
77f525bb2cSGuo Ren
78f525bb2cSGuo Ren pr_info("%s: mapping tcm va:0x%08lx to pa:0x%08x\n",
79f525bb2cSGuo Ren __func__, __fix_to_virt(FIX_TCM), CONFIG_ITCM_RAM_BASE);
80f525bb2cSGuo Ren
81f525bb2cSGuo Ren pr_info("%s: __tcm_start va:0x%08lx size:%d\n",
82f525bb2cSGuo Ren __func__, (unsigned long)&__tcm_start, &__tcm_end - &__tcm_start);
83f525bb2cSGuo Ren #else
84f525bb2cSGuo Ren memcpy((void *)__fix_to_virt(FIX_TCM),
85f525bb2cSGuo Ren &__tcm_start, &__dtcm_start - &__tcm_start);
86f525bb2cSGuo Ren
87f525bb2cSGuo Ren pr_info("%s: mapping itcm va:0x%08lx to pa:0x%08x\n",
88f525bb2cSGuo Ren __func__, __fix_to_virt(FIX_TCM), CONFIG_ITCM_RAM_BASE);
89f525bb2cSGuo Ren
90f525bb2cSGuo Ren pr_info("%s: __itcm_start va:0x%08lx size:%d\n",
91f525bb2cSGuo Ren __func__, (unsigned long)&__tcm_start, &__dtcm_start - &__tcm_start);
92f525bb2cSGuo Ren
93f525bb2cSGuo Ren memcpy((void *)__fix_to_virt(FIX_TCM - CONFIG_ITCM_NR_PAGES),
94f525bb2cSGuo Ren &__dtcm_start, &__tcm_end - &__dtcm_start);
95f525bb2cSGuo Ren
96f525bb2cSGuo Ren pr_info("%s: mapping dtcm va:0x%08lx to pa:0x%08x\n",
97f525bb2cSGuo Ren __func__, __fix_to_virt(FIX_TCM - CONFIG_ITCM_NR_PAGES),
98f525bb2cSGuo Ren CONFIG_DTCM_RAM_BASE);
99f525bb2cSGuo Ren
100f525bb2cSGuo Ren pr_info("%s: __dtcm_start va:0x%08lx size:%d\n",
101f525bb2cSGuo Ren __func__, (unsigned long)&__dtcm_start, &__tcm_end - &__dtcm_start);
102f525bb2cSGuo Ren
103f525bb2cSGuo Ren #endif
104f525bb2cSGuo Ren return;
105f525bb2cSGuo Ren panic:
106f525bb2cSGuo Ren panic("TCM init error");
107f525bb2cSGuo Ren }
108f525bb2cSGuo Ren
109f525bb2cSGuo Ren void *tcm_alloc(size_t len)
110f525bb2cSGuo Ren {
111f525bb2cSGuo Ren unsigned long vaddr;
112f525bb2cSGuo Ren
113f525bb2cSGuo Ren if (!tcm_pool)
114f525bb2cSGuo Ren return NULL;
115f525bb2cSGuo Ren
116f525bb2cSGuo Ren vaddr = gen_pool_alloc(tcm_pool, len);
117f525bb2cSGuo Ren if (!vaddr)
118f525bb2cSGuo Ren return NULL;
119f525bb2cSGuo Ren
120f525bb2cSGuo Ren return (void *) vaddr;
121f525bb2cSGuo Ren }
122f525bb2cSGuo Ren EXPORT_SYMBOL(tcm_alloc);
123f525bb2cSGuo Ren
124f525bb2cSGuo Ren void tcm_free(void *addr, size_t len)
125f525bb2cSGuo Ren {
126f525bb2cSGuo Ren gen_pool_free(tcm_pool, (unsigned long) addr, len);
127f525bb2cSGuo Ren }
128f525bb2cSGuo Ren EXPORT_SYMBOL(tcm_free);
129f525bb2cSGuo Ren
130f525bb2cSGuo Ren static int __init tcm_setup_pool(void)
131f525bb2cSGuo Ren {
132f525bb2cSGuo Ren #ifndef CONFIG_HAVE_DTCM
133f525bb2cSGuo Ren u32 pool_size = (u32) (TCM_NR_PAGES * PAGE_SIZE)
134f525bb2cSGuo Ren - (u32) (&__tcm_end - &__tcm_start);
135f525bb2cSGuo Ren
136f525bb2cSGuo Ren u32 tcm_pool_start = __fix_to_virt(FIX_TCM)
137f525bb2cSGuo Ren + (u32) (&__tcm_end - &__tcm_start);
138f525bb2cSGuo Ren #else
139f525bb2cSGuo Ren u32 pool_size = (u32) (CONFIG_DTCM_NR_PAGES * PAGE_SIZE)
140f525bb2cSGuo Ren - (u32) (&__tcm_end - &__dtcm_start);
141f525bb2cSGuo Ren
142f525bb2cSGuo Ren u32 tcm_pool_start = __fix_to_virt(FIX_TCM - CONFIG_ITCM_NR_PAGES)
143f525bb2cSGuo Ren + (u32) (&__tcm_end - &__dtcm_start);
144f525bb2cSGuo Ren #endif
145f525bb2cSGuo Ren int ret;
146f525bb2cSGuo Ren
147f525bb2cSGuo Ren tcm_pool = gen_pool_create(2, -1);
148f525bb2cSGuo Ren
149f525bb2cSGuo Ren ret = gen_pool_add(tcm_pool, tcm_pool_start, pool_size, -1);
150f525bb2cSGuo Ren if (ret) {
151f525bb2cSGuo Ren pr_err("%s: gen_pool add failed!\n", __func__);
152f525bb2cSGuo Ren return ret;
153f525bb2cSGuo Ren }
154f525bb2cSGuo Ren
155f525bb2cSGuo Ren pr_info("%s: Added %d bytes @ 0x%08x to memory pool\n",
156f525bb2cSGuo Ren __func__, pool_size, tcm_pool_start);
157f525bb2cSGuo Ren
158f525bb2cSGuo Ren return 0;
159f525bb2cSGuo Ren }
160f525bb2cSGuo Ren
161f525bb2cSGuo Ren static int __init tcm_init(void)
162f525bb2cSGuo Ren {
163f525bb2cSGuo Ren tcm_mapping_init();
164f525bb2cSGuo Ren
165f525bb2cSGuo Ren tcm_setup_pool();
166f525bb2cSGuo Ren
167f525bb2cSGuo Ren return 0;
168f525bb2cSGuo Ren }
169f525bb2cSGuo Ren arch_initcall(tcm_init);
170