1*c43acfdcSKever Yang // SPDX-License-Identifier: GPL-2.0+ OR BSD-3-Clause
25b67d701SKever Yang /*
35b67d701SKever Yang * (C) Copyright 2015 Google, Inc
45b67d701SKever Yang * Copyright 2014 Rockchip Inc.
55b67d701SKever Yang *
65b67d701SKever Yang * Adapted from the very similar rk3288 ddr init.
75b67d701SKever Yang */
85b67d701SKever Yang
95b67d701SKever Yang #include <common.h>
105b67d701SKever Yang #include <clk.h>
115b67d701SKever Yang #include <dm.h>
125b67d701SKever Yang #include <dt-structs.h>
135b67d701SKever Yang #include <errno.h>
145b67d701SKever Yang #include <ram.h>
155b67d701SKever Yang #include <regmap.h>
165b67d701SKever Yang #include <syscon.h>
175b67d701SKever Yang #include <asm/io.h>
185b67d701SKever Yang #include <asm/arch/clock.h>
195b67d701SKever Yang #include <asm/arch/cru_rk3188.h>
205b67d701SKever Yang #include <asm/arch/ddr_rk3188.h>
215b67d701SKever Yang #include <asm/arch/grf_rk3188.h>
225b67d701SKever Yang #include <asm/arch/pmu_rk3188.h>
235b67d701SKever Yang #include <asm/arch/sdram.h>
245b67d701SKever Yang #include <asm/arch/sdram_common.h>
255b67d701SKever Yang #include <linux/err.h>
265b67d701SKever Yang
275b67d701SKever Yang struct chan_info {
285b67d701SKever Yang struct rk3288_ddr_pctl *pctl;
295b67d701SKever Yang struct rk3288_ddr_publ *publ;
305b67d701SKever Yang struct rk3188_msch *msch;
315b67d701SKever Yang };
325b67d701SKever Yang
335b67d701SKever Yang struct dram_info {
345b67d701SKever Yang struct chan_info chan[1];
355b67d701SKever Yang struct ram_info info;
365b67d701SKever Yang struct clk ddr_clk;
375b67d701SKever Yang struct rk3188_cru *cru;
385b67d701SKever Yang struct rk3188_grf *grf;
395b67d701SKever Yang struct rk3188_sgrf *sgrf;
405b67d701SKever Yang struct rk3188_pmu *pmu;
415b67d701SKever Yang };
425b67d701SKever Yang
435b67d701SKever Yang struct rk3188_sdram_params {
445b67d701SKever Yang #if CONFIG_IS_ENABLED(OF_PLATDATA)
455b67d701SKever Yang struct dtd_rockchip_rk3188_dmc of_plat;
465b67d701SKever Yang #endif
475b67d701SKever Yang struct rk3288_sdram_channel ch[2];
485b67d701SKever Yang struct rk3288_sdram_pctl_timing pctl_timing;
495b67d701SKever Yang struct rk3288_sdram_phy_timing phy_timing;
505b67d701SKever Yang struct rk3288_base_params base;
515b67d701SKever Yang int num_channels;
525b67d701SKever Yang struct regmap *map;
535b67d701SKever Yang };
545b67d701SKever Yang
555b67d701SKever Yang const int ddrconf_table[] = {
565b67d701SKever Yang /*
575b67d701SKever Yang * [5:4] row(13+n)
585b67d701SKever Yang * [1:0] col(9+n), assume bw=2
595b67d701SKever Yang * row col,bw
605b67d701SKever Yang */
615b67d701SKever Yang 0,
625b67d701SKever Yang ((2 << DDRCONF_ROW_SHIFT) | 1 << DDRCONF_COL_SHIFT),
635b67d701SKever Yang ((1 << DDRCONF_ROW_SHIFT) | 1 << DDRCONF_COL_SHIFT),
645b67d701SKever Yang ((0 << DDRCONF_ROW_SHIFT) | 1 << DDRCONF_COL_SHIFT),
655b67d701SKever Yang ((2 << DDRCONF_ROW_SHIFT) | 2 << DDRCONF_COL_SHIFT),
665b67d701SKever Yang ((1 << DDRCONF_ROW_SHIFT) | 2 << DDRCONF_COL_SHIFT),
675b67d701SKever Yang ((0 << DDRCONF_ROW_SHIFT) | 2 << DDRCONF_COL_SHIFT),
685b67d701SKever Yang ((1 << DDRCONF_ROW_SHIFT) | 0 << DDRCONF_COL_SHIFT),
695b67d701SKever Yang ((0 << DDRCONF_ROW_SHIFT) | 0 << DDRCONF_COL_SHIFT),
705b67d701SKever Yang 0,
715b67d701SKever Yang 0,
725b67d701SKever Yang 0,
735b67d701SKever Yang 0,
745b67d701SKever Yang 0,
755b67d701SKever Yang 0,
765b67d701SKever Yang 0,
775b67d701SKever Yang };
785b67d701SKever Yang
795b67d701SKever Yang #define TEST_PATTEN 0x5aa5f00f
805b67d701SKever Yang #define DQS_GATE_TRAINING_ERROR_RANK0 (1 << 4)
815b67d701SKever Yang #define DQS_GATE_TRAINING_ERROR_RANK1 (2 << 4)
825b67d701SKever Yang
835b67d701SKever Yang #ifdef CONFIG_SPL_BUILD
copy_to_reg(u32 * dest,const u32 * src,u32 n)845b67d701SKever Yang static void copy_to_reg(u32 *dest, const u32 *src, u32 n)
855b67d701SKever Yang {
865b67d701SKever Yang int i;
875b67d701SKever Yang
885b67d701SKever Yang for (i = 0; i < n / sizeof(u32); i++) {
895b67d701SKever Yang writel(*src, dest);
905b67d701SKever Yang src++;
915b67d701SKever Yang dest++;
925b67d701SKever Yang }
935b67d701SKever Yang }
945b67d701SKever Yang
ddr_reset(struct rk3188_cru * cru,u32 ch,u32 ctl,u32 phy)955b67d701SKever Yang static void ddr_reset(struct rk3188_cru *cru, u32 ch, u32 ctl, u32 phy)
965b67d701SKever Yang {
975b67d701SKever Yang u32 phy_ctl_srstn_shift = 13;
985b67d701SKever Yang u32 ctl_psrstn_shift = 11;
995b67d701SKever Yang u32 ctl_srstn_shift = 10;
1005b67d701SKever Yang u32 phy_psrstn_shift = 9;
1015b67d701SKever Yang u32 phy_srstn_shift = 8;
1025b67d701SKever Yang
1035b67d701SKever Yang rk_clrsetreg(&cru->cru_softrst_con[5],
1045b67d701SKever Yang 1 << phy_ctl_srstn_shift | 1 << ctl_psrstn_shift |
1055b67d701SKever Yang 1 << ctl_srstn_shift | 1 << phy_psrstn_shift |
1065b67d701SKever Yang 1 << phy_srstn_shift,
1075b67d701SKever Yang phy << phy_ctl_srstn_shift | ctl << ctl_psrstn_shift |
1085b67d701SKever Yang ctl << ctl_srstn_shift | phy << phy_psrstn_shift |
1095b67d701SKever Yang phy << phy_srstn_shift);
1105b67d701SKever Yang }
1115b67d701SKever Yang
ddr_phy_ctl_reset(struct rk3188_cru * cru,u32 ch,u32 n)1125b67d701SKever Yang static void ddr_phy_ctl_reset(struct rk3188_cru *cru, u32 ch, u32 n)
1135b67d701SKever Yang {
1145b67d701SKever Yang u32 phy_ctl_srstn_shift = 13;
1155b67d701SKever Yang
1165b67d701SKever Yang rk_clrsetreg(&cru->cru_softrst_con[5],
1175b67d701SKever Yang 1 << phy_ctl_srstn_shift, n << phy_ctl_srstn_shift);
1185b67d701SKever Yang }
1195b67d701SKever Yang
phy_pctrl_reset(struct rk3188_cru * cru,struct rk3288_ddr_publ * publ,int channel)1205b67d701SKever Yang static void phy_pctrl_reset(struct rk3188_cru *cru,
1215b67d701SKever Yang struct rk3288_ddr_publ *publ,
1225b67d701SKever Yang int channel)
1235b67d701SKever Yang {
1245b67d701SKever Yang int i;
1255b67d701SKever Yang
1265b67d701SKever Yang ddr_reset(cru, channel, 1, 1);
1275b67d701SKever Yang udelay(1);
1285b67d701SKever Yang clrbits_le32(&publ->acdllcr, ACDLLCR_DLLSRST);
1295b67d701SKever Yang for (i = 0; i < 4; i++)
1305b67d701SKever Yang clrbits_le32(&publ->datx8[i].dxdllcr, DXDLLCR_DLLSRST);
1315b67d701SKever Yang
1325b67d701SKever Yang udelay(10);
1335b67d701SKever Yang setbits_le32(&publ->acdllcr, ACDLLCR_DLLSRST);
1345b67d701SKever Yang for (i = 0; i < 4; i++)
1355b67d701SKever Yang setbits_le32(&publ->datx8[i].dxdllcr, DXDLLCR_DLLSRST);
1365b67d701SKever Yang
1375b67d701SKever Yang udelay(10);
1385b67d701SKever Yang ddr_reset(cru, channel, 1, 0);
1395b67d701SKever Yang udelay(10);
1405b67d701SKever Yang ddr_reset(cru, channel, 0, 0);
1415b67d701SKever Yang udelay(10);
1425b67d701SKever Yang }
1435b67d701SKever Yang
phy_dll_bypass_set(struct rk3288_ddr_publ * publ,u32 freq)1445b67d701SKever Yang static void phy_dll_bypass_set(struct rk3288_ddr_publ *publ,
1455b67d701SKever Yang u32 freq)
1465b67d701SKever Yang {
1475b67d701SKever Yang int i;
1485b67d701SKever Yang
1495b67d701SKever Yang if (freq <= 250000000) {
1505b67d701SKever Yang if (freq <= 150000000)
1515b67d701SKever Yang clrbits_le32(&publ->dllgcr, SBIAS_BYPASS);
1525b67d701SKever Yang else
1535b67d701SKever Yang setbits_le32(&publ->dllgcr, SBIAS_BYPASS);
1545b67d701SKever Yang setbits_le32(&publ->acdllcr, ACDLLCR_DLLDIS);
1555b67d701SKever Yang for (i = 0; i < 4; i++)
1565b67d701SKever Yang setbits_le32(&publ->datx8[i].dxdllcr,
1575b67d701SKever Yang DXDLLCR_DLLDIS);
1585b67d701SKever Yang
1595b67d701SKever Yang setbits_le32(&publ->pir, PIR_DLLBYP);
1605b67d701SKever Yang } else {
1615b67d701SKever Yang clrbits_le32(&publ->dllgcr, SBIAS_BYPASS);
1625b67d701SKever Yang clrbits_le32(&publ->acdllcr, ACDLLCR_DLLDIS);
1635b67d701SKever Yang for (i = 0; i < 4; i++) {
1645b67d701SKever Yang clrbits_le32(&publ->datx8[i].dxdllcr,
1655b67d701SKever Yang DXDLLCR_DLLDIS);
1665b67d701SKever Yang }
1675b67d701SKever Yang
1685b67d701SKever Yang clrbits_le32(&publ->pir, PIR_DLLBYP);
1695b67d701SKever Yang }
1705b67d701SKever Yang }
1715b67d701SKever Yang
dfi_cfg(struct rk3288_ddr_pctl * pctl,u32 dramtype)1725b67d701SKever Yang static void dfi_cfg(struct rk3288_ddr_pctl *pctl, u32 dramtype)
1735b67d701SKever Yang {
1745b67d701SKever Yang writel(DFI_INIT_START, &pctl->dfistcfg0);
1755b67d701SKever Yang writel(DFI_DRAM_CLK_SR_EN | DFI_DRAM_CLK_DPD_EN,
1765b67d701SKever Yang &pctl->dfistcfg1);
1775b67d701SKever Yang writel(DFI_PARITY_INTR_EN | DFI_PARITY_EN, &pctl->dfistcfg2);
1785b67d701SKever Yang writel(7 << TLP_RESP_TIME_SHIFT | LP_SR_EN | LP_PD_EN,
1795b67d701SKever Yang &pctl->dfilpcfg0);
1805b67d701SKever Yang
1815b67d701SKever Yang writel(2 << TCTRL_DELAY_TIME_SHIFT, &pctl->dfitctrldelay);
1825b67d701SKever Yang writel(1 << TPHY_WRDATA_TIME_SHIFT, &pctl->dfitphywrdata);
1835b67d701SKever Yang writel(0xf << TPHY_RDLAT_TIME_SHIFT, &pctl->dfitphyrdlat);
1845b67d701SKever Yang writel(2 << TDRAM_CLK_DIS_TIME_SHIFT, &pctl->dfitdramclkdis);
1855b67d701SKever Yang writel(2 << TDRAM_CLK_EN_TIME_SHIFT, &pctl->dfitdramclken);
1865b67d701SKever Yang writel(1, &pctl->dfitphyupdtype0);
1875b67d701SKever Yang
1885b67d701SKever Yang /* cs0 and cs1 write odt enable */
1895b67d701SKever Yang writel((RANK0_ODT_WRITE_SEL | RANK1_ODT_WRITE_SEL),
1905b67d701SKever Yang &pctl->dfiodtcfg);
1915b67d701SKever Yang /* odt write length */
1925b67d701SKever Yang writel(7 << ODT_LEN_BL8_W_SHIFT, &pctl->dfiodtcfg1);
1935b67d701SKever Yang /* phyupd and ctrlupd disabled */
1945b67d701SKever Yang writel(0, &pctl->dfiupdcfg);
1955b67d701SKever Yang }
1965b67d701SKever Yang
ddr_set_enable(struct rk3188_grf * grf,uint channel,bool enable)1975b67d701SKever Yang static void ddr_set_enable(struct rk3188_grf *grf, uint channel, bool enable)
1985b67d701SKever Yang {
1995b67d701SKever Yang uint val = 0;
2005b67d701SKever Yang
2015b67d701SKever Yang if (enable)
2025b67d701SKever Yang val = 1 << DDR_16BIT_EN_SHIFT;
2035b67d701SKever Yang
2045b67d701SKever Yang rk_clrsetreg(&grf->ddrc_con0, 1 << DDR_16BIT_EN_SHIFT, val);
2055b67d701SKever Yang }
2065b67d701SKever Yang
ddr_set_ddr3_mode(struct rk3188_grf * grf,uint channel,bool ddr3_mode)2075b67d701SKever Yang static void ddr_set_ddr3_mode(struct rk3188_grf *grf, uint channel,
2085b67d701SKever Yang bool ddr3_mode)
2095b67d701SKever Yang {
2105b67d701SKever Yang uint mask, val;
2115b67d701SKever Yang
2125b67d701SKever Yang mask = MSCH4_MAINDDR3_MASK << MSCH4_MAINDDR3_SHIFT;
2135b67d701SKever Yang val = ddr3_mode << MSCH4_MAINDDR3_SHIFT;
2145b67d701SKever Yang rk_clrsetreg(&grf->soc_con2, mask, val);
2155b67d701SKever Yang }
2165b67d701SKever Yang
ddr_rank_2_row15en(struct rk3188_grf * grf,bool enable)2175b67d701SKever Yang static void ddr_rank_2_row15en(struct rk3188_grf *grf, bool enable)
2185b67d701SKever Yang {
2195b67d701SKever Yang uint mask, val;
2205b67d701SKever Yang
2215b67d701SKever Yang mask = RANK_TO_ROW15_EN_MASK << RANK_TO_ROW15_EN_SHIFT;
2225b67d701SKever Yang val = enable << RANK_TO_ROW15_EN_SHIFT;
2235b67d701SKever Yang rk_clrsetreg(&grf->soc_con2, mask, val);
2245b67d701SKever Yang }
2255b67d701SKever Yang
pctl_cfg(int channel,struct rk3288_ddr_pctl * pctl,struct rk3188_sdram_params * sdram_params,struct rk3188_grf * grf)2265b67d701SKever Yang static void pctl_cfg(int channel, struct rk3288_ddr_pctl *pctl,
2275b67d701SKever Yang struct rk3188_sdram_params *sdram_params,
2285b67d701SKever Yang struct rk3188_grf *grf)
2295b67d701SKever Yang {
2305b67d701SKever Yang copy_to_reg(&pctl->togcnt1u, &sdram_params->pctl_timing.togcnt1u,
2315b67d701SKever Yang sizeof(sdram_params->pctl_timing));
2325b67d701SKever Yang switch (sdram_params->base.dramtype) {
2335b67d701SKever Yang case DDR3:
2345b67d701SKever Yang if (sdram_params->phy_timing.mr[1] & DDR3_DLL_DISABLE) {
2355b67d701SKever Yang writel(sdram_params->pctl_timing.tcl - 3,
2365b67d701SKever Yang &pctl->dfitrddataen);
2375b67d701SKever Yang } else {
2385b67d701SKever Yang writel(sdram_params->pctl_timing.tcl - 2,
2395b67d701SKever Yang &pctl->dfitrddataen);
2405b67d701SKever Yang }
2415b67d701SKever Yang writel(sdram_params->pctl_timing.tcwl - 1,
2425b67d701SKever Yang &pctl->dfitphywrlat);
2435b67d701SKever Yang writel(0 << MDDR_LPDDR2_CLK_STOP_IDLE_SHIFT | DDR3_EN |
2445b67d701SKever Yang DDR2_DDR3_BL_8 | (6 - 4) << TFAW_SHIFT | PD_EXIT_SLOW |
2455b67d701SKever Yang 1 << PD_TYPE_SHIFT | 0 << PD_IDLE_SHIFT,
2465b67d701SKever Yang &pctl->mcfg);
2475b67d701SKever Yang ddr_set_ddr3_mode(grf, channel, true);
2485b67d701SKever Yang ddr_set_enable(grf, channel, true);
2495b67d701SKever Yang break;
2505b67d701SKever Yang }
2515b67d701SKever Yang
2525b67d701SKever Yang setbits_le32(&pctl->scfg, 1);
2535b67d701SKever Yang }
2545b67d701SKever Yang
phy_cfg(const struct chan_info * chan,int channel,struct rk3188_sdram_params * sdram_params)2555b67d701SKever Yang static void phy_cfg(const struct chan_info *chan, int channel,
2565b67d701SKever Yang struct rk3188_sdram_params *sdram_params)
2575b67d701SKever Yang {
2585b67d701SKever Yang struct rk3288_ddr_publ *publ = chan->publ;
2595b67d701SKever Yang struct rk3188_msch *msch = chan->msch;
2605b67d701SKever Yang uint ddr_freq_mhz = sdram_params->base.ddr_freq / 1000000;
2615b67d701SKever Yang u32 dinit2;
2625b67d701SKever Yang int i;
2635b67d701SKever Yang
2645b67d701SKever Yang dinit2 = DIV_ROUND_UP(ddr_freq_mhz * 200000, 1000);
2655b67d701SKever Yang /* DDR PHY Timing */
2665b67d701SKever Yang copy_to_reg(&publ->dtpr[0], &sdram_params->phy_timing.dtpr0,
2675b67d701SKever Yang sizeof(sdram_params->phy_timing));
2685b67d701SKever Yang writel(sdram_params->base.noc_timing, &msch->ddrtiming);
2695b67d701SKever Yang writel(0x3f, &msch->readlatency);
2705b67d701SKever Yang writel(DIV_ROUND_UP(ddr_freq_mhz * 5120, 1000) << PRT_DLLLOCK_SHIFT |
2715b67d701SKever Yang DIV_ROUND_UP(ddr_freq_mhz * 50, 1000) << PRT_DLLSRST_SHIFT |
2725b67d701SKever Yang 8 << PRT_ITMSRST_SHIFT, &publ->ptr[0]);
2735b67d701SKever Yang writel(DIV_ROUND_UP(ddr_freq_mhz * 500000, 1000) << PRT_DINIT0_SHIFT |
2745b67d701SKever Yang DIV_ROUND_UP(ddr_freq_mhz * 400, 1000) << PRT_DINIT1_SHIFT,
2755b67d701SKever Yang &publ->ptr[1]);
2765b67d701SKever Yang writel(min(dinit2, 0x1ffffU) << PRT_DINIT2_SHIFT |
2775b67d701SKever Yang DIV_ROUND_UP(ddr_freq_mhz * 1000, 1000) << PRT_DINIT3_SHIFT,
2785b67d701SKever Yang &publ->ptr[2]);
2795b67d701SKever Yang
2805b67d701SKever Yang switch (sdram_params->base.dramtype) {
2815b67d701SKever Yang case DDR3:
2825b67d701SKever Yang clrbits_le32(&publ->pgcr, 0x1f);
2835b67d701SKever Yang clrsetbits_le32(&publ->dcr, DDRMD_MASK << DDRMD_SHIFT,
2845b67d701SKever Yang DDRMD_DDR3 << DDRMD_SHIFT);
2855b67d701SKever Yang break;
2865b67d701SKever Yang }
2875b67d701SKever Yang if (sdram_params->base.odt) {
2885b67d701SKever Yang /*dynamic RTT enable */
2895b67d701SKever Yang for (i = 0; i < 4; i++)
2905b67d701SKever Yang setbits_le32(&publ->datx8[i].dxgcr, DQSRTT | DQRTT);
2915b67d701SKever Yang } else {
2925b67d701SKever Yang /*dynamic RTT disable */
2935b67d701SKever Yang for (i = 0; i < 4; i++)
2945b67d701SKever Yang clrbits_le32(&publ->datx8[i].dxgcr, DQSRTT | DQRTT);
2955b67d701SKever Yang }
2965b67d701SKever Yang }
2975b67d701SKever Yang
phy_init(struct rk3288_ddr_publ * publ)2985b67d701SKever Yang static void phy_init(struct rk3288_ddr_publ *publ)
2995b67d701SKever Yang {
3005b67d701SKever Yang setbits_le32(&publ->pir, PIR_INIT | PIR_DLLSRST
3015b67d701SKever Yang | PIR_DLLLOCK | PIR_ZCAL | PIR_ITMSRST | PIR_CLRSR);
3025b67d701SKever Yang udelay(1);
3035b67d701SKever Yang while ((readl(&publ->pgsr) &
3045b67d701SKever Yang (PGSR_IDONE | PGSR_DLDONE | PGSR_ZCDONE)) !=
3055b67d701SKever Yang (PGSR_IDONE | PGSR_DLDONE | PGSR_ZCDONE))
3065b67d701SKever Yang ;
3075b67d701SKever Yang }
3085b67d701SKever Yang
send_command(struct rk3288_ddr_pctl * pctl,u32 rank,u32 cmd,u32 arg)3095b67d701SKever Yang static void send_command(struct rk3288_ddr_pctl *pctl, u32 rank,
3105b67d701SKever Yang u32 cmd, u32 arg)
3115b67d701SKever Yang {
3125b67d701SKever Yang writel((START_CMD | (rank << 20) | arg | cmd), &pctl->mcmd);
3135b67d701SKever Yang udelay(1);
3145b67d701SKever Yang while (readl(&pctl->mcmd) & START_CMD)
3155b67d701SKever Yang ;
3165b67d701SKever Yang }
3175b67d701SKever Yang
send_command_op(struct rk3288_ddr_pctl * pctl,u32 rank,u32 cmd,u32 ma,u32 op)3185b67d701SKever Yang static inline void send_command_op(struct rk3288_ddr_pctl *pctl,
3195b67d701SKever Yang u32 rank, u32 cmd, u32 ma, u32 op)
3205b67d701SKever Yang {
3215b67d701SKever Yang send_command(pctl, rank, cmd, (ma & LPDDR2_MA_MASK) << LPDDR2_MA_SHIFT |
3225b67d701SKever Yang (op & LPDDR2_OP_MASK) << LPDDR2_OP_SHIFT);
3235b67d701SKever Yang }
3245b67d701SKever Yang
memory_init(struct rk3288_ddr_publ * publ,u32 dramtype)3255b67d701SKever Yang static void memory_init(struct rk3288_ddr_publ *publ,
3265b67d701SKever Yang u32 dramtype)
3275b67d701SKever Yang {
3285b67d701SKever Yang setbits_le32(&publ->pir,
3295b67d701SKever Yang (PIR_INIT | PIR_DRAMINIT | PIR_LOCKBYP
3305b67d701SKever Yang | PIR_ZCALBYP | PIR_CLRSR | PIR_ICPC
3315b67d701SKever Yang | (dramtype == DDR3 ? PIR_DRAMRST : 0)));
3325b67d701SKever Yang udelay(1);
3335b67d701SKever Yang while ((readl(&publ->pgsr) & (PGSR_IDONE | PGSR_DLDONE))
3345b67d701SKever Yang != (PGSR_IDONE | PGSR_DLDONE))
3355b67d701SKever Yang ;
3365b67d701SKever Yang }
3375b67d701SKever Yang
move_to_config_state(struct rk3288_ddr_publ * publ,struct rk3288_ddr_pctl * pctl)3385b67d701SKever Yang static void move_to_config_state(struct rk3288_ddr_publ *publ,
3395b67d701SKever Yang struct rk3288_ddr_pctl *pctl)
3405b67d701SKever Yang {
3415b67d701SKever Yang unsigned int state;
3425b67d701SKever Yang
3435b67d701SKever Yang while (1) {
3445b67d701SKever Yang state = readl(&pctl->stat) & PCTL_STAT_MSK;
3455b67d701SKever Yang
3465b67d701SKever Yang switch (state) {
3475b67d701SKever Yang case LOW_POWER:
3485b67d701SKever Yang writel(WAKEUP_STATE, &pctl->sctl);
3495b67d701SKever Yang while ((readl(&pctl->stat) & PCTL_STAT_MSK)
3505b67d701SKever Yang != ACCESS)
3515b67d701SKever Yang ;
3525b67d701SKever Yang /* wait DLL lock */
3535b67d701SKever Yang while ((readl(&publ->pgsr) & PGSR_DLDONE)
3545b67d701SKever Yang != PGSR_DLDONE)
3555b67d701SKever Yang ;
3565b67d701SKever Yang /*
3575b67d701SKever Yang * if at low power state,need wakeup first,
3585b67d701SKever Yang * and then enter the config, so
3595b67d701SKever Yang * fallthrough
3605b67d701SKever Yang */
3615b67d701SKever Yang case ACCESS:
3625b67d701SKever Yang /* fallthrough */
3635b67d701SKever Yang case INIT_MEM:
3645b67d701SKever Yang writel(CFG_STATE, &pctl->sctl);
3655b67d701SKever Yang while ((readl(&pctl->stat) & PCTL_STAT_MSK) != CONFIG)
3665b67d701SKever Yang ;
3675b67d701SKever Yang break;
3685b67d701SKever Yang case CONFIG:
3695b67d701SKever Yang return;
3705b67d701SKever Yang default:
3715b67d701SKever Yang break;
3725b67d701SKever Yang }
3735b67d701SKever Yang }
3745b67d701SKever Yang }
3755b67d701SKever Yang
set_bandwidth_ratio(const struct chan_info * chan,int channel,u32 n,struct rk3188_grf * grf)3765b67d701SKever Yang static void set_bandwidth_ratio(const struct chan_info *chan, int channel,
3775b67d701SKever Yang u32 n, struct rk3188_grf *grf)
3785b67d701SKever Yang {
3795b67d701SKever Yang struct rk3288_ddr_pctl *pctl = chan->pctl;
3805b67d701SKever Yang struct rk3288_ddr_publ *publ = chan->publ;
3815b67d701SKever Yang struct rk3188_msch *msch = chan->msch;
3825b67d701SKever Yang
3835b67d701SKever Yang if (n == 1) {
3845b67d701SKever Yang setbits_le32(&pctl->ppcfg, 1);
3855b67d701SKever Yang ddr_set_enable(grf, channel, 1);
3865b67d701SKever Yang setbits_le32(&msch->ddrtiming, 1 << 31);
3875b67d701SKever Yang /* Data Byte disable*/
3885b67d701SKever Yang clrbits_le32(&publ->datx8[2].dxgcr, 1);
3895b67d701SKever Yang clrbits_le32(&publ->datx8[3].dxgcr, 1);
3905b67d701SKever Yang /* disable DLL */
3915b67d701SKever Yang setbits_le32(&publ->datx8[2].dxdllcr, DXDLLCR_DLLDIS);
3925b67d701SKever Yang setbits_le32(&publ->datx8[3].dxdllcr, DXDLLCR_DLLDIS);
3935b67d701SKever Yang } else {
3945b67d701SKever Yang clrbits_le32(&pctl->ppcfg, 1);
3955b67d701SKever Yang ddr_set_enable(grf, channel, 0);
3965b67d701SKever Yang clrbits_le32(&msch->ddrtiming, 1 << 31);
3975b67d701SKever Yang /* Data Byte enable*/
3985b67d701SKever Yang setbits_le32(&publ->datx8[2].dxgcr, 1);
3995b67d701SKever Yang setbits_le32(&publ->datx8[3].dxgcr, 1);
4005b67d701SKever Yang
4015b67d701SKever Yang /* enable DLL */
4025b67d701SKever Yang clrbits_le32(&publ->datx8[2].dxdllcr, DXDLLCR_DLLDIS);
4035b67d701SKever Yang clrbits_le32(&publ->datx8[3].dxdllcr, DXDLLCR_DLLDIS);
4045b67d701SKever Yang /* reset DLL */
4055b67d701SKever Yang clrbits_le32(&publ->datx8[2].dxdllcr, DXDLLCR_DLLSRST);
4065b67d701SKever Yang clrbits_le32(&publ->datx8[3].dxdllcr, DXDLLCR_DLLSRST);
4075b67d701SKever Yang udelay(10);
4085b67d701SKever Yang setbits_le32(&publ->datx8[2].dxdllcr, DXDLLCR_DLLSRST);
4095b67d701SKever Yang setbits_le32(&publ->datx8[3].dxdllcr, DXDLLCR_DLLSRST);
4105b67d701SKever Yang }
4115b67d701SKever Yang setbits_le32(&pctl->dfistcfg0, 1 << 2);
4125b67d701SKever Yang }
4135b67d701SKever Yang
data_training(const struct chan_info * chan,int channel,struct rk3188_sdram_params * sdram_params)4145b67d701SKever Yang static int data_training(const struct chan_info *chan, int channel,
4155b67d701SKever Yang struct rk3188_sdram_params *sdram_params)
4165b67d701SKever Yang {
4175b67d701SKever Yang unsigned int j;
4185b67d701SKever Yang int ret = 0;
4195b67d701SKever Yang u32 rank;
4205b67d701SKever Yang int i;
4215b67d701SKever Yang u32 step[2] = { PIR_QSTRN, PIR_RVTRN };
4225b67d701SKever Yang struct rk3288_ddr_publ *publ = chan->publ;
4235b67d701SKever Yang struct rk3288_ddr_pctl *pctl = chan->pctl;
4245b67d701SKever Yang
4255b67d701SKever Yang /* disable auto refresh */
4265b67d701SKever Yang writel(0, &pctl->trefi);
4275b67d701SKever Yang
4285b67d701SKever Yang if (sdram_params->base.dramtype != LPDDR3)
4295b67d701SKever Yang setbits_le32(&publ->pgcr, 1 << PGCR_DQSCFG_SHIFT);
4305b67d701SKever Yang rank = sdram_params->ch[channel].rank | 1;
4315b67d701SKever Yang for (j = 0; j < ARRAY_SIZE(step); j++) {
4325b67d701SKever Yang /*
4335b67d701SKever Yang * trigger QSTRN and RVTRN
4345b67d701SKever Yang * clear DTDONE status
4355b67d701SKever Yang */
4365b67d701SKever Yang setbits_le32(&publ->pir, PIR_CLRSR);
4375b67d701SKever Yang
4385b67d701SKever Yang /* trigger DTT */
4395b67d701SKever Yang setbits_le32(&publ->pir,
4405b67d701SKever Yang PIR_INIT | step[j] | PIR_LOCKBYP | PIR_ZCALBYP |
4415b67d701SKever Yang PIR_CLRSR);
4425b67d701SKever Yang udelay(1);
4435b67d701SKever Yang /* wait echo byte DTDONE */
4445b67d701SKever Yang while ((readl(&publ->datx8[0].dxgsr[0]) & rank)
4455b67d701SKever Yang != rank)
4465b67d701SKever Yang ;
4475b67d701SKever Yang while ((readl(&publ->datx8[1].dxgsr[0]) & rank)
4485b67d701SKever Yang != rank)
4495b67d701SKever Yang ;
4505b67d701SKever Yang if (!(readl(&pctl->ppcfg) & 1)) {
4515b67d701SKever Yang while ((readl(&publ->datx8[2].dxgsr[0])
4525b67d701SKever Yang & rank) != rank)
4535b67d701SKever Yang ;
4545b67d701SKever Yang while ((readl(&publ->datx8[3].dxgsr[0])
4555b67d701SKever Yang & rank) != rank)
4565b67d701SKever Yang ;
4575b67d701SKever Yang }
4585b67d701SKever Yang if (readl(&publ->pgsr) &
4595b67d701SKever Yang (PGSR_DTERR | PGSR_RVERR | PGSR_RVEIRR)) {
4605b67d701SKever Yang ret = -1;
4615b67d701SKever Yang break;
4625b67d701SKever Yang }
4635b67d701SKever Yang }
4645b67d701SKever Yang /* send some auto refresh to complement the lost while DTT */
4655b67d701SKever Yang for (i = 0; i < (rank > 1 ? 8 : 4); i++)
4665b67d701SKever Yang send_command(pctl, rank, REF_CMD, 0);
4675b67d701SKever Yang
4685b67d701SKever Yang if (sdram_params->base.dramtype != LPDDR3)
4695b67d701SKever Yang clrbits_le32(&publ->pgcr, 1 << PGCR_DQSCFG_SHIFT);
4705b67d701SKever Yang
4715b67d701SKever Yang /* resume auto refresh */
4725b67d701SKever Yang writel(sdram_params->pctl_timing.trefi, &pctl->trefi);
4735b67d701SKever Yang
4745b67d701SKever Yang return ret;
4755b67d701SKever Yang }
4765b67d701SKever Yang
move_to_access_state(const struct chan_info * chan)4775b67d701SKever Yang static void move_to_access_state(const struct chan_info *chan)
4785b67d701SKever Yang {
4795b67d701SKever Yang struct rk3288_ddr_publ *publ = chan->publ;
4805b67d701SKever Yang struct rk3288_ddr_pctl *pctl = chan->pctl;
4815b67d701SKever Yang unsigned int state;
4825b67d701SKever Yang
4835b67d701SKever Yang while (1) {
4845b67d701SKever Yang state = readl(&pctl->stat) & PCTL_STAT_MSK;
4855b67d701SKever Yang
4865b67d701SKever Yang switch (state) {
4875b67d701SKever Yang case LOW_POWER:
4885b67d701SKever Yang if (((readl(&pctl->stat) >> LP_TRIG_SHIFT) &
4895b67d701SKever Yang LP_TRIG_MASK) == 1)
4905b67d701SKever Yang return;
4915b67d701SKever Yang
4925b67d701SKever Yang writel(WAKEUP_STATE, &pctl->sctl);
4935b67d701SKever Yang while ((readl(&pctl->stat) & PCTL_STAT_MSK) != ACCESS)
4945b67d701SKever Yang ;
4955b67d701SKever Yang /* wait DLL lock */
4965b67d701SKever Yang while ((readl(&publ->pgsr) & PGSR_DLDONE)
4975b67d701SKever Yang != PGSR_DLDONE)
4985b67d701SKever Yang ;
4995b67d701SKever Yang break;
5005b67d701SKever Yang case INIT_MEM:
5015b67d701SKever Yang writel(CFG_STATE, &pctl->sctl);
5025b67d701SKever Yang while ((readl(&pctl->stat) & PCTL_STAT_MSK) != CONFIG)
5035b67d701SKever Yang ;
5045b67d701SKever Yang /* fallthrough */
5055b67d701SKever Yang case CONFIG:
5065b67d701SKever Yang writel(GO_STATE, &pctl->sctl);
5075b67d701SKever Yang while ((readl(&pctl->stat) & PCTL_STAT_MSK) == CONFIG)
5085b67d701SKever Yang ;
5095b67d701SKever Yang break;
5105b67d701SKever Yang case ACCESS:
5115b67d701SKever Yang return;
5125b67d701SKever Yang default:
5135b67d701SKever Yang break;
5145b67d701SKever Yang }
5155b67d701SKever Yang }
5165b67d701SKever Yang }
5175b67d701SKever Yang
dram_cfg_rbc(const struct chan_info * chan,u32 chnum,struct rk3188_sdram_params * sdram_params)5185b67d701SKever Yang static void dram_cfg_rbc(const struct chan_info *chan, u32 chnum,
5195b67d701SKever Yang struct rk3188_sdram_params *sdram_params)
5205b67d701SKever Yang {
5215b67d701SKever Yang struct rk3288_ddr_publ *publ = chan->publ;
5225b67d701SKever Yang
5235b67d701SKever Yang if (sdram_params->ch[chnum].bk == 3)
5245b67d701SKever Yang clrsetbits_le32(&publ->dcr, PDQ_MASK << PDQ_SHIFT,
5255b67d701SKever Yang 1 << PDQ_SHIFT);
5265b67d701SKever Yang else
5275b67d701SKever Yang clrbits_le32(&publ->dcr, PDQ_MASK << PDQ_SHIFT);
5285b67d701SKever Yang
5295b67d701SKever Yang writel(sdram_params->base.ddrconfig, &chan->msch->ddrconf);
5305b67d701SKever Yang }
5315b67d701SKever Yang
dram_all_config(const struct dram_info * dram,struct rk3188_sdram_params * sdram_params)5325b67d701SKever Yang static void dram_all_config(const struct dram_info *dram,
5335b67d701SKever Yang struct rk3188_sdram_params *sdram_params)
5345b67d701SKever Yang {
5355b67d701SKever Yang unsigned int chan;
5365b67d701SKever Yang u32 sys_reg = 0;
5375b67d701SKever Yang
5385b67d701SKever Yang sys_reg |= sdram_params->base.dramtype << SYS_REG_DDRTYPE_SHIFT;
5395b67d701SKever Yang sys_reg |= (sdram_params->num_channels - 1) << SYS_REG_NUM_CH_SHIFT;
5405b67d701SKever Yang for (chan = 0; chan < sdram_params->num_channels; chan++) {
5415b67d701SKever Yang const struct rk3288_sdram_channel *info =
5425b67d701SKever Yang &sdram_params->ch[chan];
5435b67d701SKever Yang
5445b67d701SKever Yang sys_reg |= info->row_3_4 << SYS_REG_ROW_3_4_SHIFT(chan);
5455b67d701SKever Yang sys_reg |= 1 << SYS_REG_CHINFO_SHIFT(chan);
5465b67d701SKever Yang sys_reg |= (info->rank - 1) << SYS_REG_RANK_SHIFT(chan);
5475b67d701SKever Yang sys_reg |= (info->col - 9) << SYS_REG_COL_SHIFT(chan);
5485b67d701SKever Yang sys_reg |= info->bk == 3 ? 0 : 1 << SYS_REG_BK_SHIFT(chan);
5495b67d701SKever Yang sys_reg |= (info->cs0_row - 13) << SYS_REG_CS0_ROW_SHIFT(chan);
5505b67d701SKever Yang sys_reg |= (info->cs1_row - 13) << SYS_REG_CS1_ROW_SHIFT(chan);
5515b67d701SKever Yang sys_reg |= (2 >> info->bw) << SYS_REG_BW_SHIFT(chan);
5525b67d701SKever Yang sys_reg |= (2 >> info->dbw) << SYS_REG_DBW_SHIFT(chan);
5535b67d701SKever Yang
5545b67d701SKever Yang dram_cfg_rbc(&dram->chan[chan], chan, sdram_params);
5555b67d701SKever Yang }
5565b67d701SKever Yang if (sdram_params->ch[0].rank == 2)
5575b67d701SKever Yang ddr_rank_2_row15en(dram->grf, 0);
5585b67d701SKever Yang else
5595b67d701SKever Yang ddr_rank_2_row15en(dram->grf, 1);
5605b67d701SKever Yang
5615b67d701SKever Yang writel(sys_reg, &dram->pmu->sys_reg[2]);
5625b67d701SKever Yang }
5635b67d701SKever Yang
sdram_rank_bw_detect(struct dram_info * dram,int channel,struct rk3188_sdram_params * sdram_params)5645b67d701SKever Yang static int sdram_rank_bw_detect(struct dram_info *dram, int channel,
5655b67d701SKever Yang struct rk3188_sdram_params *sdram_params)
5665b67d701SKever Yang {
5675b67d701SKever Yang int reg;
5685b67d701SKever Yang int need_trainig = 0;
5695b67d701SKever Yang const struct chan_info *chan = &dram->chan[channel];
5705b67d701SKever Yang struct rk3288_ddr_publ *publ = chan->publ;
5715b67d701SKever Yang
5725b67d701SKever Yang ddr_rank_2_row15en(dram->grf, 0);
5735b67d701SKever Yang
5745b67d701SKever Yang if (data_training(chan, channel, sdram_params) < 0) {
5755b67d701SKever Yang printf("first data training fail!\n");
5765b67d701SKever Yang reg = readl(&publ->datx8[0].dxgsr[0]);
5775b67d701SKever Yang /* Check the result for rank 0 */
5785b67d701SKever Yang if ((channel == 0) && (reg & DQS_GATE_TRAINING_ERROR_RANK0)) {
5795b67d701SKever Yang printf("data training fail!\n");
5805b67d701SKever Yang return -EIO;
5815b67d701SKever Yang }
5825b67d701SKever Yang
5835b67d701SKever Yang /* Check the result for rank 1 */
5845b67d701SKever Yang if (reg & DQS_GATE_TRAINING_ERROR_RANK1) {
5855b67d701SKever Yang sdram_params->ch[channel].rank = 1;
5865b67d701SKever Yang clrsetbits_le32(&publ->pgcr, 0xF << 18,
5875b67d701SKever Yang sdram_params->ch[channel].rank << 18);
5885b67d701SKever Yang need_trainig = 1;
5895b67d701SKever Yang }
5905b67d701SKever Yang reg = readl(&publ->datx8[2].dxgsr[0]);
5915b67d701SKever Yang if (reg & (1 << 4)) {
5925b67d701SKever Yang sdram_params->ch[channel].bw = 1;
5935b67d701SKever Yang set_bandwidth_ratio(chan, channel,
5945b67d701SKever Yang sdram_params->ch[channel].bw,
5955b67d701SKever Yang dram->grf);
5965b67d701SKever Yang need_trainig = 1;
5975b67d701SKever Yang }
5985b67d701SKever Yang }
5995b67d701SKever Yang /* Assume the Die bit width are the same with the chip bit width */
6005b67d701SKever Yang sdram_params->ch[channel].dbw = sdram_params->ch[channel].bw;
6015b67d701SKever Yang
6025b67d701SKever Yang if (need_trainig &&
6035b67d701SKever Yang (data_training(chan, channel, sdram_params) < 0)) {
6045b67d701SKever Yang if (sdram_params->base.dramtype == LPDDR3) {
6055b67d701SKever Yang ddr_phy_ctl_reset(dram->cru, channel, 1);
6065b67d701SKever Yang udelay(10);
6075b67d701SKever Yang ddr_phy_ctl_reset(dram->cru, channel, 0);
6085b67d701SKever Yang udelay(10);
6095b67d701SKever Yang }
6105b67d701SKever Yang printf("2nd data training failed!");
6115b67d701SKever Yang return -EIO;
6125b67d701SKever Yang }
6135b67d701SKever Yang
6145b67d701SKever Yang return 0;
6155b67d701SKever Yang }
6165b67d701SKever Yang
6175b67d701SKever Yang /*
6185b67d701SKever Yang * Detect ram columns and rows.
6195b67d701SKever Yang * @dram: dram info struct
6205b67d701SKever Yang * @channel: channel number to handle
6215b67d701SKever Yang * @sdram_params: sdram parameters, function will fill in col and row values
6225b67d701SKever Yang *
6235b67d701SKever Yang * Returns 0 or negative on error.
6245b67d701SKever Yang */
sdram_col_row_detect(struct dram_info * dram,int channel,struct rk3188_sdram_params * sdram_params)6255b67d701SKever Yang static int sdram_col_row_detect(struct dram_info *dram, int channel,
6265b67d701SKever Yang struct rk3188_sdram_params *sdram_params)
6275b67d701SKever Yang {
6285b67d701SKever Yang int row, col;
6295b67d701SKever Yang unsigned int addr;
6305b67d701SKever Yang const struct chan_info *chan = &dram->chan[channel];
6315b67d701SKever Yang struct rk3288_ddr_pctl *pctl = chan->pctl;
6325b67d701SKever Yang struct rk3288_ddr_publ *publ = chan->publ;
6335b67d701SKever Yang int ret = 0;
6345b67d701SKever Yang
6355b67d701SKever Yang /* Detect col */
6365b67d701SKever Yang for (col = 11; col >= 9; col--) {
6375b67d701SKever Yang writel(0, CONFIG_SYS_SDRAM_BASE);
6385b67d701SKever Yang addr = CONFIG_SYS_SDRAM_BASE +
6395b67d701SKever Yang (1 << (col + sdram_params->ch[channel].bw - 1));
6405b67d701SKever Yang writel(TEST_PATTEN, addr);
6415b67d701SKever Yang if ((readl(addr) == TEST_PATTEN) &&
6425b67d701SKever Yang (readl(CONFIG_SYS_SDRAM_BASE) == 0))
6435b67d701SKever Yang break;
6445b67d701SKever Yang }
6455b67d701SKever Yang if (col == 8) {
6465b67d701SKever Yang printf("Col detect error\n");
6475b67d701SKever Yang ret = -EINVAL;
6485b67d701SKever Yang goto out;
6495b67d701SKever Yang } else {
6505b67d701SKever Yang sdram_params->ch[channel].col = col;
6515b67d701SKever Yang }
6525b67d701SKever Yang
6535b67d701SKever Yang ddr_rank_2_row15en(dram->grf, 1);
6545b67d701SKever Yang move_to_config_state(publ, pctl);
6555b67d701SKever Yang writel(1, &chan->msch->ddrconf);
6565b67d701SKever Yang move_to_access_state(chan);
6575b67d701SKever Yang /* Detect row, max 15,min13 in rk3188*/
6585b67d701SKever Yang for (row = 16; row >= 13; row--) {
6595b67d701SKever Yang writel(0, CONFIG_SYS_SDRAM_BASE);
6605b67d701SKever Yang addr = CONFIG_SYS_SDRAM_BASE + (1 << (row + 15 - 1));
6615b67d701SKever Yang writel(TEST_PATTEN, addr);
6625b67d701SKever Yang if ((readl(addr) == TEST_PATTEN) &&
6635b67d701SKever Yang (readl(CONFIG_SYS_SDRAM_BASE) == 0))
6645b67d701SKever Yang break;
6655b67d701SKever Yang }
6665b67d701SKever Yang if (row == 12) {
6675b67d701SKever Yang printf("Row detect error\n");
6685b67d701SKever Yang ret = -EINVAL;
6695b67d701SKever Yang } else {
6705b67d701SKever Yang sdram_params->ch[channel].cs1_row = row;
6715b67d701SKever Yang sdram_params->ch[channel].row_3_4 = 0;
6725b67d701SKever Yang debug("chn %d col %d, row %d\n", channel, col, row);
6735b67d701SKever Yang sdram_params->ch[channel].cs0_row = row;
6745b67d701SKever Yang }
6755b67d701SKever Yang
6765b67d701SKever Yang out:
6775b67d701SKever Yang return ret;
6785b67d701SKever Yang }
6795b67d701SKever Yang
sdram_get_niu_config(struct rk3188_sdram_params * sdram_params)6805b67d701SKever Yang static int sdram_get_niu_config(struct rk3188_sdram_params *sdram_params)
6815b67d701SKever Yang {
682a27290a6SKever Yang int i, tmp, size, row, ret = 0;
6835b67d701SKever Yang
684a27290a6SKever Yang row = sdram_params->ch[0].cs0_row;
685a27290a6SKever Yang /*
686a27290a6SKever Yang * RK3188 share the rank and row bit15, we use same ddr config for 15bit
687a27290a6SKever Yang * and 16bit row
688a27290a6SKever Yang */
689a27290a6SKever Yang if (row == 16)
690a27290a6SKever Yang row = 15;
6915b67d701SKever Yang tmp = sdram_params->ch[0].col - 9;
6925b67d701SKever Yang tmp -= (sdram_params->ch[0].bw == 2) ? 0 : 1;
693a27290a6SKever Yang tmp |= ((row - 13) << 4);
6945b67d701SKever Yang size = sizeof(ddrconf_table)/sizeof(ddrconf_table[0]);
6955b67d701SKever Yang for (i = 0; i < size; i++)
6965b67d701SKever Yang if (tmp == ddrconf_table[i])
6975b67d701SKever Yang break;
6985b67d701SKever Yang if (i >= size) {
6995b67d701SKever Yang printf("niu config not found\n");
7005b67d701SKever Yang ret = -EINVAL;
7015b67d701SKever Yang } else {
7025b67d701SKever Yang debug("niu config %d\n", i);
7035b67d701SKever Yang sdram_params->base.ddrconfig = i;
7045b67d701SKever Yang }
7055b67d701SKever Yang
7065b67d701SKever Yang return ret;
7075b67d701SKever Yang }
7085b67d701SKever Yang
sdram_init(struct dram_info * dram,struct rk3188_sdram_params * sdram_params)7095b67d701SKever Yang static int sdram_init(struct dram_info *dram,
7105b67d701SKever Yang struct rk3188_sdram_params *sdram_params)
7115b67d701SKever Yang {
7125b67d701SKever Yang int channel;
7135b67d701SKever Yang int zqcr;
7145b67d701SKever Yang int ret;
7155b67d701SKever Yang
7165b67d701SKever Yang if ((sdram_params->base.dramtype == DDR3 &&
7175b67d701SKever Yang sdram_params->base.ddr_freq > 800000000)) {
7185b67d701SKever Yang printf("SDRAM frequency is too high!");
7195b67d701SKever Yang return -E2BIG;
7205b67d701SKever Yang }
7215b67d701SKever Yang
7225b67d701SKever Yang ret = clk_set_rate(&dram->ddr_clk, sdram_params->base.ddr_freq);
7235b67d701SKever Yang if (ret) {
7245b67d701SKever Yang printf("Could not set DDR clock\n");
7255b67d701SKever Yang return ret;
7265b67d701SKever Yang }
7275b67d701SKever Yang
7285b67d701SKever Yang for (channel = 0; channel < 1; channel++) {
7295b67d701SKever Yang const struct chan_info *chan = &dram->chan[channel];
7305b67d701SKever Yang struct rk3288_ddr_pctl *pctl = chan->pctl;
7315b67d701SKever Yang struct rk3288_ddr_publ *publ = chan->publ;
7325b67d701SKever Yang
7335b67d701SKever Yang phy_pctrl_reset(dram->cru, publ, channel);
7345b67d701SKever Yang phy_dll_bypass_set(publ, sdram_params->base.ddr_freq);
7355b67d701SKever Yang
7365b67d701SKever Yang dfi_cfg(pctl, sdram_params->base.dramtype);
7375b67d701SKever Yang
7385b67d701SKever Yang pctl_cfg(channel, pctl, sdram_params, dram->grf);
7395b67d701SKever Yang
7405b67d701SKever Yang phy_cfg(chan, channel, sdram_params);
7415b67d701SKever Yang
7425b67d701SKever Yang phy_init(publ);
7435b67d701SKever Yang
7445b67d701SKever Yang writel(POWER_UP_START, &pctl->powctl);
7455b67d701SKever Yang while (!(readl(&pctl->powstat) & POWER_UP_DONE))
7465b67d701SKever Yang ;
7475b67d701SKever Yang
7485b67d701SKever Yang memory_init(publ, sdram_params->base.dramtype);
7495b67d701SKever Yang move_to_config_state(publ, pctl);
7505b67d701SKever Yang
7515b67d701SKever Yang /* Using 32bit bus width for detect */
7525b67d701SKever Yang sdram_params->ch[channel].bw = 2;
7535b67d701SKever Yang set_bandwidth_ratio(chan, channel,
7545b67d701SKever Yang sdram_params->ch[channel].bw, dram->grf);
7555b67d701SKever Yang /*
7565b67d701SKever Yang * set cs, using n=3 for detect
7575b67d701SKever Yang * CS0, n=1
7585b67d701SKever Yang * CS1, n=2
7595b67d701SKever Yang * CS0 & CS1, n = 3
7605b67d701SKever Yang */
7615b67d701SKever Yang sdram_params->ch[channel].rank = 2,
7625b67d701SKever Yang clrsetbits_le32(&publ->pgcr, 0xF << 18,
7635b67d701SKever Yang (sdram_params->ch[channel].rank | 1) << 18);
7645b67d701SKever Yang
7655b67d701SKever Yang /* DS=40ohm,ODT=155ohm */
7665b67d701SKever Yang zqcr = 1 << ZDEN_SHIFT | 2 << PU_ONDIE_SHIFT |
7675b67d701SKever Yang 2 << PD_ONDIE_SHIFT | 0x19 << PU_OUTPUT_SHIFT |
7685b67d701SKever Yang 0x19 << PD_OUTPUT_SHIFT;
7695b67d701SKever Yang writel(zqcr, &publ->zq1cr[0]);
7705b67d701SKever Yang writel(zqcr, &publ->zq0cr[0]);
7715b67d701SKever Yang
7725b67d701SKever Yang /* Detect the rank and bit-width with data-training */
7735b67d701SKever Yang writel(1, &chan->msch->ddrconf);
7745b67d701SKever Yang sdram_rank_bw_detect(dram, channel, sdram_params);
7755b67d701SKever Yang
7765b67d701SKever Yang if (sdram_params->base.dramtype == LPDDR3) {
7775b67d701SKever Yang u32 i;
7785b67d701SKever Yang writel(0, &pctl->mrrcfg0);
7795b67d701SKever Yang for (i = 0; i < 17; i++)
7805b67d701SKever Yang send_command_op(pctl, 1, MRR_CMD, i, 0);
7815b67d701SKever Yang }
7825b67d701SKever Yang writel(4, &chan->msch->ddrconf);
7835b67d701SKever Yang move_to_access_state(chan);
7845b67d701SKever Yang /* DDR3 and LPDDR3 are always 8 bank, no need detect */
7855b67d701SKever Yang sdram_params->ch[channel].bk = 3;
7865b67d701SKever Yang /* Detect Col and Row number*/
7875b67d701SKever Yang ret = sdram_col_row_detect(dram, channel, sdram_params);
7885b67d701SKever Yang if (ret)
7895b67d701SKever Yang goto error;
7905b67d701SKever Yang }
7915b67d701SKever Yang /* Find NIU DDR configuration */
7925b67d701SKever Yang ret = sdram_get_niu_config(sdram_params);
7935b67d701SKever Yang if (ret)
7945b67d701SKever Yang goto error;
7955b67d701SKever Yang
7965b67d701SKever Yang dram_all_config(dram, sdram_params);
7975b67d701SKever Yang debug("%s done\n", __func__);
7985b67d701SKever Yang
7995b67d701SKever Yang return 0;
8005b67d701SKever Yang error:
8015b67d701SKever Yang printf("DRAM init failed!\n");
8025b67d701SKever Yang hang();
8035b67d701SKever Yang }
8045b67d701SKever Yang
setup_sdram(struct udevice * dev)8055b67d701SKever Yang static int setup_sdram(struct udevice *dev)
8065b67d701SKever Yang {
8075b67d701SKever Yang struct dram_info *priv = dev_get_priv(dev);
8085b67d701SKever Yang struct rk3188_sdram_params *params = dev_get_platdata(dev);
8095b67d701SKever Yang
8105b67d701SKever Yang return sdram_init(priv, params);
8115b67d701SKever Yang }
8125b67d701SKever Yang
rk3188_dmc_ofdata_to_platdata(struct udevice * dev)8135b67d701SKever Yang static int rk3188_dmc_ofdata_to_platdata(struct udevice *dev)
8145b67d701SKever Yang {
8155b67d701SKever Yang #if !CONFIG_IS_ENABLED(OF_PLATDATA)
8165b67d701SKever Yang struct rk3188_sdram_params *params = dev_get_platdata(dev);
8175b67d701SKever Yang int ret;
8185b67d701SKever Yang
8195b67d701SKever Yang /* rk3188 supports only one-channel */
8205b67d701SKever Yang params->num_channels = 1;
8215b67d701SKever Yang ret = dev_read_u32_array(dev, "rockchip,pctl-timing",
8225b67d701SKever Yang (u32 *)¶ms->pctl_timing,
8235b67d701SKever Yang sizeof(params->pctl_timing) / sizeof(u32));
8245b67d701SKever Yang if (ret) {
8255b67d701SKever Yang printf("%s: Cannot read rockchip,pctl-timing\n", __func__);
8265b67d701SKever Yang return -EINVAL;
8275b67d701SKever Yang }
8285b67d701SKever Yang ret = dev_read_u32_array(dev, "rockchip,phy-timing",
8295b67d701SKever Yang (u32 *)¶ms->phy_timing,
8305b67d701SKever Yang sizeof(params->phy_timing) / sizeof(u32));
8315b67d701SKever Yang if (ret) {
8325b67d701SKever Yang printf("%s: Cannot read rockchip,phy-timing\n", __func__);
8335b67d701SKever Yang return -EINVAL;
8345b67d701SKever Yang }
8355b67d701SKever Yang ret = dev_read_u32_array(dev, "rockchip,sdram-params",
8365b67d701SKever Yang (u32 *)¶ms->base,
8375b67d701SKever Yang sizeof(params->base) / sizeof(u32));
8385b67d701SKever Yang if (ret) {
8395b67d701SKever Yang printf("%s: Cannot read rockchip,sdram-params\n", __func__);
8405b67d701SKever Yang return -EINVAL;
8415b67d701SKever Yang }
842d3581236SMasahiro Yamada ret = regmap_init_mem(dev_ofnode(dev), ¶ms->map);
8435b67d701SKever Yang if (ret)
8445b67d701SKever Yang return ret;
8455b67d701SKever Yang #endif
8465b67d701SKever Yang
8475b67d701SKever Yang return 0;
8485b67d701SKever Yang }
8495b67d701SKever Yang #endif /* CONFIG_SPL_BUILD */
8505b67d701SKever Yang
8515b67d701SKever Yang #if CONFIG_IS_ENABLED(OF_PLATDATA)
conv_of_platdata(struct udevice * dev)8525b67d701SKever Yang static int conv_of_platdata(struct udevice *dev)
8535b67d701SKever Yang {
8545b67d701SKever Yang struct rk3188_sdram_params *plat = dev_get_platdata(dev);
8555b67d701SKever Yang struct dtd_rockchip_rk3188_dmc *of_plat = &plat->of_plat;
8565b67d701SKever Yang int ret;
8575b67d701SKever Yang
8585b67d701SKever Yang memcpy(&plat->pctl_timing, of_plat->rockchip_pctl_timing,
8595b67d701SKever Yang sizeof(plat->pctl_timing));
8605b67d701SKever Yang memcpy(&plat->phy_timing, of_plat->rockchip_phy_timing,
8615b67d701SKever Yang sizeof(plat->phy_timing));
8625b67d701SKever Yang memcpy(&plat->base, of_plat->rockchip_sdram_params, sizeof(plat->base));
8635b67d701SKever Yang /* rk3188 supports dual-channel, set default channel num to 2 */
8645b67d701SKever Yang plat->num_channels = 1;
8655b67d701SKever Yang ret = regmap_init_mem_platdata(dev, of_plat->reg,
8665b67d701SKever Yang ARRAY_SIZE(of_plat->reg) / 2,
8675b67d701SKever Yang &plat->map);
8685b67d701SKever Yang if (ret)
8695b67d701SKever Yang return ret;
8705b67d701SKever Yang
8715b67d701SKever Yang return 0;
8725b67d701SKever Yang }
8735b67d701SKever Yang #endif
8745b67d701SKever Yang
rk3188_dmc_probe(struct udevice * dev)8755b67d701SKever Yang static int rk3188_dmc_probe(struct udevice *dev)
8765b67d701SKever Yang {
8775b67d701SKever Yang #ifdef CONFIG_SPL_BUILD
8785b67d701SKever Yang struct rk3188_sdram_params *plat = dev_get_platdata(dev);
8795b67d701SKever Yang struct regmap *map;
8805b67d701SKever Yang struct udevice *dev_clk;
8815b67d701SKever Yang int ret;
8825b67d701SKever Yang #endif
8835b67d701SKever Yang struct dram_info *priv = dev_get_priv(dev);
8845b67d701SKever Yang
8855b67d701SKever Yang priv->pmu = syscon_get_first_range(ROCKCHIP_SYSCON_PMU);
8865b67d701SKever Yang
8875b67d701SKever Yang #ifdef CONFIG_SPL_BUILD
8885b67d701SKever Yang #if CONFIG_IS_ENABLED(OF_PLATDATA)
8895b67d701SKever Yang ret = conv_of_platdata(dev);
8905b67d701SKever Yang if (ret)
8915b67d701SKever Yang return ret;
8925b67d701SKever Yang #endif
8935b67d701SKever Yang map = syscon_get_regmap_by_driver_data(ROCKCHIP_SYSCON_NOC);
8945b67d701SKever Yang if (IS_ERR(map))
8955b67d701SKever Yang return PTR_ERR(map);
8965b67d701SKever Yang priv->chan[0].msch = regmap_get_range(map, 0);
8975b67d701SKever Yang
8985b67d701SKever Yang priv->grf = syscon_get_first_range(ROCKCHIP_SYSCON_GRF);
8995b67d701SKever Yang
9005b67d701SKever Yang priv->chan[0].pctl = regmap_get_range(plat->map, 0);
9015b67d701SKever Yang priv->chan[0].publ = regmap_get_range(plat->map, 1);
9025b67d701SKever Yang
9035b67d701SKever Yang ret = rockchip_get_clk(&dev_clk);
9045b67d701SKever Yang if (ret)
9055b67d701SKever Yang return ret;
9065b67d701SKever Yang priv->ddr_clk.id = CLK_DDR;
9075b67d701SKever Yang ret = clk_request(dev_clk, &priv->ddr_clk);
9085b67d701SKever Yang if (ret)
9095b67d701SKever Yang return ret;
9105b67d701SKever Yang
9115b67d701SKever Yang priv->cru = rockchip_get_cru();
9125b67d701SKever Yang if (IS_ERR(priv->cru))
9135b67d701SKever Yang return PTR_ERR(priv->cru);
9145b67d701SKever Yang ret = setup_sdram(dev);
9155b67d701SKever Yang if (ret)
9165b67d701SKever Yang return ret;
9175b67d701SKever Yang #else
9185b67d701SKever Yang priv->info.base = CONFIG_SYS_SDRAM_BASE;
9195b67d701SKever Yang priv->info.size = rockchip_sdram_size(
9205b67d701SKever Yang (phys_addr_t)&priv->pmu->sys_reg[2]);
9215b67d701SKever Yang #endif
9225b67d701SKever Yang
9235b67d701SKever Yang return 0;
9245b67d701SKever Yang }
9255b67d701SKever Yang
rk3188_dmc_get_info(struct udevice * dev,struct ram_info * info)9265b67d701SKever Yang static int rk3188_dmc_get_info(struct udevice *dev, struct ram_info *info)
9275b67d701SKever Yang {
9285b67d701SKever Yang struct dram_info *priv = dev_get_priv(dev);
9295b67d701SKever Yang
9305b67d701SKever Yang *info = priv->info;
9315b67d701SKever Yang
9325b67d701SKever Yang return 0;
9335b67d701SKever Yang }
9345b67d701SKever Yang
9355b67d701SKever Yang static struct ram_ops rk3188_dmc_ops = {
9365b67d701SKever Yang .get_info = rk3188_dmc_get_info,
9375b67d701SKever Yang };
9385b67d701SKever Yang
9395b67d701SKever Yang static const struct udevice_id rk3188_dmc_ids[] = {
9405b67d701SKever Yang { .compatible = "rockchip,rk3188-dmc" },
9415b67d701SKever Yang { }
9425b67d701SKever Yang };
9435b67d701SKever Yang
9445b67d701SKever Yang U_BOOT_DRIVER(dmc_rk3188) = {
9455b67d701SKever Yang .name = "rockchip_rk3188_dmc",
9465b67d701SKever Yang .id = UCLASS_RAM,
9475b67d701SKever Yang .of_match = rk3188_dmc_ids,
9485b67d701SKever Yang .ops = &rk3188_dmc_ops,
9495b67d701SKever Yang #ifdef CONFIG_SPL_BUILD
9505b67d701SKever Yang .ofdata_to_platdata = rk3188_dmc_ofdata_to_platdata,
9515b67d701SKever Yang #endif
9525b67d701SKever Yang .probe = rk3188_dmc_probe,
9535b67d701SKever Yang .priv_auto_alloc_size = sizeof(struct dram_info),
9545b67d701SKever Yang #ifdef CONFIG_SPL_BUILD
9555b67d701SKever Yang .platdata_auto_alloc_size = sizeof(struct rk3188_sdram_params),
9565b67d701SKever Yang #endif
9575b67d701SKever Yang };
958