17837699fSSheng Yang /* 27837699fSSheng Yang * 8253/8254 interval timer emulation 37837699fSSheng Yang * 47837699fSSheng Yang * Copyright (c) 2003-2004 Fabrice Bellard 57837699fSSheng Yang * Copyright (c) 2006 Intel Corporation 67837699fSSheng Yang * Copyright (c) 2007 Keir Fraser, XenSource Inc 77837699fSSheng Yang * Copyright (c) 2008 Intel Corporation 89611c187SNicolas Kaiser * Copyright 2009 Red Hat, Inc. and/or its affiliates. 97837699fSSheng Yang * 107837699fSSheng Yang * Permission is hereby granted, free of charge, to any person obtaining a copy 117837699fSSheng Yang * of this software and associated documentation files (the "Software"), to deal 127837699fSSheng Yang * in the Software without restriction, including without limitation the rights 137837699fSSheng Yang * to use, copy, modify, merge, publish, distribute, sublicense, and/or sell 147837699fSSheng Yang * copies of the Software, and to permit persons to whom the Software is 157837699fSSheng Yang * furnished to do so, subject to the following conditions: 167837699fSSheng Yang * 177837699fSSheng Yang * The above copyright notice and this permission notice shall be included in 187837699fSSheng Yang * all copies or substantial portions of the Software. 197837699fSSheng Yang * 207837699fSSheng Yang * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR 217837699fSSheng Yang * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, 227837699fSSheng Yang * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL 237837699fSSheng Yang * THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER 247837699fSSheng Yang * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, 257837699fSSheng Yang * OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN 267837699fSSheng Yang * THE SOFTWARE. 277837699fSSheng Yang * 287837699fSSheng Yang * Authors: 297837699fSSheng Yang * Sheng Yang <sheng.yang@intel.com> 307837699fSSheng Yang * Based on QEMU and Xen. 317837699fSSheng Yang */ 327837699fSSheng Yang 33a78d9626SJoe Perches #define pr_fmt(fmt) "pit: " fmt 34a78d9626SJoe Perches 357837699fSSheng Yang #include <linux/kvm_host.h> 365a0e3ad6STejun Heo #include <linux/slab.h> 377837699fSSheng Yang 3849df6397SSteve Rutherford #include "ioapic.h" 397837699fSSheng Yang #include "irq.h" 407837699fSSheng Yang #include "i8254.h" 419ed96e87SMarcelo Tosatti #include "x86.h" 427837699fSSheng Yang 437837699fSSheng Yang #ifndef CONFIG_X86_64 446f6d6a1aSRoman Zippel #define mod_64(x, y) ((x) - (y) * div64_u64(x, y)) 457837699fSSheng Yang #else 467837699fSSheng Yang #define mod_64(x, y) ((x) % (y)) 477837699fSSheng Yang #endif 487837699fSSheng Yang 497837699fSSheng Yang #define RW_STATE_LSB 1 507837699fSSheng Yang #define RW_STATE_MSB 2 517837699fSSheng Yang #define RW_STATE_WORD0 3 527837699fSSheng Yang #define RW_STATE_WORD1 4 537837699fSSheng Yang 547837699fSSheng Yang /* Compute with 96 bit intermediate result: (a*b)/c */ 557837699fSSheng Yang static u64 muldiv64(u64 a, u32 b, u32 c) 567837699fSSheng Yang { 577837699fSSheng Yang union { 587837699fSSheng Yang u64 ll; 597837699fSSheng Yang struct { 607837699fSSheng Yang u32 low, high; 617837699fSSheng Yang } l; 627837699fSSheng Yang } u, res; 637837699fSSheng Yang u64 rl, rh; 647837699fSSheng Yang 657837699fSSheng Yang u.ll = a; 667837699fSSheng Yang rl = (u64)u.l.low * (u64)b; 677837699fSSheng Yang rh = (u64)u.l.high * (u64)b; 687837699fSSheng Yang rh += (rl >> 32); 696f6d6a1aSRoman Zippel res.l.high = div64_u64(rh, c); 706f6d6a1aSRoman Zippel res.l.low = div64_u64(((mod_64(rh, c) << 32) + (rl & 0xffffffff)), c); 717837699fSSheng Yang return res.ll; 727837699fSSheng Yang } 737837699fSSheng Yang 74*09edea72SRadim Krčmář static void pit_set_gate(struct kvm_pit *pit, int channel, u32 val) 757837699fSSheng Yang { 76*09edea72SRadim Krčmář struct kvm_kpit_channel_state *c = &pit->pit_state.channels[channel]; 777837699fSSheng Yang 787837699fSSheng Yang switch (c->mode) { 797837699fSSheng Yang default: 807837699fSSheng Yang case 0: 817837699fSSheng Yang case 4: 827837699fSSheng Yang /* XXX: just disable/enable counting */ 837837699fSSheng Yang break; 847837699fSSheng Yang case 1: 857837699fSSheng Yang case 2: 867837699fSSheng Yang case 3: 877837699fSSheng Yang case 5: 887837699fSSheng Yang /* Restart counting on rising edge. */ 897837699fSSheng Yang if (c->gate < val) 907837699fSSheng Yang c->count_load_time = ktime_get(); 917837699fSSheng Yang break; 927837699fSSheng Yang } 937837699fSSheng Yang 947837699fSSheng Yang c->gate = val; 957837699fSSheng Yang } 967837699fSSheng Yang 97*09edea72SRadim Krčmář static int pit_get_gate(struct kvm_pit *pit, int channel) 987837699fSSheng Yang { 99*09edea72SRadim Krčmář return pit->pit_state.channels[channel].gate; 1007837699fSSheng Yang } 1017837699fSSheng Yang 102*09edea72SRadim Krčmář static s64 __kpit_elapsed(struct kvm_pit *pit) 103fd668423SMarcelo Tosatti { 104fd668423SMarcelo Tosatti s64 elapsed; 105fd668423SMarcelo Tosatti ktime_t remaining; 106*09edea72SRadim Krčmář struct kvm_kpit_state *ps = &pit->pit_state; 107fd668423SMarcelo Tosatti 10826ef1924SAvi Kivity if (!ps->period) 1090ff77873SMarcelo Tosatti return 0; 1100ff77873SMarcelo Tosatti 111ede2ccc5SMarcelo Tosatti /* 112ede2ccc5SMarcelo Tosatti * The Counter does not stop when it reaches zero. In 113ede2ccc5SMarcelo Tosatti * Modes 0, 1, 4, and 5 the Counter ``wraps around'' to 114ede2ccc5SMarcelo Tosatti * the highest count, either FFFF hex for binary counting 115ede2ccc5SMarcelo Tosatti * or 9999 for BCD counting, and continues counting. 116ede2ccc5SMarcelo Tosatti * Modes 2 and 3 are periodic; the Counter reloads 117ede2ccc5SMarcelo Tosatti * itself with the initial count and continues counting 118ede2ccc5SMarcelo Tosatti * from there. 119ede2ccc5SMarcelo Tosatti */ 12026ef1924SAvi Kivity remaining = hrtimer_get_remaining(&ps->timer); 12126ef1924SAvi Kivity elapsed = ps->period - ktime_to_ns(remaining); 122fd668423SMarcelo Tosatti 123fd668423SMarcelo Tosatti return elapsed; 124fd668423SMarcelo Tosatti } 125fd668423SMarcelo Tosatti 126*09edea72SRadim Krčmář static s64 kpit_elapsed(struct kvm_pit *pit, struct kvm_kpit_channel_state *c, 127fd668423SMarcelo Tosatti int channel) 128fd668423SMarcelo Tosatti { 129fd668423SMarcelo Tosatti if (channel == 0) 130*09edea72SRadim Krčmář return __kpit_elapsed(pit); 131fd668423SMarcelo Tosatti 132fd668423SMarcelo Tosatti return ktime_to_ns(ktime_sub(ktime_get(), c->count_load_time)); 133fd668423SMarcelo Tosatti } 134fd668423SMarcelo Tosatti 135*09edea72SRadim Krčmář static int pit_get_count(struct kvm_pit *pit, int channel) 1367837699fSSheng Yang { 137*09edea72SRadim Krčmář struct kvm_kpit_channel_state *c = &pit->pit_state.channels[channel]; 1387837699fSSheng Yang s64 d, t; 1397837699fSSheng Yang int counter; 1407837699fSSheng Yang 141*09edea72SRadim Krčmář t = kpit_elapsed(pit, c, channel); 1427837699fSSheng Yang d = muldiv64(t, KVM_PIT_FREQ, NSEC_PER_SEC); 1437837699fSSheng Yang 1447837699fSSheng Yang switch (c->mode) { 1457837699fSSheng Yang case 0: 1467837699fSSheng Yang case 1: 1477837699fSSheng Yang case 4: 1487837699fSSheng Yang case 5: 1497837699fSSheng Yang counter = (c->count - d) & 0xffff; 1507837699fSSheng Yang break; 1517837699fSSheng Yang case 3: 1527837699fSSheng Yang /* XXX: may be incorrect for odd counts */ 1537837699fSSheng Yang counter = c->count - (mod_64((2 * d), c->count)); 1547837699fSSheng Yang break; 1557837699fSSheng Yang default: 1567837699fSSheng Yang counter = c->count - mod_64(d, c->count); 1577837699fSSheng Yang break; 1587837699fSSheng Yang } 1597837699fSSheng Yang return counter; 1607837699fSSheng Yang } 1617837699fSSheng Yang 162*09edea72SRadim Krčmář static int pit_get_out(struct kvm_pit *pit, int channel) 1637837699fSSheng Yang { 164*09edea72SRadim Krčmář struct kvm_kpit_channel_state *c = &pit->pit_state.channels[channel]; 1657837699fSSheng Yang s64 d, t; 1667837699fSSheng Yang int out; 1677837699fSSheng Yang 168*09edea72SRadim Krčmář t = kpit_elapsed(pit, c, channel); 1697837699fSSheng Yang d = muldiv64(t, KVM_PIT_FREQ, NSEC_PER_SEC); 1707837699fSSheng Yang 1717837699fSSheng Yang switch (c->mode) { 1727837699fSSheng Yang default: 1737837699fSSheng Yang case 0: 1747837699fSSheng Yang out = (d >= c->count); 1757837699fSSheng Yang break; 1767837699fSSheng Yang case 1: 1777837699fSSheng Yang out = (d < c->count); 1787837699fSSheng Yang break; 1797837699fSSheng Yang case 2: 1807837699fSSheng Yang out = ((mod_64(d, c->count) == 0) && (d != 0)); 1817837699fSSheng Yang break; 1827837699fSSheng Yang case 3: 1837837699fSSheng Yang out = (mod_64(d, c->count) < ((c->count + 1) >> 1)); 1847837699fSSheng Yang break; 1857837699fSSheng Yang case 4: 1867837699fSSheng Yang case 5: 1877837699fSSheng Yang out = (d == c->count); 1887837699fSSheng Yang break; 1897837699fSSheng Yang } 1907837699fSSheng Yang 1917837699fSSheng Yang return out; 1927837699fSSheng Yang } 1937837699fSSheng Yang 194*09edea72SRadim Krčmář static void pit_latch_count(struct kvm_pit *pit, int channel) 1957837699fSSheng Yang { 196*09edea72SRadim Krčmář struct kvm_kpit_channel_state *c = &pit->pit_state.channels[channel]; 1977837699fSSheng Yang 1987837699fSSheng Yang if (!c->count_latched) { 199*09edea72SRadim Krčmář c->latched_count = pit_get_count(pit, channel); 2007837699fSSheng Yang c->count_latched = c->rw_mode; 2017837699fSSheng Yang } 2027837699fSSheng Yang } 2037837699fSSheng Yang 204*09edea72SRadim Krčmář static void pit_latch_status(struct kvm_pit *pit, int channel) 2057837699fSSheng Yang { 206*09edea72SRadim Krčmář struct kvm_kpit_channel_state *c = &pit->pit_state.channels[channel]; 2077837699fSSheng Yang 2087837699fSSheng Yang if (!c->status_latched) { 2097837699fSSheng Yang /* TODO: Return NULL COUNT (bit 6). */ 210*09edea72SRadim Krčmář c->status = ((pit_get_out(pit, channel) << 7) | 2117837699fSSheng Yang (c->rw_mode << 4) | 2127837699fSSheng Yang (c->mode << 1) | 2137837699fSSheng Yang c->bcd); 2147837699fSSheng Yang c->status_latched = 1; 2157837699fSSheng Yang } 2167837699fSSheng Yang } 2177837699fSSheng Yang 218ee032c99SHarvey Harrison static void kvm_pit_ack_irq(struct kvm_irq_ack_notifier *kian) 2193cf57fedSMarcelo Tosatti { 2203cf57fedSMarcelo Tosatti struct kvm_kpit_state *ps = container_of(kian, struct kvm_kpit_state, 2213cf57fedSMarcelo Tosatti irq_ack_notifier); 22233572ac0SChris Lalancette 223ddf54503SRadim Krčmář atomic_set(&ps->irq_ack, 1); 224ddf54503SRadim Krčmář /* irq_ack should be set before pending is read. Order accesses with 225ddf54503SRadim Krčmář * inc(pending) in pit_timer_fn and xchg(irq_ack, 0) in pit_do_work. 226ddf54503SRadim Krčmář */ 227ddf54503SRadim Krčmář smp_mb(); 228f6e0a0c1SRadim Krčmář if (atomic_dec_if_positive(&ps->pending) > 0 && ps->reinject) 229b6ddf05fSJan Kiszka queue_kthread_work(&ps->pit->worker, &ps->pit->expired); 2303cf57fedSMarcelo Tosatti } 2313cf57fedSMarcelo Tosatti 2322f599714SMarcelo Tosatti void __kvm_migrate_pit_timer(struct kvm_vcpu *vcpu) 2332f599714SMarcelo Tosatti { 2342f599714SMarcelo Tosatti struct kvm_pit *pit = vcpu->kvm->arch.vpit; 2352f599714SMarcelo Tosatti struct hrtimer *timer; 2362f599714SMarcelo Tosatti 237c5af89b6SGleb Natapov if (!kvm_vcpu_is_bsp(vcpu) || !pit) 2382f599714SMarcelo Tosatti return; 2392f599714SMarcelo Tosatti 24026ef1924SAvi Kivity timer = &pit->pit_state.timer; 2412febc839SAndy Honig mutex_lock(&pit->pit_state.lock); 2422f599714SMarcelo Tosatti if (hrtimer_cancel(timer)) 243beb20d52SArjan van de Ven hrtimer_start_expires(timer, HRTIMER_MODE_ABS); 2442febc839SAndy Honig mutex_unlock(&pit->pit_state.lock); 2452f599714SMarcelo Tosatti } 2462f599714SMarcelo Tosatti 24733572ac0SChris Lalancette static void destroy_pit_timer(struct kvm_pit *pit) 2487837699fSSheng Yang { 24926ef1924SAvi Kivity hrtimer_cancel(&pit->pit_state.timer); 250b6ddf05fSJan Kiszka flush_kthread_work(&pit->expired); 2517837699fSSheng Yang } 2527837699fSSheng Yang 253b6ddf05fSJan Kiszka static void pit_do_work(struct kthread_work *work) 25433572ac0SChris Lalancette { 25533572ac0SChris Lalancette struct kvm_pit *pit = container_of(work, struct kvm_pit, expired); 25633572ac0SChris Lalancette struct kvm *kvm = pit->kvm; 25733572ac0SChris Lalancette struct kvm_vcpu *vcpu; 25833572ac0SChris Lalancette int i; 25933572ac0SChris Lalancette struct kvm_kpit_state *ps = &pit->pit_state; 26033572ac0SChris Lalancette 261ddf54503SRadim Krčmář if (ps->reinject && !atomic_xchg(&ps->irq_ack, 0)) 262ddf54503SRadim Krčmář return; 263ddf54503SRadim Krčmář 264aa2fbe6dSYang Zhang kvm_set_irq(kvm, kvm->arch.vpit->irq_source_id, 0, 1, false); 265aa2fbe6dSYang Zhang kvm_set_irq(kvm, kvm->arch.vpit->irq_source_id, 0, 0, false); 26633572ac0SChris Lalancette 26733572ac0SChris Lalancette /* 26833572ac0SChris Lalancette * Provides NMI watchdog support via Virtual Wire mode. 269ddf54503SRadim Krčmář * The route is: PIT -> LVT0 in NMI mode. 27033572ac0SChris Lalancette * 271ddf54503SRadim Krčmář * Note: Our Virtual Wire implementation does not follow 272ddf54503SRadim Krčmář * the MP specification. We propagate a PIT interrupt to all 273ddf54503SRadim Krčmář * VCPUs and only when LVT0 is in NMI mode. The interrupt can 274ddf54503SRadim Krčmář * also be simultaneously delivered through PIC and IOAPIC. 27533572ac0SChris Lalancette */ 27642720138SRadim Krčmář if (atomic_read(&kvm->arch.vapics_in_nmi_mode) > 0) 27733572ac0SChris Lalancette kvm_for_each_vcpu(i, vcpu, kvm) 27833572ac0SChris Lalancette kvm_apic_nmi_wd_deliver(vcpu); 27933572ac0SChris Lalancette } 28033572ac0SChris Lalancette 28133572ac0SChris Lalancette static enum hrtimer_restart pit_timer_fn(struct hrtimer *data) 28233572ac0SChris Lalancette { 28326ef1924SAvi Kivity struct kvm_kpit_state *ps = container_of(data, struct kvm_kpit_state, timer); 28426ef1924SAvi Kivity struct kvm_pit *pt = ps->kvm->arch.vpit; 28533572ac0SChris Lalancette 2867dd0fdffSRadim Krčmář if (ps->reinject) 28726ef1924SAvi Kivity atomic_inc(&ps->pending); 2887dd0fdffSRadim Krčmář 289b6ddf05fSJan Kiszka queue_kthread_work(&pt->worker, &pt->expired); 29033572ac0SChris Lalancette 29126ef1924SAvi Kivity if (ps->is_periodic) { 29226ef1924SAvi Kivity hrtimer_add_expires_ns(&ps->timer, ps->period); 29333572ac0SChris Lalancette return HRTIMER_RESTART; 29433572ac0SChris Lalancette } else 29533572ac0SChris Lalancette return HRTIMER_NORESTART; 29633572ac0SChris Lalancette } 29733572ac0SChris Lalancette 298fd700a00SRadim Krčmář static inline void kvm_pit_reset_reinject(struct kvm_pit *pit) 299fd700a00SRadim Krčmář { 300fd700a00SRadim Krčmář atomic_set(&pit->pit_state.pending, 0); 301ddf54503SRadim Krčmář atomic_set(&pit->pit_state.irq_ack, 1); 302fd700a00SRadim Krčmář } 303fd700a00SRadim Krčmář 304*09edea72SRadim Krčmář static void create_pit_timer(struct kvm_pit *pit, u32 val, int is_period) 3057837699fSSheng Yang { 306*09edea72SRadim Krčmář struct kvm_kpit_state *ps = &pit->pit_state; 307*09edea72SRadim Krčmář struct kvm *kvm = pit->kvm; 3087837699fSSheng Yang s64 interval; 3097837699fSSheng Yang 31049df6397SSteve Rutherford if (!ioapic_in_kernel(kvm) || 31149df6397SSteve Rutherford ps->flags & KVM_PIT_FLAGS_HPET_LEGACY) 3120924ab2cSJan Kiszka return; 3130924ab2cSJan Kiszka 3147837699fSSheng Yang interval = muldiv64(val, NSEC_PER_SEC, KVM_PIT_FREQ); 3157837699fSSheng Yang 316a78d9626SJoe Perches pr_debug("create pit timer, interval is %llu nsec\n", interval); 3177837699fSSheng Yang 3187837699fSSheng Yang /* TODO The new value only affected after the retriggered */ 31926ef1924SAvi Kivity hrtimer_cancel(&ps->timer); 320b6ddf05fSJan Kiszka flush_kthread_work(&ps->pit->expired); 32126ef1924SAvi Kivity ps->period = interval; 322d3c7b77dSMarcelo Tosatti ps->is_periodic = is_period; 323d3c7b77dSMarcelo Tosatti 32426ef1924SAvi Kivity ps->timer.function = pit_timer_fn; 325*09edea72SRadim Krčmář ps->kvm = pit->kvm; 326d3c7b77dSMarcelo Tosatti 327*09edea72SRadim Krčmář kvm_pit_reset_reinject(pit); 3287837699fSSheng Yang 3299ed96e87SMarcelo Tosatti /* 3309ed96e87SMarcelo Tosatti * Do not allow the guest to program periodic timers with small 3319ed96e87SMarcelo Tosatti * interval, since the hrtimers are not throttled by the host 3329ed96e87SMarcelo Tosatti * scheduler. 3339ed96e87SMarcelo Tosatti */ 3349ed96e87SMarcelo Tosatti if (ps->is_periodic) { 3359ed96e87SMarcelo Tosatti s64 min_period = min_timer_period_us * 1000LL; 3369ed96e87SMarcelo Tosatti 3379ed96e87SMarcelo Tosatti if (ps->period < min_period) { 3389ed96e87SMarcelo Tosatti pr_info_ratelimited( 3399ed96e87SMarcelo Tosatti "kvm: requested %lld ns " 3409ed96e87SMarcelo Tosatti "i8254 timer period limited to %lld ns\n", 3419ed96e87SMarcelo Tosatti ps->period, min_period); 3429ed96e87SMarcelo Tosatti ps->period = min_period; 3439ed96e87SMarcelo Tosatti } 3449ed96e87SMarcelo Tosatti } 3459ed96e87SMarcelo Tosatti 34626ef1924SAvi Kivity hrtimer_start(&ps->timer, ktime_add_ns(ktime_get(), interval), 3477837699fSSheng Yang HRTIMER_MODE_ABS); 3487837699fSSheng Yang } 3497837699fSSheng Yang 350*09edea72SRadim Krčmář static void pit_load_count(struct kvm_pit *pit, int channel, u32 val) 3517837699fSSheng Yang { 352*09edea72SRadim Krčmář struct kvm_kpit_state *ps = &pit->pit_state; 3537837699fSSheng Yang 354a78d9626SJoe Perches pr_debug("load_count val is %d, channel is %d\n", val, channel); 3557837699fSSheng Yang 3567837699fSSheng Yang /* 357ede2ccc5SMarcelo Tosatti * The largest possible initial count is 0; this is equivalent 358ede2ccc5SMarcelo Tosatti * to 216 for binary counting and 104 for BCD counting. 3597837699fSSheng Yang */ 3607837699fSSheng Yang if (val == 0) 3617837699fSSheng Yang val = 0x10000; 3627837699fSSheng Yang 3637837699fSSheng Yang ps->channels[channel].count = val; 3647837699fSSheng Yang 365fd668423SMarcelo Tosatti if (channel != 0) { 366fd668423SMarcelo Tosatti ps->channels[channel].count_load_time = ktime_get(); 3677837699fSSheng Yang return; 368fd668423SMarcelo Tosatti } 3697837699fSSheng Yang 3707837699fSSheng Yang /* Two types of timer 3717837699fSSheng Yang * mode 1 is one shot, mode 2 is period, otherwise del timer */ 3727837699fSSheng Yang switch (ps->channels[0].mode) { 373ede2ccc5SMarcelo Tosatti case 0: 3747837699fSSheng Yang case 1: 375ece15babSMarcelo Tosatti /* FIXME: enhance mode 4 precision */ 376ece15babSMarcelo Tosatti case 4: 377*09edea72SRadim Krčmář create_pit_timer(pit, val, 0); 3787837699fSSheng Yang break; 3797837699fSSheng Yang case 2: 380f6975545SAurelien Jarno case 3: 381*09edea72SRadim Krčmář create_pit_timer(pit, val, 1); 3827837699fSSheng Yang break; 3837837699fSSheng Yang default: 384*09edea72SRadim Krčmář destroy_pit_timer(pit); 3857837699fSSheng Yang } 3867837699fSSheng Yang } 3877837699fSSheng Yang 388*09edea72SRadim Krčmář void kvm_pit_load_count(struct kvm_pit *pit, int channel, u32 val, 389*09edea72SRadim Krčmář int hpet_legacy_start) 390e0f63cb9SSheng Yang { 391e9f42757SBeth Kon u8 saved_mode; 392b69d920fSRadim Krčmář 393*09edea72SRadim Krčmář WARN_ON_ONCE(!mutex_is_locked(&pit->pit_state.lock)); 394b69d920fSRadim Krčmář 395e9f42757SBeth Kon if (hpet_legacy_start) { 396e9f42757SBeth Kon /* save existing mode for later reenablement */ 397e5e57e7aSPaolo Bonzini WARN_ON(channel != 0); 398*09edea72SRadim Krčmář saved_mode = pit->pit_state.channels[0].mode; 399*09edea72SRadim Krčmář pit->pit_state.channels[0].mode = 0xff; /* disable timer */ 400*09edea72SRadim Krčmář pit_load_count(pit, channel, val); 401*09edea72SRadim Krčmář pit->pit_state.channels[0].mode = saved_mode; 402e9f42757SBeth Kon } else { 403*09edea72SRadim Krčmář pit_load_count(pit, channel, val); 404e9f42757SBeth Kon } 405e0f63cb9SSheng Yang } 406e0f63cb9SSheng Yang 407d76685c4SGregory Haskins static inline struct kvm_pit *dev_to_pit(struct kvm_io_device *dev) 408d76685c4SGregory Haskins { 409d76685c4SGregory Haskins return container_of(dev, struct kvm_pit, dev); 410d76685c4SGregory Haskins } 411d76685c4SGregory Haskins 412d76685c4SGregory Haskins static inline struct kvm_pit *speaker_to_pit(struct kvm_io_device *dev) 413d76685c4SGregory Haskins { 414d76685c4SGregory Haskins return container_of(dev, struct kvm_pit, speaker_dev); 415d76685c4SGregory Haskins } 416d76685c4SGregory Haskins 417bda9020eSMichael S. Tsirkin static inline int pit_in_range(gpa_t addr) 418bda9020eSMichael S. Tsirkin { 419bda9020eSMichael S. Tsirkin return ((addr >= KVM_PIT_BASE_ADDRESS) && 420bda9020eSMichael S. Tsirkin (addr < KVM_PIT_BASE_ADDRESS + KVM_PIT_MEM_LENGTH)); 421bda9020eSMichael S. Tsirkin } 422bda9020eSMichael S. Tsirkin 423e32edf4fSNikolay Nikolaev static int pit_ioport_write(struct kvm_vcpu *vcpu, 424e32edf4fSNikolay Nikolaev struct kvm_io_device *this, 4257837699fSSheng Yang gpa_t addr, int len, const void *data) 4267837699fSSheng Yang { 427d76685c4SGregory Haskins struct kvm_pit *pit = dev_to_pit(this); 4287837699fSSheng Yang struct kvm_kpit_state *pit_state = &pit->pit_state; 4297837699fSSheng Yang int channel, access; 4307837699fSSheng Yang struct kvm_kpit_channel_state *s; 4317837699fSSheng Yang u32 val = *(u32 *) data; 432bda9020eSMichael S. Tsirkin if (!pit_in_range(addr)) 433bda9020eSMichael S. Tsirkin return -EOPNOTSUPP; 4347837699fSSheng Yang 4357837699fSSheng Yang val &= 0xff; 4367837699fSSheng Yang addr &= KVM_PIT_CHANNEL_MASK; 4377837699fSSheng Yang 4387837699fSSheng Yang mutex_lock(&pit_state->lock); 4397837699fSSheng Yang 4407837699fSSheng Yang if (val != 0) 441a78d9626SJoe Perches pr_debug("write addr is 0x%x, len is %d, val is 0x%x\n", 4427837699fSSheng Yang (unsigned int)addr, len, val); 4437837699fSSheng Yang 4447837699fSSheng Yang if (addr == 3) { 4457837699fSSheng Yang channel = val >> 6; 4467837699fSSheng Yang if (channel == 3) { 4477837699fSSheng Yang /* Read-Back Command. */ 4487837699fSSheng Yang for (channel = 0; channel < 3; channel++) { 4497837699fSSheng Yang s = &pit_state->channels[channel]; 4507837699fSSheng Yang if (val & (2 << channel)) { 4517837699fSSheng Yang if (!(val & 0x20)) 452*09edea72SRadim Krčmář pit_latch_count(pit, channel); 4537837699fSSheng Yang if (!(val & 0x10)) 454*09edea72SRadim Krčmář pit_latch_status(pit, channel); 4557837699fSSheng Yang } 4567837699fSSheng Yang } 4577837699fSSheng Yang } else { 4587837699fSSheng Yang /* Select Counter <channel>. */ 4597837699fSSheng Yang s = &pit_state->channels[channel]; 4607837699fSSheng Yang access = (val >> 4) & KVM_PIT_CHANNEL_MASK; 4617837699fSSheng Yang if (access == 0) { 462*09edea72SRadim Krčmář pit_latch_count(pit, channel); 4637837699fSSheng Yang } else { 4647837699fSSheng Yang s->rw_mode = access; 4657837699fSSheng Yang s->read_state = access; 4667837699fSSheng Yang s->write_state = access; 4677837699fSSheng Yang s->mode = (val >> 1) & 7; 4687837699fSSheng Yang if (s->mode > 5) 4697837699fSSheng Yang s->mode -= 4; 4707837699fSSheng Yang s->bcd = val & 1; 4717837699fSSheng Yang } 4727837699fSSheng Yang } 4737837699fSSheng Yang } else { 4747837699fSSheng Yang /* Write Count. */ 4757837699fSSheng Yang s = &pit_state->channels[addr]; 4767837699fSSheng Yang switch (s->write_state) { 4777837699fSSheng Yang default: 4787837699fSSheng Yang case RW_STATE_LSB: 479*09edea72SRadim Krčmář pit_load_count(pit, addr, val); 4807837699fSSheng Yang break; 4817837699fSSheng Yang case RW_STATE_MSB: 482*09edea72SRadim Krčmář pit_load_count(pit, addr, val << 8); 4837837699fSSheng Yang break; 4847837699fSSheng Yang case RW_STATE_WORD0: 4857837699fSSheng Yang s->write_latch = val; 4867837699fSSheng Yang s->write_state = RW_STATE_WORD1; 4877837699fSSheng Yang break; 4887837699fSSheng Yang case RW_STATE_WORD1: 489*09edea72SRadim Krčmář pit_load_count(pit, addr, s->write_latch | (val << 8)); 4907837699fSSheng Yang s->write_state = RW_STATE_WORD0; 4917837699fSSheng Yang break; 4927837699fSSheng Yang } 4937837699fSSheng Yang } 4947837699fSSheng Yang 4957837699fSSheng Yang mutex_unlock(&pit_state->lock); 496bda9020eSMichael S. Tsirkin return 0; 4977837699fSSheng Yang } 4987837699fSSheng Yang 499e32edf4fSNikolay Nikolaev static int pit_ioport_read(struct kvm_vcpu *vcpu, 500e32edf4fSNikolay Nikolaev struct kvm_io_device *this, 5017837699fSSheng Yang gpa_t addr, int len, void *data) 5027837699fSSheng Yang { 503d76685c4SGregory Haskins struct kvm_pit *pit = dev_to_pit(this); 5047837699fSSheng Yang struct kvm_kpit_state *pit_state = &pit->pit_state; 5057837699fSSheng Yang int ret, count; 5067837699fSSheng Yang struct kvm_kpit_channel_state *s; 507bda9020eSMichael S. Tsirkin if (!pit_in_range(addr)) 508bda9020eSMichael S. Tsirkin return -EOPNOTSUPP; 5097837699fSSheng Yang 5107837699fSSheng Yang addr &= KVM_PIT_CHANNEL_MASK; 511ee73f656SMarcelo Tosatti if (addr == 3) 512ee73f656SMarcelo Tosatti return 0; 513ee73f656SMarcelo Tosatti 5147837699fSSheng Yang s = &pit_state->channels[addr]; 5157837699fSSheng Yang 5167837699fSSheng Yang mutex_lock(&pit_state->lock); 5177837699fSSheng Yang 5187837699fSSheng Yang if (s->status_latched) { 5197837699fSSheng Yang s->status_latched = 0; 5207837699fSSheng Yang ret = s->status; 5217837699fSSheng Yang } else if (s->count_latched) { 5227837699fSSheng Yang switch (s->count_latched) { 5237837699fSSheng Yang default: 5247837699fSSheng Yang case RW_STATE_LSB: 5257837699fSSheng Yang ret = s->latched_count & 0xff; 5267837699fSSheng Yang s->count_latched = 0; 5277837699fSSheng Yang break; 5287837699fSSheng Yang case RW_STATE_MSB: 5297837699fSSheng Yang ret = s->latched_count >> 8; 5307837699fSSheng Yang s->count_latched = 0; 5317837699fSSheng Yang break; 5327837699fSSheng Yang case RW_STATE_WORD0: 5337837699fSSheng Yang ret = s->latched_count & 0xff; 5347837699fSSheng Yang s->count_latched = RW_STATE_MSB; 5357837699fSSheng Yang break; 5367837699fSSheng Yang } 5377837699fSSheng Yang } else { 5387837699fSSheng Yang switch (s->read_state) { 5397837699fSSheng Yang default: 5407837699fSSheng Yang case RW_STATE_LSB: 541*09edea72SRadim Krčmář count = pit_get_count(pit, addr); 5427837699fSSheng Yang ret = count & 0xff; 5437837699fSSheng Yang break; 5447837699fSSheng Yang case RW_STATE_MSB: 545*09edea72SRadim Krčmář count = pit_get_count(pit, addr); 5467837699fSSheng Yang ret = (count >> 8) & 0xff; 5477837699fSSheng Yang break; 5487837699fSSheng Yang case RW_STATE_WORD0: 549*09edea72SRadim Krčmář count = pit_get_count(pit, addr); 5507837699fSSheng Yang ret = count & 0xff; 5517837699fSSheng Yang s->read_state = RW_STATE_WORD1; 5527837699fSSheng Yang break; 5537837699fSSheng Yang case RW_STATE_WORD1: 554*09edea72SRadim Krčmář count = pit_get_count(pit, addr); 5557837699fSSheng Yang ret = (count >> 8) & 0xff; 5567837699fSSheng Yang s->read_state = RW_STATE_WORD0; 5577837699fSSheng Yang break; 5587837699fSSheng Yang } 5597837699fSSheng Yang } 5607837699fSSheng Yang 5617837699fSSheng Yang if (len > sizeof(ret)) 5627837699fSSheng Yang len = sizeof(ret); 5637837699fSSheng Yang memcpy(data, (char *)&ret, len); 5647837699fSSheng Yang 5657837699fSSheng Yang mutex_unlock(&pit_state->lock); 566bda9020eSMichael S. Tsirkin return 0; 5677837699fSSheng Yang } 5687837699fSSheng Yang 569e32edf4fSNikolay Nikolaev static int speaker_ioport_write(struct kvm_vcpu *vcpu, 570e32edf4fSNikolay Nikolaev struct kvm_io_device *this, 5717837699fSSheng Yang gpa_t addr, int len, const void *data) 5727837699fSSheng Yang { 573d76685c4SGregory Haskins struct kvm_pit *pit = speaker_to_pit(this); 5747837699fSSheng Yang struct kvm_kpit_state *pit_state = &pit->pit_state; 5757837699fSSheng Yang u32 val = *(u32 *) data; 576bda9020eSMichael S. Tsirkin if (addr != KVM_SPEAKER_BASE_ADDRESS) 577bda9020eSMichael S. Tsirkin return -EOPNOTSUPP; 5787837699fSSheng Yang 5797837699fSSheng Yang mutex_lock(&pit_state->lock); 5807837699fSSheng Yang pit_state->speaker_data_on = (val >> 1) & 1; 581*09edea72SRadim Krčmář pit_set_gate(pit, 2, val & 1); 5827837699fSSheng Yang mutex_unlock(&pit_state->lock); 583bda9020eSMichael S. Tsirkin return 0; 5847837699fSSheng Yang } 5857837699fSSheng Yang 586e32edf4fSNikolay Nikolaev static int speaker_ioport_read(struct kvm_vcpu *vcpu, 587e32edf4fSNikolay Nikolaev struct kvm_io_device *this, 5887837699fSSheng Yang gpa_t addr, int len, void *data) 5897837699fSSheng Yang { 590d76685c4SGregory Haskins struct kvm_pit *pit = speaker_to_pit(this); 5917837699fSSheng Yang struct kvm_kpit_state *pit_state = &pit->pit_state; 5927837699fSSheng Yang unsigned int refresh_clock; 5937837699fSSheng Yang int ret; 594bda9020eSMichael S. Tsirkin if (addr != KVM_SPEAKER_BASE_ADDRESS) 595bda9020eSMichael S. Tsirkin return -EOPNOTSUPP; 5967837699fSSheng Yang 5977837699fSSheng Yang /* Refresh clock toggles at about 15us. We approximate as 2^14ns. */ 5987837699fSSheng Yang refresh_clock = ((unsigned int)ktime_to_ns(ktime_get()) >> 14) & 1; 5997837699fSSheng Yang 6007837699fSSheng Yang mutex_lock(&pit_state->lock); 601*09edea72SRadim Krčmář ret = ((pit_state->speaker_data_on << 1) | pit_get_gate(pit, 2) | 602*09edea72SRadim Krčmář (pit_get_out(pit, 2) << 5) | (refresh_clock << 4)); 6037837699fSSheng Yang if (len > sizeof(ret)) 6047837699fSSheng Yang len = sizeof(ret); 6057837699fSSheng Yang memcpy(data, (char *)&ret, len); 6067837699fSSheng Yang mutex_unlock(&pit_state->lock); 607bda9020eSMichael S. Tsirkin return 0; 6087837699fSSheng Yang } 6097837699fSSheng Yang 610308b0f23SSheng Yang void kvm_pit_reset(struct kvm_pit *pit) 6117837699fSSheng Yang { 6127837699fSSheng Yang int i; 613308b0f23SSheng Yang struct kvm_kpit_channel_state *c; 614308b0f23SSheng Yang 615308b0f23SSheng Yang mutex_lock(&pit->pit_state.lock); 616e9f42757SBeth Kon pit->pit_state.flags = 0; 617308b0f23SSheng Yang for (i = 0; i < 3; i++) { 618308b0f23SSheng Yang c = &pit->pit_state.channels[i]; 619308b0f23SSheng Yang c->mode = 0xff; 620308b0f23SSheng Yang c->gate = (i != 2); 621*09edea72SRadim Krčmář pit_load_count(pit, i, 0); 622308b0f23SSheng Yang } 623308b0f23SSheng Yang mutex_unlock(&pit->pit_state.lock); 624308b0f23SSheng Yang 625fd700a00SRadim Krčmář kvm_pit_reset_reinject(pit); 626308b0f23SSheng Yang } 627308b0f23SSheng Yang 6284780c659SAvi Kivity static void pit_mask_notifer(struct kvm_irq_mask_notifier *kimn, bool mask) 6294780c659SAvi Kivity { 6304780c659SAvi Kivity struct kvm_pit *pit = container_of(kimn, struct kvm_pit, mask_notifier); 6314780c659SAvi Kivity 632fd700a00SRadim Krčmář if (!mask) 633fd700a00SRadim Krčmář kvm_pit_reset_reinject(pit); 6344780c659SAvi Kivity } 6354780c659SAvi Kivity 636d76685c4SGregory Haskins static const struct kvm_io_device_ops pit_dev_ops = { 637d76685c4SGregory Haskins .read = pit_ioport_read, 638d76685c4SGregory Haskins .write = pit_ioport_write, 639d76685c4SGregory Haskins }; 640d76685c4SGregory Haskins 641d76685c4SGregory Haskins static const struct kvm_io_device_ops speaker_dev_ops = { 642d76685c4SGregory Haskins .read = speaker_ioport_read, 643d76685c4SGregory Haskins .write = speaker_ioport_write, 644d76685c4SGregory Haskins }; 645d76685c4SGregory Haskins 64679fac95eSMarcelo Tosatti /* Caller must hold slots_lock */ 647c5ff41ceSJan Kiszka struct kvm_pit *kvm_create_pit(struct kvm *kvm, u32 flags) 648308b0f23SSheng Yang { 6497837699fSSheng Yang struct kvm_pit *pit; 6507837699fSSheng Yang struct kvm_kpit_state *pit_state; 651b6ddf05fSJan Kiszka struct pid *pid; 652b6ddf05fSJan Kiszka pid_t pid_nr; 653090b7affSGregory Haskins int ret; 6547837699fSSheng Yang 6557837699fSSheng Yang pit = kzalloc(sizeof(struct kvm_pit), GFP_KERNEL); 6567837699fSSheng Yang if (!pit) 6577837699fSSheng Yang return NULL; 6587837699fSSheng Yang 6595550af4dSSheng Yang pit->irq_source_id = kvm_request_irq_source_id(kvm); 660e17d1dc0SAvi Kivity if (pit->irq_source_id < 0) { 661e17d1dc0SAvi Kivity kfree(pit); 6625550af4dSSheng Yang return NULL; 663e17d1dc0SAvi Kivity } 6645550af4dSSheng Yang 6657837699fSSheng Yang mutex_init(&pit->pit_state.lock); 6667837699fSSheng Yang mutex_lock(&pit->pit_state.lock); 66733572ac0SChris Lalancette 668b6ddf05fSJan Kiszka pid = get_pid(task_tgid(current)); 669b6ddf05fSJan Kiszka pid_nr = pid_vnr(pid); 670b6ddf05fSJan Kiszka put_pid(pid); 671b6ddf05fSJan Kiszka 672b6ddf05fSJan Kiszka init_kthread_worker(&pit->worker); 673b6ddf05fSJan Kiszka pit->worker_task = kthread_run(kthread_worker_fn, &pit->worker, 674b6ddf05fSJan Kiszka "kvm-pit/%d", pid_nr); 675b6ddf05fSJan Kiszka if (IS_ERR(pit->worker_task)) { 676673813e8SJiri Slaby mutex_unlock(&pit->pit_state.lock); 6776b5d7a9fSXiao Guangrong kvm_free_irq_source_id(kvm, pit->irq_source_id); 67833572ac0SChris Lalancette kfree(pit); 67933572ac0SChris Lalancette return NULL; 68033572ac0SChris Lalancette } 681b6ddf05fSJan Kiszka init_kthread_work(&pit->expired, pit_do_work); 6827837699fSSheng Yang 6837837699fSSheng Yang pit->kvm = kvm; 6847837699fSSheng Yang 6857837699fSSheng Yang pit_state = &pit->pit_state; 6867837699fSSheng Yang pit_state->pit = pit; 68726ef1924SAvi Kivity hrtimer_init(&pit_state->timer, CLOCK_MONOTONIC, HRTIMER_MODE_ABS); 6883cf57fedSMarcelo Tosatti pit_state->irq_ack_notifier.gsi = 0; 6893cf57fedSMarcelo Tosatti pit_state->irq_ack_notifier.irq_acked = kvm_pit_ack_irq; 6903cf57fedSMarcelo Tosatti kvm_register_irq_ack_notifier(kvm, &pit_state->irq_ack_notifier); 69126ef1924SAvi Kivity pit_state->reinject = true; 6927837699fSSheng Yang mutex_unlock(&pit->pit_state.lock); 6937837699fSSheng Yang 694308b0f23SSheng Yang kvm_pit_reset(pit); 6957837699fSSheng Yang 6964780c659SAvi Kivity pit->mask_notifier.func = pit_mask_notifer; 6974780c659SAvi Kivity kvm_register_irq_mask_notifier(kvm, 0, &pit->mask_notifier); 6984780c659SAvi Kivity 6996b66ac1aSGregory Haskins kvm_iodevice_init(&pit->dev, &pit_dev_ops); 700743eeb0bSSasha Levin ret = kvm_io_bus_register_dev(kvm, KVM_PIO_BUS, KVM_PIT_BASE_ADDRESS, 701743eeb0bSSasha Levin KVM_PIT_MEM_LENGTH, &pit->dev); 702090b7affSGregory Haskins if (ret < 0) 703090b7affSGregory Haskins goto fail; 7046b66ac1aSGregory Haskins 7056b66ac1aSGregory Haskins if (flags & KVM_PIT_SPEAKER_DUMMY) { 7066b66ac1aSGregory Haskins kvm_iodevice_init(&pit->speaker_dev, &speaker_dev_ops); 707e93f8a0fSMarcelo Tosatti ret = kvm_io_bus_register_dev(kvm, KVM_PIO_BUS, 708743eeb0bSSasha Levin KVM_SPEAKER_BASE_ADDRESS, 4, 709090b7affSGregory Haskins &pit->speaker_dev); 710090b7affSGregory Haskins if (ret < 0) 711090b7affSGregory Haskins goto fail_unregister; 7126b66ac1aSGregory Haskins } 7136b66ac1aSGregory Haskins 7147837699fSSheng Yang return pit; 715090b7affSGregory Haskins 716090b7affSGregory Haskins fail_unregister: 717e93f8a0fSMarcelo Tosatti kvm_io_bus_unregister_dev(kvm, KVM_PIO_BUS, &pit->dev); 718090b7affSGregory Haskins 719090b7affSGregory Haskins fail: 720d225f53bSWei Yongjun kvm_unregister_irq_mask_notifier(kvm, 0, &pit->mask_notifier); 721d225f53bSWei Yongjun kvm_unregister_irq_ack_notifier(kvm, &pit_state->irq_ack_notifier); 722090b7affSGregory Haskins kvm_free_irq_source_id(kvm, pit->irq_source_id); 723b6ddf05fSJan Kiszka kthread_stop(pit->worker_task); 724090b7affSGregory Haskins kfree(pit); 725090b7affSGregory Haskins return NULL; 7267837699fSSheng Yang } 7277837699fSSheng Yang 7287837699fSSheng Yang void kvm_free_pit(struct kvm *kvm) 7297837699fSSheng Yang { 7307837699fSSheng Yang struct hrtimer *timer; 7317837699fSSheng Yang 7327837699fSSheng Yang if (kvm->arch.vpit) { 733aea924f6SXiao Guangrong kvm_io_bus_unregister_dev(kvm, KVM_PIO_BUS, &kvm->arch.vpit->dev); 734aea924f6SXiao Guangrong kvm_io_bus_unregister_dev(kvm, KVM_PIO_BUS, 735aea924f6SXiao Guangrong &kvm->arch.vpit->speaker_dev); 7364780c659SAvi Kivity kvm_unregister_irq_mask_notifier(kvm, 0, 7374780c659SAvi Kivity &kvm->arch.vpit->mask_notifier); 73884fde248SGleb Natapov kvm_unregister_irq_ack_notifier(kvm, 73984fde248SGleb Natapov &kvm->arch.vpit->pit_state.irq_ack_notifier); 7407837699fSSheng Yang mutex_lock(&kvm->arch.vpit->pit_state.lock); 74126ef1924SAvi Kivity timer = &kvm->arch.vpit->pit_state.timer; 7427837699fSSheng Yang hrtimer_cancel(timer); 743b6ddf05fSJan Kiszka flush_kthread_work(&kvm->arch.vpit->expired); 744b6ddf05fSJan Kiszka kthread_stop(kvm->arch.vpit->worker_task); 7455550af4dSSheng Yang kvm_free_irq_source_id(kvm, kvm->arch.vpit->irq_source_id); 7467837699fSSheng Yang mutex_unlock(&kvm->arch.vpit->pit_state.lock); 7477837699fSSheng Yang kfree(kvm->arch.vpit); 7487837699fSSheng Yang } 7497837699fSSheng Yang } 750