中平元年（184年），黄巾起义爆发，黄巾军攻破冀州诸郡。此后，朝廷再次任命刘虞为甘陵国相，前去安抚灾荒后的百姓，以俭朴为下属榜样，甘陵国大治。朝廷徵刘虞入朝担任尚书令、光禄勋，又以刘虞公族有礼，升他为宗正。[3][28]
中平五年（188年），刘虞与袁绍、盖勋共典禁军，盖勋对二人说：“我认为陛下是非常聪明的人，只是被身边的人蒙蔽了。如果我们合力清除这些奸邪之徒，然后提拔清廉能干之人，以此使汉室兴旺，我们功成身退，岂不是一件快意的事？”于是，三人互相联结，但还没正式行动，朝廷便派盖勋出任京兆尹。[42-43]维城燕北中平年间，车骑将军张温为讨伐边章等，请朝廷从幽州征发三千乌桓精锐骑兵。因朝廷克扣军粮、拖欠军饷，三千骑兵全部叛归本国。故中山相张纯对故泰山太守张举说：“如今乌桓叛逃，皆愿起兵作乱。凉州贼起兵，朝廷也不能平定；洛阳中又有人生出长着两个头的孩子，这是汉朝气数衰尽，天下将出现两位君主的迹象啊。你如果与我共率乌桓之众起兵，或许能成就一番大业！”张举深以为然。[6]中平四年（187年），张纯、张举与乌桓大人联盟，发动叛乱，进攻到蓟下，烧毁城郭，虏略百姓，杀护乌桓校尉公綦稠、右北平太守刘政、辽东太守阳终等，部队达到十余万，屯住在肥如。张举自称“天子”，张纯自称“弥天将军安定王”，传书到各州郡，说要代替汉朝。张纯又使乌桓峭王等步骑五万，进入青、冀二州，攻破清河、平原，杀害吏民。[6]当时，丘力居寇略青、徐、幽、冀，四州被其害，将领公孙瓒无法抵御。朝中认为刘虞有德义，曾经当过幽州刺史，对当地士民有恩信，又为外族所附，如果让刘虞去镇抚，幽州可以不劳众而定。[29]中平五年（188年），朝廷正式任命刘虞为幽州牧。并下诏发南匈奴兵，跟随刘虞讨伐张纯。结果南匈奴发生内乱，单于被杀。[30][41]刘虞到达蓟县，精简了部队，广泛布施恩惠，派遣使者告峭王等人朝廷将宽大处理，可以免除他们犯下的罪责，又悬赏通缉张举、张纯二人。丘力居等人听说刘虞到了，纷纷派遣使者前来沟通归附之事。张纯二人逃到塞外，其余的也或降或散。公孙瓒担心刘虞立功，暗中派人在途中暗杀这些使者。外族得知此事后，便绕道到刘虞处。[6][29]中平六年（189年）三月，张纯被手下王政杀死，首级被送到刘虞处。[4]汉灵帝刘宏派使者升刘虞为太尉，封容丘侯。[5]刘虞先是推让，并举荐卫尉赵谟、益州牧刘焉、豫州牧黄琬、南阳太守羊续担任此职，但刘宏最终还是拜刘虞为太尉。[6][8]永汉元年（189年），董卓专权，派使者授予刘虞大司马，进封襄贲侯。[10]初平元年（190年），董卓拜刘虞为太傅，召他入朝任职。但因道路阻塞，任命竟不能够到达。[11]过去幽州因为地处边疆，与异族接壤，每年开支很大，常常要用青、冀二州的两亿多税收来补充幽州财政。当时因战乱交通断绝，无法调度金钱。刘虞在幽州追求宽政，劝导百姓种田，并在上谷与外族互市，还发展了渔阳的盐铁业，百姓热情高涨，粮食丰收，一石谷只卖三十钱。青、徐的士人百姓为避黄巾之难，来归附刘虞的有百余万口，刘虞都收留抚恤，为他们安排就业，流民们都像回到了家一样。刘虞虽为上公级的高官，但天性爱好节约，穿着破旧的衣服，一顿饭都不吃一道以上的荤菜。远近原本作风奢侈的豪族，都被他感化而改变风气。[9]公孙瓒奉命征讨乌桓时，受刘虞的节度。公孙瓒只注重自已的部队强大，放任部曲侵扰百姓，而刘虞注重仁政，很关爱百姓，于是与公孙瓒之间逐渐出现了矛盾。[12]忠于汉室当时，天下群雄起兵讨伐董卓。议者认为，汉灵帝刘宏失道，致使天下叛乱。汉献帝刘协年幼，是贼臣董卓所立，远在长安，又不识母氏所出。关东和长安远隔关塞，不知存亡，天下心无所归。而幽州牧刘虞宿有德望，是宗室中最贤明的，袁绍、韩馥等人便准备拥立他为皇帝。[13][38]韩馥为立刘虞为帝，写信给袁术说当今天子不是孝灵皇帝刘宏的儿子，自已打算依照绛侯周勃、颍阴侯灌婴诛废少帝刘弘迎立代王刘恒故事；又称刘虞的功德治行，华夏少二，当今公室枝属无人能比得上他。还说：“过去光武帝距离长沙定王五世，以大司马领河北，耿弇、冯异劝他即尊号，卒代更始。如今刘公（刘虞）是东海恭王（刘彊）的后代，与恭王也相隔五世，他以大司马领幽州牧，这就和光武帝的情况相同。”当时有四星会于箕尾，韩馥声称有谶语说“神人将在燕分。”