于是起兵反晋（当时针对东海王势力[11] ），二十日之间就聚众五万，都于离石。[12] [13] 东赢公、并州刺史司马腾向鲜卑拓跋猗迤求兵攻打刘渊，拓跋猗迤与弟拓跋猗卢联合在西河进攻刘渊，击败刘渊军，在汾东与司马腾结盟后回师。[14]

左国城称王

永兴元年（304年）十一月（也有系于“十月”的），刘渊从离石迁于左国城（今山西省离石县），来归附的胡、晋人很多。为取得胡人政权的合理性，刘渊以“兄亡弟绍”复汉为名义，筑坛于南郊即汉王位，大赦境内，改晋永兴元年为元熙元年，定国号为汉，正式建立政权。同时，追谥刘禅为孝怀皇帝，立汉高祖以下汉三祖五宗神主而祭之。立其妻呼延氏为王后。置百官，以刘宣为丞相，崔游为御史大夫，刘宏为太尉，其余拜授各有差。

同年十二月（实际已是公历的305年初），晋并州刺史司马腾遣兵攻汉，双方大战于大陵（今山西省文水北），刘渊大胜，并遣刘曜等攻取上党、太原、西河各郡县。当时在青、徐二州的王弥，魏郡的汲桑、石勒，上郡四部鲜卑陆逐延，氐族酋长单征等人均拥刘渊为共主。刘渊命王弥、石勒等人攻取河北各郡县，并一度攻入西晋的重镇许昌，其兵锋进抵至西晋的首都洛阳城下。[12]

刘渊称帝

永嘉二年（汉永凤元年，308年）十月甲戌，刘渊在左国城正式称帝，大赦境内，改年号为永凤。以大将军刘和为大司马，封梁王，尚书令刘欢乐为大司徒，封陈留王，御史大夫呼延翼为大司空，封雁州郡公，宗室以亲疏为等，悉封郡县王，异姓以勋谋为差，皆封郡县公侯。[18]

次年正月，太史令鲜于修之对汉主刘渊说：“不出三年，一定能攻克洛阳，蒲子地形崎岖，难以在这儿长久安居，平阳的天象正好昌盛，请把都城迁到那里。”刘渊采纳其建议，迁都平阳。宣布大赦，改年号为河瑞。

四月，晋左积弩将军朱诞投奔了汉国，详尽陈述洛阳守备薄弱的现状，并劝刘渊趁机发兵攻打。于是，命朱诞为前锋都督，灭晋大将军刘景为大都督，统军攻克黎阳（今河南省浚县东北），接着刘景又与晋将王堪战于延津（今河南省延津县北），又将其击败，而后下令将三万多男女投入黄河淹死。刘渊得之此事后愤怒地说：“景何面复见朕！且天道岂能容之！吾所欲除者，司马氏耳，细民何罪！”降刘景为平虏将军。

又派遣四子刘聪进攻包围洛阳。同年夏季，刘渊以王弥担任侍中、都督青·徐·兖·豫·荆·扬六州诸军事，征东大将军、青州牧，与楚王刘聪合兵进攻壶关，以石勒担任前锋都督。刘琨派遣护军黄肃、韩述救援壶关，刘聪在西涧打败韩述，石勒在封田打败黄肃，将两人都杀了。晋太傅司马越派遣淮南内史王旷、将军施融、曹超带兵抵御刘聪等人。王旷军渡过黄河后，想长驱向前，施融反对说：“对方凭据险要、抄小路出击，我军虽有数万，仍是孤军受敌。应暂且以河水当作屏障等待形势的转变，再谋划攻击对方。”王旷听了发怒地说：“君欲沮众邪！”施融退帐外，说：“对方善于用兵，王旷却不懂战场情势，我等今日死定了！”王旷等人翻越太行山与刘聪遭遇，激战于长平地带，王旷所部大败，施融、曹超都战死。刘聪趁势攻陷屯留、长子，斩敌一万九千。上党太守庞淳献壶关而降。晋并州刺史刘琨以都尉张倚遥领上党太守，屯据襄垣。