Karliova ilçesi Hitit ve Huri egemenliginden sonra M.Ö. 402ta Bizanslilar' in eline geçer. Hz. Ömer zamaninda Islam devletlerinin topraklarina katilir. 1071 Malazgirt Zaferi'nden sonra Selçuklu hakimiyetini takiben Mengücekliler, Ilhanlilar, Celayirliler, Akkoyunlular ile Safarilerin hakimiyetine girer. 1514'te Yavuz Sultan Selim'in Çaldiran Zaferi ile Osmanli topraklarina katilir. Cumhuriyet' in ilanindan sonra 1936 yilina kadar Mus iline bagli Bingöl adini tasiyan bir ilçe merkezi iken; yine 1936'da il haline getirilen su anki Bingöl iline ilçe olarak baglanmistir. 1938'de yürürlüge giren kanun ile ismi Karliova olarak degistirilir.

Ilçenin Isminin Kaynagi:
1936'da Bingöl il merkezi olmadan önce Karliova'nin adi Bingöl olarak geçmekteydi. Su anki Bingöl il olduktan hemen sonra bu ilçeye baska bir isim vermek için toplanan kaymakamlik heyeti ilçeye isim bulmakta zorluk çeker. Müzakere ve münakasalardan bir türlü sonuç alinamamaktadir. Posta eri Bu arada Kaymakamlik toplantisina kulak misafiri olur. Posta eri daha fazla dayanamaz ve içeri girer. Selam verdikten sonra : "Müsaade ederseniz ben bir isim vereyim." der. Kendisine müsaade verilir. Posta eri: "Efendim, disariya baksaniza bu ova karla kapli, bu ovanin adi 'Karliova' olsun." der. Bu isim Kaymakamlik makaminca hosa gider ve Bingöl isminin Karliova olarak degistirilmesi uygun görülür. Bakanlar Kurulu'nun 27.07.1938 tarihli karari ile ilçenin adi Karliova olarak degistirilir.