Karlıova İlçesi Hitit ve hurri egemenliğinden sonra MÖ 40'da Bizanslıların eline geçer. Hz. Ömer zamanında İslam devletleri topraklarına katılıyor. 1071'den sonra Selçuklu hakimiyetine girdikten sonra Mengüçoğulları, İlhanlılar, Celayirler, Akkoyunlar ile Safarilerin hakimiyetine girip çıkarlar. 1514'de Çaldıran Zaferi ile Osmanlıların sınırlarına dahil olur.
Cumhuriyetin ilanından sonra 1936 yılına kadar Muş İline bağlı bir yerleşim yeri iken, 1936 yılında İl olan Bingöl'e ilçe olarak bağlanmıştır.
Karlıova İlçesi daha önceleri Muş iline bağlı ve Bingöl adını taşıyan bir ilçe merkezi iken, 1936 yılında il haline getirilen Çapakçur'a (Bingöl) bağlanmıştır. 1938 yılında yürürlüğe giren kanun ile ismi Karlıova olarak değiştirilmiştir.
Adının Kaynağı: 1936 yılında Çapakçur İl merkezi olmadan önce İlçenin adı Bingöl olarak geçmekte idi. Bingöl ismini efsanelere konu olan Bingöl dağlarından almakta idi. Bakanlar Kurulunun 27.07.1938 tarihli kararı ile Bingöl vilayetine bağlı olan İlçenin adi ''Karlıova'' olarak değiştirilmiştir
Bingöl vilayetinin İlçesine başka bir ad vermek için toplanan heyet ad bulmakta güçlük çeker. Müzakere ve münakaşalardan bir netice alınamadığını gören posta eri kapıyı çalarak içeri girer. Selam verdikten sonra ''Müsaade ederseniz ben bir ad vereyim'' der. Kendisine müsaade verilir: 'Efendim dışarıya baksanıza ova karla kaplı, bu ovanın adi ''Karlıova'' olsun der. İsim hoşa gider Bingöl isminin Karlıova olarak değiştirilmesi Kaymakamlıkça kararlaştırılır.
