Eski çağlarda halcilerin yaşadığı sahada yer alan Bayburtun bir müddet Roma İmparatorluğu hakimiyetine girdiği ve bu imparatorluğun ikiye ayrılması üzerine Doğu Roma toprakları içinde kaldığı bilinmektedir. Bizans İmparatorluğu teşkilatına göre ülke, bugünkü eyaletlere benzer bir takım temalara ayrılmıştı.
Bayburt Heldia temasına bağlıydı ve bu eyaleti meydana getiren yedi piskoposluğun dördüncüsünü meydana getiriyordu. İmparator Justinianus tarafından kalesinin tahkim ve tamir edildiği bilinen Bayburt, Arap fetihleri sırasında Bagrat sülalesinin hakimiyeti altında bulunmaktaydı. Bayburt ve yöresi, Türklerini Anadoluda ilk yerleştikleri bölgelerdendir. Tuğrul Beyin Anadolu seferi (1054) sırasında Bayburt, Çoruh nehri ve Karadeniz dağlarına (Parhar) uzanan sahalara akınlarda bulunan Selçuklu kuvvetlerinin hücumlarına maruz kaldı ise de fethedilemedi. Kesin Türk hakimiyeti Malazgirt zaferinden sonra gerçekleşti.
Şehir 1072den 1202ye kadar bazen Erzurum yöresinde hüküm süren Saltukların bazen de Danişmendilerin hakimiyetinde kaldı. Bir ara Trabzon imparatoru I.Alexis Comnenin kumandanı Theodore Gabras tarafından işgal edildiyse de, kısa süre sonra yeniden Danişmendli hakimiyetine girdi. (1098) Selçuklular 1202de Saltuklu Devletine son verince Bayburtu da ele geçirdiler. Bayburtun asıl gelişmesi, Süleyman Şahın kardeşi Erzurum Meliki Mugisuddin Tuğrul Şah ve oğlu Cihan Şah (1020-1230) döneminde oldu. Tuğrul Şah Bayburt kalesini yeniden inşa ve tahkim ettirdi. I:Alaeddin Keykubad tarafından Moğollara karşı sınırlar kuvvetlendirilirken Bayburt da Erzurum ile birlikte Konyaya bağlandı. 1243 Kösedağ savaşının ardından Moğolların Anadoluyu istilası esnasında yapılan anlaşma gereği Baybırt Selçukluların kontrolünde kaldı. Bu durum 1291de burada Giyaseddin Mesud tarafından para bastırılmasından anlaşılmaktadır.
İlhanlılar devrinde Tebriz-Trabzon yolu üzerinde bulunması sebebiyle daha da gelişen Bayburt, Ceneviz ve Venedik kervanlarının konakladığı bir yerdi. Moğolistana giderken buraya uğrayan Marko Polo şehirde zengin Gümüş madenlerinin bulunduğunu belirtir. Hatta İlhanlılar buradan yüklü bir vergi geliri temin ediyorlardı. Bu dönemde Darül Celal adı ile anılan ve iktisadi bakımdan canlılık kazanan şehir aynı zamanda bir kültür merkezi durumundaydı. Burada Mahmudiye ve Yakutiye medreseleri kurulmuş, Mevlevilik gelişme göstermiş, ayrıca ahilik teşkilatı da yayılmıştı. Son İlhanlı hükümdarı Ebu Said Bahadır Hanın ölümünden sonra (1334) Bayburt, Eretnaoğulları
ın eline geçti. Zaman zaman Erzincan Beylerinin hücumlarına uğrayan şehir, bir ara Mutahhartenin idaresine girdi. Fakat çok geçmeden Kadı Burhaneddin zamanında Akkoyunlu beylerinden Kutlu Bey oğlu Ahmet Beyin yardımı ile alındı ve Ahmet Beye ikta olarak verildi. Bir ara Karakoyunluların da eline geçen şehir sonra tekrar Akkoyunluların eline geçti ve uzun süre öyle kaldı. Bayburt yöresi 1501de bir ara Safeviler tarafından alındı.
Bu dönemde Trabzon valisi olan Yavuz tarafından bun bölgeye akınlar yapıldı (1507). Yavuz tahta çıktıktan sonra da çıktığı İran seferinde bir kısım kuvvetlerini Bayburt üzerine gönderdi. Ekim 1514 e Bayburt Şah İsmailin elinden alındı. Bundan sonra Bayburt Erzincan ile birlikte Trabzon Beyi Bıyıklı Mehmet Paşaya verildi ve Sancak merkezi ilan edildi. Kanuni
in İran seferi sırasında önemi daha da artan Bayburt kalesi 1541de esaslı bir tamir gördü. 1553 e Şah Tahmasbın akınlarına şahit olunduysa da, bundan sonra XIX. Yüzyıla kadar önemli bir olay yaşanmadı. 1828-1829 Osmanlı-Rus savaşı esnasında Rus birliklerinin işgaline uğradı. 1878 ve 1916da Ruslar tarafından yeniden işgal edilen Bayburt bu işgaller sırasında önemli oranda tahrip edildi. 1927ye kadar Erzuruma bağlı olan Bayburt bu tarihte Gümüşhaneye bağlandı. 21.06.1989 tarihinde 3578 sayılı yasa ile il statüsüne kavuştu.
