Erzincanın ilkçağ tarihi hakkında bilgi bulunmayıp, ikinci bin yılda yörede Hurriler, Hayaşılar ve Azzilerin yaşadığı bilinmektedir.

M.Ö. 1850-1180 yıllarında yöre Hititlerin egemenliğinde kalmıştır. M.Ö. 900 yıllarında kurulan Urartu Devleti sınırları işinde kalan Erzincanda kazılar (1953) sonucu Urartulara ait bir çok eser çıkarılmıştır. Medlerin Anadoluyu istilası sonucu ortadan kalkan (M.Ö. 600) Urartulardan sonra İl ve çevresi Medlerin (M.Ö. 612) ve Perslerin (M.Ö. 550) eline geçmiştir. İskenderin Pers İmparatorluğunu ele geçirmesiyle (366) Anadolu Makedonyalıların hakimiyetine girdi.

İran ve Bizans arasında sürekli savaşlara sahne olan Erzincan, Halife Hz. Osman zamanında (35/655) tümüyle Müslümanların yönetimine geçmiştir. 1071 Malazgirt zaferinden sonra, Anadolu un Türklerin eline geçmesiyle, Mengücek Ahmet Gazi bölgeyi hakimiyeti altına almıştır. 1243deki Kösedağ Savaşında Moğolların Selçukluları yenmesiyle, yöre İlhanlıların eline geçer. 1419da Karakoyunluların, 1455 de Akkoyunluların hakim olduğu bölge, 11 Ağustos 1473de Fatih ile Uzun Hasan arasında çıkan Otlukbeli Savaşı ile Osmanlıların denetimine geçti.

1502de Safevi tahtına geçen Şah İsmailin karargah yaptığı Erzincan, 23 Ağustos 1514 yılında Yavuz Sultan Selim ile Safeviler arasında yapılan Çaldıran savaşı ile tekrar Osmanlı yönetimine geçirilmiştir.