Şebinkarahisar'ın dip tarihine ilişkin yeterli bilgiler henüz istenen nitelikte değildir. Kimi tarihçilere göre Hititler zamanında varlık göstermeye başladığı ve "Azzi Hayaşa Ülkesi" olarak adlandırıldığı ve burada Kaşgarların yaşadığı söylenir.Bir ara Kimmerler ve İskitlerin saldırısına uğrayan bölge, bilinen devir içinde Pontusluların hakimiyeti altında kalmıştır (MÖ.298-263).

M.Ö. 65 yıllarında Romalılar'ın  egemenliğine giren Şebinkarahisar M.S.  391'de Orta Asya'dan Peçenek ve Koman  Türkleri tarafından istila edilmiş ve 60 yıl kadar bu Türklerin himayesinde kalmıştır. Zamanla bu Türkler  Hıristiyan Misyonerleri tarafından Hıristiyanlaştırılmışlardır. Kayadibi  Meryemana Kilisesi diye adlandırılan kilise Hıristiyanlaştırılan bu Türkler tarafından inşa edilmiştir. Bu tarihten itibaren şehir Romalılar ve Türkler arasında devamlı el değiştirmiştir. 1071 Malazgirt Savaşından sonra Şebinkarahisar bir daha çıkmamak üzere Türklerin eline geçmiştir.
Şehrin imar edilmesi Bizans İmparatoru Hustinaiaus zamanında olmuş, kale onarılarak sağlamlaştırılmıştır.
Karahisar, 778 yılında kısa bir süre Emevi ordularınca Yezit bin Usayd al-Sulâm tarafından ele geçirilmiştir.Aynı şekilde Abbasiler tarafından 939-940 yılları arasında çevre köyler ele geçirilmiştir. Türklerin Anadolu'ya girişi ile (1071 Malazgirt Savaşı) Mengücek Gazi ve Danişmend Gazi tarafından birlikte fetih edildiği ileri sürülmektedir. Nitekim 1228 yılında şehir Anadolu Selçuklu Devletine bağlanmıştır. Bu devletin zayıflayıp yıkılmasından sonra, sırasıyla İlhanlılar, Eratnalılar ve Kadı Burhaneddin ile Akkoyunlu beyliklerinin idaresine girdi. Akkoyunlu Devletinin 1473 yılında Fatih Sultan Mehmet'e Otlukbeli Savaşı ile yenilmesinden sonra, Şebinkarahisar Osmanlı Devlet idaresine girdi. Şehzadeler Şehri olarak anılan Karahisar, Karahisar-ı Şarkî adıyla anılmış ve yönetim açısından sancak durumuna getirilerek yönetilmiştir.
Şebinkarahisar'da çeşitli dinlere mensup vatandaşlar yüzyıllarca beraber, kardeşçe yaşamışlardır. Ancak,  bilhassa  dış güçlerin etkisi ile etnik guruplar zaman zaman baş kaldırmışlar ve müessif hadiseler meydana gelmiştir. 1915 yılında ayaklanan Ermeniler kaleyi ele geçirmişler ve 20 gün boyunca devam eden çatışmalardan sonra ayaklanma bastırılmıştır. Ayaklanma süresince 403 Türk ölmüş, 176'sı da yaralanmıştır.
Kurtuluş Savaşı'nda Şebinkarahisar'lıların  üstün gayret ve fedakarlıkları her türlü takdirin üstündedir. 1919 yılında Erzurum'da toplanan kongreye Şebinkarahisar'ı temsilen  Dr. Cemil ŞENCAN delege olarak katılmıştır. 1920 yılında ilçede Anadolu Müdafa-i Hukuk Cemiyeti Şurası kurulmuştur. Cemiyet bu dönemde dış tahriklerle, şımarık Ermeni ve Rum çetelerinin mezalimlerinin büyümesine engel olmuştur.

Kurtuluş Savaş'ının kazanılmasından sonra, 1923 yılında livaların il yapılmasına karar verilmiş, bu karar neticesinde o günlerde liva olan Şebinkarahisar da il yapılmıştır. Aynı yıl içinde 10.alay Şebinkarahisar'a intikal ettirilmiştir.10. Alayın intikali ile birlikte  şehrin ekonomik ve sosyal yaşantısında büyük bir canlılık meydana gelmiştir. 10 yıl süre ile il durumunu muhafaza eden Şebinkarahisar 2197 Sayılı Kanunla 1933 yılında ilçe statüsüne getirilmiştir. Halen Şebinkarahisar'ın il olma arzusu sürmekte olup, bunu kazanılmış bir hak olarak görmektedirler.

Alışılmış yurt gezilerine devam eden Atatürk Erzurum'da bir deprem olması dolayısı ile Erzurum'a gitmiş, dönüşte Şebinkarahisarlı halkın daveti üzerine 11 Ekim 1924 Cumartesi günü Erzincan'dan hareket ederek gece oldukça geç vakitlerde Şebinkarahisar'a gelmiştir.Atatürk'ü Vali Abdurrahman Bey ile , Belediye Reisi Rıza Bey, Suşehri'nde karşılamışlar, oradan birlikte şehre girmişlerdir. Atatürk Şebinkarahisar'a girişinde top atışlarıyla ve coşkulu bir kalabalık tarafından sevgi gösterileri ile karşılanmış, sokaklar ve kale meşalelerle donatılmıştır.
       
Ertesi gün 12 Ekim 1924 pazar günü Belediye Başkanlığı, Halk Fırkası Başkanlığı, Türk ocağını, Alay Komutanlığını ve Orta Okulu ziyaret ederek Orta Okul merdivenlerinde birer hatıra fotoğrafı çektirmiştir.
Türk Ocağını ziyaretinde , ocağın imkansızlığı karşısında kendisinden özür dilenmiş , Atatürk burada yaptığı konuşmada: " Ben bu şehri çok beğendim .Sevgimin temadisine alem olmak üzere Şark-ı Karahisar adını Şebinkarahisar olarak tashihini teklif ediyorum. Şab'ı başta olmak üzere Fatih Sultan Mehmet Hanların otağ kurduğu bu topraklar içinde daha neler varsa ele alınmak, tarihen olduğu kadar da iktisaden de bu şehri ileri götürmek vazifemiz olmalıdır. Sürekli yangınlar görmüşsünüz , Memleketiniz bir harabeye dönmüş fakat esef etmeyin,şu tek gözlü mütevazi ocağınızda derin bir samimiyet ,geniş ve anlayışlı bir kültür buldum.Kalkınacaksınız ,mes'ut olacaksınız.

Türk ocakları dekorlarla ölçülemez . Türk'ün bu şan ocakları sönmez alevlerle ilelebet tütecektir ve bu harebeler bir gün birer mamureler haline gelecektir." diyerek ocak defterini imzalamış ve deftere şunları yazmıştır:
" Türk Ocağı Türk'ün has ocağı, varlık ve birlik ocağı; Yüksek alevlerle tütsün, muhitine nur saçsın. Yaşasın ve yaşatsın" Cumhurreisi Gazi Mustafa Kemal Şebinkarahisar Vilayetindeki incelemelerini tamamladıktan sonra 12 Ekim 1924 tarihinde akşama doğru milletvekili hemşehrimiz Ali Sururi Bey ve heyeti ile birlikte Şebinkarahisar Vilayetinden Ankara'ya hareket etmiştir.
Atatürk'ün misafir edildiği ev halen müze olarak hatıralarıyla birlikte yaşatılmaktadır.