Doğu Karadeniz’deki Zigana dağları ile Gümüşhane dağlarını birbirinden ayıran ve güneydoğu-kuzeybatı doğrultusunda akarak Karadeniz’e ulaşan Harşit çayının yerleştiği dar bir vadide, deniz seviyesinden yaklaşık 1150 m. yükseklikte kurulmuştur. Şehrin kurulduğu yerin önemi, yakınında bulunan ve işletilmesi oldukça eski dönemlere kadar giden gümüş yataklarının varlığına dayandığı gibi bir taraftan da bu yerin eski bir ulaşım ekseni üzerinde bulunmasından kaynaklanır. Zira Doğu Karadeniz kıyılarının önemli liman şehri olan Trabzon’u İran Azerbaycanı’na bağlayan tarihî yol, Karadeniz kıyılarını Trabzon’un doğusunda terkettikten sonra Değirmendere vadisinin hazırlamış olduğu doğal koridordan faydalanarak içeriye dalmakta, kıyının gerisinde duvar gibi yükselen Zigana dağlarını aynı adı taşıyan geçitle aştıktan sonra (2030 m. yükseklikte olan Zigana Geçidi’nin yerine günümüzde daha alçak seviyelerde dağı delen Zigana Tüneli kullanılmaktadır) Harşit vadisini takip etmektedir. Gümüşhane ve çevresi bu yol ile kolaylıkla Bayburt’a bağlanmakta, ardından Kop Geçidi (2300 m.) vasıtasıyla Doğu Karadeniz dağlarının ikinci sırası da aşılarak Erzurum’a ulaşılmakta, daha doğuda Aras vadisinin oluşturduğu tabii kulvar izlenerek İran’a geçilmektedir. Bu yoldan Gümüşhane’de ayrılan bir diğer yol da güneydeki dağları başka bir geçitle (Sipikor Geçidi) aşarak şehri Erzincan’a ve buradan da ülkenin öteki bölgelerine bağlamaktadır.Gümüşhane yöresinin eski tarihi ve şehrin ne zaman kurulduğu hakkında kesin bilgi yoktur. Bununla birlikte şehrin ilk kurulduğu yerin, yukarıda belirtilen alanda olmadığı
