Pohoří táhnoucí se východozápadně na sever od Temného hvozdu. Na sever od Šedých hor byla chladná pustina zvaná Forodwaith. Západní konec pohoří navazoval na Mlžné hory a na východě končilo ve Zvadlých vřesovištích severně od Osamělé hory. V Šedých horách pramenila Lesní řeka, vlévájící se do Celduiny a v západní části hor také říčka Sivá, která byla přítokem Anduiny.
Šedé hory byly pozůstatkem ohromného masivu Ered Engrin, který v Prvním věku ohraničoval sever Středozemě a pod nímž byla na západě vybudována Melkorova pevnost Angband. Pohoří bylo zničeno ve Válce hněvu a zůstaly z něj jen menší pozůstatky jako Angmarské hory, Šedé hory a Železné hory.
V Ered Mithrin bývalo mnoho sídel trpaslíků, hlavně po vyhnání z Khazad-dûm (roku 1981). Z Ereboru sem přišel a usídlil se tu dokonce i král Durinova lidu Thorin I. (2035-2289) a po něm tu sídlili jeho potomci až po Dáina I.. Také se tu často vyskytovali draci, přicházející z pustých oblastí na severu. Jedním z největších byl Scatha, který zabil mnoho trpaslíků a nashromáždil jejich poklady, ale později (pravděpodobně kolem roku 2000) byl poražen bojovníkem Framem z Éothéodu. To vedlo ke sporu mezi Éothéodem a trpaslíky, neboť trpaslíci požadovali navrácení jejich pokladu, ale Fram jim poslal pouze náhrdelník z dračích zubů se slovy: "Takové drahokamy ve svých pokladnicích nenajdete, protože se těžko dobývají". Trpaslíci ho za tuto urážku zabili. Hory pak ale byly na nějaký čas oproštěny od nebezpečí draků.
Ve dvacátém šestém století se na severu draci opět rozšířili a roku 2589 byl jedním z nich u vchodu své síně zabit král Dáin I. se svým synem Frórem. Pak trpaslíci hory opustili a odešli do Ereboru a do Železných hor. V pozdějších dobách byly Šedé hory obydleny skřety a stalo se z nich obávané místo. Situace se na čas zlepšila po zabití draka Šmaka, kdy bylo v Bitvě pěti armád poraženo velké vojsko skřetů z Mlžných a Šedých hor, ale s rostoucí mocí Mordoru přišlo na konci Třetího věku opět zhoršení.