Първите следи от човешко присъствие на територията на селото са находки от неолита в пещерата Топля. То е най-древно обитаваното място в Централния Балкан. За това свидетелстват 36-те тракийски могили в неговото землище. 

За първи път селото се споменава в османски документ, намерен в Народната библиотека ”Св. Св. Кирил и Методий”, който свидетелства, че селото съществува като самостоятелно селище от 1479 година под името Железна.

Произхода на името на селото категорично се свързва с находището на желязна руда в местността Енча, в землището на селото. Съществуват две предположения – според първото през късното средновековие тук пристигат саксонски рудари (саси), които се смесват с местното население, според второто през XVII век, след потушаването на Чипровското въстание, част от бежанците се заселват тук и започват добив на желязна руда.

Основен поминък на населението по онова време са животновъдството, земеделието и овощарството. 

След Освобождението се развива занаятчийство – дърводелство, бъчварство, строителство, железарство и др.
Мъже от Голяма Желязна участват както в борбите за освобождение от Османската империя, така и във войните за национално обединение на България. 

При избухването на Балканската война в 1912 година един жител на Голяма Желязна е доброволец в Македоно-одринското опълчение.

През 1858 г. е изградена и осветена каменната църква „Св. Всях Светих“, а през 1862 г. е открито училище и в селото започва дълга училищна традиция, която обаче е прекратена в наши дни със закриването на основното училище.

Източник: Статии за селото