Myśl o utworzeniu Muzeum Kolejnictwa zrodziła się wśród kolejarzy wraz z odzyskaniem niepodległości w 1918 roku. Ogrom pracy i trudności, na jakie napotykano przy uruchamianiu bardzo zniszczonego transportu kolejowego, oddaliły realizację tego zamiaru na dalsze lata. Okolicznościami, które przyspieszyły powołanie Muzeum Kolejnictwa były początkowo Targi Wschodnie we Lwowie w 1927 roku, na których urządzono pawilon komunikacji, a następnie w roku 1929 Powszechna Wystawa Krajowa i w roku 1930 Międzynarodowa Wystawa Komunikacji i Turystyki w Poznaniu. Wiele cennych eksponatów z dziedziny kolejnictwa zaprezentowanych w postaci modeli, makiet, tablic poglądowych, po zakończeniu wystaw zgromadzono w niewielkim (niespełna 200 m2) pomieszczeniu na Dworcu Głównym w Warszawie.

Energiczne i zdecydowane działania pracowników resortu, pod bezpośrednim nadzorem Ministra Komunikacji, doprowadziły do powołania Muzeum Kolejowego jako resortowej instytucji kultury i przydzielenia na ten cel budynku przy ulicy Nowy Zjazd 1 - naprzeciwko Zamku Królewskiego w Warszawie. Uroczystego otwarcia Muzeum, w obecności znaczących osobistości rządu, ministerstw, placówek kultury, dokonano 13 grudnia 1931 roku. Na powierzchni około 900 m2 w 19 działach zaprezentowano dokumenty, fotografie, książki, wiele modeli i makiet. 15 grudnia 1938 roku Muzeum Kolejowe przekształcono w Muzeum Komunikacji wzbogacając jego ekspozycje o dwa działy: dróg kołowych i dróg wodnych. Do roku 1939 Muzeum zgromadziło ponad 4 tysiące eksponatów, w tym blisko 400 modeli, 250 tablic i wykresów, ponad 550 fotografii oraz 8 tysięcy książek. Nieprzystosowany do tego typu działalności budynek nie pozwalał na eksponowanie większych i cięższych maszyn i urządzeń, które gromadzono w magazynach dworcowych. Dlatego w planach przewidywano przeniesienie Muzeum na jedną z warszawskich stacji, gdzie miano gromadzić i eksponować również zabytkowy tabor i urządzenia kolejow

Ośmioletni dorobek Muzeum, w czasie II wojny światowej, uległ bezpowrotnej stracie. To co nie zostało spalone i wyburzone, wywieziono w głąb III Rzeszy. Tragiczny los spotykał również kolejarzy.

W okresie powojennym próbę ponownego zorganizowania Muzeum podjęto w roku 1946. Początkowo zaczęto gromadzić dokumenty i eksponaty w Pilawie. Pozyskaną, niewielką ilość zbiorów, przeniesiono do Bytomia. Na przełomie lat 1956-57 działalność Muzeum ustała.

Decyzję o kolejnym powołaniu Muzeum Kolejnictwa podjął Minister Komunikacji w roku 1972, wyznaczając na jego siedzibę Dworzec Warszawa Główna Osobowa. Od 1 stycznia 1995 r. Muzeum została wyłączone organizacyjnie ze struktury PKP i włączone bezpośrednio do Ministerstwa Transportu. Od 1 stycznia 1999 roku na mocy ustawy Muzeum Kolejnictwa przekazano do Samorządu Województwa Mazowieckiego. W okresie od 1972 r. tj. od powołania Muzeum Kolejnictwa systematycznie powiększano zbiory i rozszerzano działalność merytoryczną, głównie związaną z historią kolejnictwa na Ziemiach Polskich. W Warszawie - wraz ze zmniejszającą się rolą Dworca Głównego przybywało powierzchni wystawienniczych i dla zaplecza. Po udostępnieniu Muzeum niewielkiej powierzchni (ok.250 m2) w pomieszczeniach jeszcze czynnego dworca Warszawa Główna, zaczęto gromadzić i równocześnie eksponować pamiątki związane z historią kolejnictwa w Polsce.

Finalnie Muzeum otrzymało dwie sale wystawe o powierzchni ok. 800 m2 oraz wydzielono tory stacyjne gdzie zgromadzono zabytkowe pojazdy. W salach na wystawach stałych prezentowane są: historia kolei na Ziemiach Polskich od roku 1845 do okresu obecnego, początki kolei na świecie oraz wybrane eksponaty ze zbiorów Muzeum. Oprócz informacji fotograficzno-tekstowej związanej z tymi tematami na ekspozycji można obejrzeć wiele modeli taboru kolejowego, sztandary pracowników kolejowych z okresu międzywojennego, zegary i zegarki, lampy, telefony i mundury kolejowe, dokumenty i wiele innych związanych z historią kolejnictwa. Oprócz wystaw stałych Muzeum organizuje wystawy czasowe najczęściej związane z wydarzeniami rocznicowymi na kolei, jak również o innej tematyce np. obrazy oraz fotografie związane z funkcjonowaniem kolei i inne.

W roku 2009 nastąpiła zmiana Dyrektora Muzeum Kolejnictwa. Po długiej kadencji na emeryturę odszedł Pan Janusz Sankowski. Na jego miejsce powołany został przez Zarząd Województwa Mazowieckiego Pan Ferdynand B. Ruszczyc. Podjął on próbę przekształcenia Muzeum Kolejnictwa w placówkę nowoczesną, ciekawą i nastawioną na zwiedzających.