Budowę tej neogotyckiej wieży podjęto zaraz po tym, jak znaczna część Pałacu spłonęła 16 października 1834 roku. Zachowała się jedynie 900-letnia Westminster Hall oraz kaplica św. Stefana.
Projektantami byli m.in. Charles Barry i jego asystent Augustus W. Pugin. Odbudowa trwała do roku 1858. W obecnym kształcie pałac ma 1200 pomieszczeń i trzy kilometry korytarzy. Wieża stanęła na trzymetrowej grubości fundamencie o powierzchni 15 mkw. Ma 96,3 m wysokości, a tarcza zegarowa ma 7 metrów średnicy. Na wieżę prowadzą spiralne schody liczące 334 stopnie.
Projekt zegara został wybrany w drodze konkursu. Wytyczne, jakim miał sprostać projekt, opracował królewski astronom Sir George Airy. Głównym ich założeniem było precyzyjne odliczanie czasu (do jednej sekundy), które miało być koordynowane dwa razy dziennie drogą telegraficzną z czasem wybijanym w obserwatorium w Greenwich. Zegar taki został zbudowany przez Edmunda Becketta Denisona oraz przedsiębiorstwo EJ Dent&CO w roku 1854.
Tarcza zegara została zaprojektowana przez Augustusa Pugina i osadzona w stalowej ramie o średnicy siedmiu metrów, podtrzymującej 312 kawałków opalizującego szkła. Wskazówka godzinna mierzy 2,7 m, a minutowa 4,2 metra. Rzymskie cyfry maja po 60 cm wysokości. Na każdej tarczy widnieje napis Domine salvam fac reginam nostram Victoriam primam (Panie zachowaj naszą królową Victorię I).
Ptaki... "rozstroiły" Big Bena
Obecnie zegar jest bardzo precyzyjny choć jego połączenie z obserwatorium zostało zniszczone podczas II wojny światowej. W całej historii zdarzały się jednak opóźnienia. Po tym jak w 1949 roku stado ptaków usiadło na wskazówce pokazującej minuty, zegar opóźnił się o 41 minut. W 1962 roku, w noc sylwestrową Big Ben spóźnił się o 10 minut. Przyczyną tego były niezwykle obfite opady śniegu.
W 1976 roku nastąpiła pierwsza i jedyna usterka dotycząca metalowych części mechanizmu odpowiedzialnego za uderzenia w dzwony. W wyniku tej awarii Big Ben milczał od 10 sierpnia 1976 roku aż do 9 maja 1977. W 1997 roku zegar zatrzymał się dwukrotnie, a 27 maja 2007 roku zegar przestał tykać na 90 minut.
Dzwon nazwany został od imienia sir Benjamina Halla, głównego komisarza robót w 1858 roku. Inne źródła podają, że ta zwyczajowa nazwa pochodzi od imienia Benjamina Caunta, popularnego w owym czasie boksera wagi ciężkiej.
Pierwszy dzwon był gotowy w 1856 roku. Ważył szesnaście ton i jako że wieża nie była jeszcze gotowa, był testowany na pałacowym dziedzińcu. Próby okazały się niepomyślne, gdyż dzwon się rozpadł. Z jego kawałków wytopiono nowy w Whitechapel.
W 1858 dzwon, ważący 13,5 tony, o wysokości 2,3 m i średnicy 2,9 m, został przetransportowany i zamontowany na wieży. Po raz pierwszy odezwał się 31 maja 1859 roku. Z powodu zamontowania zbyt ciężkiego młota po dwóch miesiącach dzwon pękł, a dopiero po trzech latach wymieniono go na lżejszy. Sam dzwon nie został nigdy naprawiony.
Na wieży znajdują się cztery mniejsze dzwony słyszalne co kwadrans, wybijając wariację kilku taktów wzorowanych na tej z dzwonu St. Mary's Church w Cambridge pochodzących z Mesjasza Händla. Dzwony można usłyszeć w BBC Radio 4 o godz. 18 i o północy oraz w BBC World Service. Pierwszy taki sygnał został nadany 31 grudnia 1923 roku.
