Pierwszą budowlą na na końcu półwyspu Sciberras była zbudowana w roku 1488 przez Aragończyków wieżą obserwacyjna na Saint Elmo Point, dedykowana Erazmowi z Formii, lepiej znanemu jako św. Elmo. W roku 1533 Joannici wzmocnili wieżę ze względu na jej strategiczną pozycję. W roku 1551 miał miejsce najazd osmański, kiedy turecka flota wpłynęła niepowstrzymana do zatoki Marsamxett. W związku z tym zdecydowano, że potrzebna jest większa twierdza i w roku 1552 zburzono wieżę i rozpoczęto budowę nowego fortu gwiaździstego.

Został on zaprojektowany przez czterech włoskich architektów, i posiadał nadszaniec, drogę na szczycie przeciwskarpy oraz kleszcze. Kilka miesięcy przed oblężeniem 1565 roku zbudowano naprędce rawelin.W roku 1565 Turcy najechali Maltę kolejny raz, siłami dużo większymi niż w roku 1551. Fort Saint Elmo był sceną wielu poważnych walk oblężenia oraz wytrzymał ciężkie bombardowanie tureckich dział ustawionych ponad fortem na Wzgórzu Sciberras oraz baterii z północnego ramienia portu Marsamxett, na miejscu dzisiejszego Fortu Tigne. Początkowy stan garnizonu fortu wynosił około 150 rycerzy Zakonu i 600 żołnierzy, większość których była Hiszpanami, oraz 60 uzbrojonych niewolników z galer. Fort wytrzymał oblężenie przez 28 dni, poddając się Turkom 23 czerwca 1565 roku. Żaden z rycerzy-obrońców nie przeżył, jedynie dziewięciu Maltańczyków zdołało uciec po upadku fortu, przepływając wpław port Grand Harbour do Fortu Saint Angel. Długa obrona fortu dała czas, tak potrzebny do przygotowania innych fortec oraz nadejścia posiłków z Hiszpanii, które masakrując Turków odepchnęły ich od Malty.

Po oblężeniu, Wielki Mistrz Jean de Valette zdecydował o budowie nowego miasta na półwyspie. Prace rozpoczęto w roku 1566, a papież przysłał swojego architekta Francesco Laparelliego, aby ten zaprojektował fortyfikacje. Zrujnowany Fort St. Elmo został odbudowany i włączony w system murów obronnych miasta. W XVII wieku fort był kilkakrotnie modyfikowany. W roku 1614 zbudowany został Vendome Bastion, a w roku 1687 na skale przybrzeżnej zbudowano Carafa Enceinte, osłaniające fort dookoła. W późnych latach XVII wieku fort został bezpośrednio połączony z nadszańcem, i część rowu obronnego została w czasie prac wypełniona, grzebiąc niektóre z oryginalnych murów obronnych. W XVIII wieku na Bastionie Vendoma zbudowany został nowy magazyn prochu, a pomiędzy głównym fortem a Carafa Enceinte zbudowano Składy Pinto. 8 września 1775 roku Fort St. Elmo został zajęty przez 13 zbuntowanych księży. Flaga Zakonu została opuszczona, i zastąpiono ją chorągwią św. Pawła. Zakonowi udało się odbić fort, także rebelianci poddali się.

Fort został zmodyfikowany raz jeszcze we wczesnych latach XIX wieku, kiedy Maltą władali Brytyjczycy. Zbudowano wtedy osłonę (parapet) dla muszkieterów. W roku 1855 magazyn prochu na Bastionie Vendome został przerobiony na zbrojownię, a kilka niewielkich egzemplarzy broni zostało tu przeniesionych ze Zbrojowni Pałacowej. W okresie międzywojennym zbudowane zostały podstawy dział, przeznaczone do umieszczenia nowych podwójnych 6-funtowych dział szybkostrzelnych. Dnia 11 czerwca 1940 roku fort był celem pierwszego lotniczego bombardowania Malty, w wyniku którego zginęło 6 osób. Niektóre części fortu zostały mocno uszkodzone podczas wojny, i do dziś można zobaczyć ślady bombardowania.

Brytyjczycy opuścili fort 26 marca 1972 roku, zamykając jego długą historię militarną. Z biegiem czasu coraz większa część fortu przestawała być używana. Od roku 1975 w części fortu mieściło się Narodowe Muzeum Wojny, w którym znajdowało się wyposażenie wojskowe oraz inne rzeczy, powiązane z I i II wojną światową. Muzeum zostało zamknięte we wrześniu 2014 roku, a otwarto je powtórnie w maju 2015 roku. W roku 2009 rozpoczęto wielkie prace restauracyjne, i do roku 2015 prace nad odnowieniem fortu zostały zakończone.

Oryginalny fort gwiaździsty, czasem znany jako Upper Saint Elmo (Górny St. Elmo) z powodu górowania nad pozostałą częścią fortu, składa się z dwóch półbastionów, dwóch flank i dwóch czół, placu parad-musztry, koszar i olbrzymiego nadszańca. Fort posiadał oryginalnie również rawelin, lecz ten został zburzony podczas odbudowy po Wielkim Oblężeniu 1565 roku. Po wybudowaniu fortyfikacji Valletty, w roku 1614 postawiono Vendome Bastion, który połączył French Curtain z Fortem St. Elmo. Bastion posiada bartyzanę, w czasach późniejszych przekształcono go w magazyn, następnie zbrojownię. Bastion jest teraz częścią Narodowego Muzeum Wojny. Fort najlepiej się prezentuje od strony wody.

Zdjęcia wykonano we wrześniu 2017 roku.