Перед Национальной галереей расположена большая терраса, откуда прекрасно видна возвышающаяся чуть к югу, на берегу Дуная, гора Геллерт. Ее высота 235 м., от зеркала реки до вершины горы 140 м. На самой вершине горы воздвигнута Цитадель. Это сравнительно молодое сооружение построили Габсбурги в 1850 году, чтобы держать под контролем венгерскую столицу.

Сделав вывод из событий 1849 г. - штурма Будайской крепости (национально-освободительная революция 1848-1849 г. г.), Венский военный совет решил вместо ставшей неактуальной крепости возвести мощное укрепление, способное контролировать и в случаи необходимости укрощать революционные проявления венгерского народа.

Первый форт укрепления начали возводить в 1850 г. на горе Геллерт по плану проекта австрийского военного инженера Эммануэла Зитта. Длина строения составляла 220 м., а высота стен 12-16 м. Через четыре года в казармы заселили австрийский гарнизон. Другие части фортификации так и не были возведены, так как Главное военное руководство Монархии приняло решение о сооружении современного укрепления вокруг города Комаром.

В 1867 г., после подписания австрийско-венгерского компромиссного соглашения, Цитадель утратила свое стратегическое значение, но только в 1899 г. австрийский гарнизон покинул форт, так как венгерские власти выкупили его. Тогда же воодушевленные будапештские жители символически разобрали верхнюю часть входа, но, к счастью, до полного разрушения не дошло. Во время Второй мировой войны в 1944-1945 г. г. Цитадель использовали в военных целях против Красной армии. В результате всех действий сооружение было повреждено и по сей день не восстановлено.

Цитадель является одним из символов венгерской столицы, а с 1987 г. внесена в список Мирового наследия ЮНЕСКО.