Прва београдска гимназија основана је 26. августа 1839. године као интелектуални источник слободарских тежњи Србије Карађорђевих времена.

Првих пола века свог постојања носила је назив Гимназија београдска, а када су се крајем века у Београду појавиле и друге гимназије променила је име у Прва београдска гимназија.

После Првог светског рата добила је назив Прва мушка реална гимназија у Београду. Пошто је 1959. године спојена са четвртом женском гимназијом променила је име у Прва београдска.

У периоду усмереног образовања звала се Образовно-васпитна организација „Моша Пијаде" да би јој од 1990. године био враћен стари назив Прва београдска гимназија.

Гимназија је почела са радом у Југ Богдановој 26 у кући која је узета у закуп од Николе Селаковића, после чега је често мењала место. У току школске 1844/45. године се иселила из куће Николе Селаковића и уселила у Конак кнегиње Љубице, одакле се школске1846/47. преселила у околину Саборне цркве у зграду садашњег Факултета примењених уметности у Улици краља Петра број 4, названој тако да подсећа да је најстарији син кнеза Александра Карађорђевића, кнежевић Петар Карађорђевић, доцније краљ Петар Први, ту похађао сва четири разреда Прве београдске гимназије. На овом месту је током јуна 1858. године кнежевић Петар јавно полагао испите које је те године учио. Испиту је, између осталих, присуствовао и Вук Караxић. Прва београдска гимназија је 1863. године трајније решила проблем свог смештаја на основу поклона Капетана Мише Анастасијевића, односно била је смештена у Капетан-Мишино здање заједно са Великом школом, Библиотеком, Музејом и Друштвом српске словесности. Ово време је познато по првом ђачком политичком покрету у српским школама. Са појавом покрета Светозара Марковића ђаци тадашње Прве београдске гимназије постали су толико политички активни да је после познате ђачке буне 1871. године Министарство просвете наредило ондашњем директору Прве београдске гимназије Ђорђу Малетићу да прекине ово ђачко политизирање исказано кроз рад ђачке организације „Српска Нада". Пошто је Капетан-Мишино здање постало тесно због све већег броја студената у Великој школи, од почетка школске 1898/99. до 1904. Прва београдска гимназија се сместила у три зграде: зграду у Улици краља Петра 4, зграду београдске Реалке и зграду код Вазнесенске цркве (зграда укинуте Треће београдске гимназије). У овом периоду Гимназија је имала три школе, 72 професора и веома велики број ђака. Године 1905. Прва београдска гимназија се уселила у закупљени „Дом Светог Саве" у Улици цара Душана 13, јер су зграда Реалке и зграда у Улици краља Петра 4 биле у врло лошем стању. Али, ни тај смештај није био задовољавајући због удаљености од центра града.

Почетком 1935. године одлучено је да се питање смештаја Прве београдске гимназије реши зидањем зграде специјално намењеном за ту сврху. Пошто је Београдска општина дала плац код цркве Светог Александра Невског, узет је кредит па је 20. септембра 1936. године освећен камен темељац нове гимназијске зграде. У ту зграду Прва београдска гимназија се уселила 27. априла 1938. године где је остала до данашњих дана.

Иако је почела вршење своје узвишене мисије без директора, само са два одељења и професорима Василијем Бераром и Михајлом Поповићем, школованим на чувеним универзитетима Пеште и Беча, Прва београдска гимназија данас има тридесет и два одељења и врхунски образовно-васпитни кадар. Шетња кроз ходнике ове школе је шетња кроз историју српске друштвене и природне научне мисли. На свеже окреченим зидовима овог импозантног здања нижу се ликови Љубе Ненадовића, Милована Глишића, Светислава Вуловића, Стевана Сремца, Лазе Лазаревића, Петра Кочића, Јована Скерлића, Оскара Давича, Корнелија Станковића, Стевана Мокрањца, Степе Степановића, Јована Цвијића, Михајла Петровића Аласа, Бране Петронијевића, Марка Мурата, Марка Челебоновића, Пеђе Милосављевића и других славних ученика и професора ове школе. Године 1989. Прва београдска гимназија је проглашена за споменик културе. Није претерано рећи да Прва београдска гимназија припада групи националних институција Србије као што су Народна библиотека, Народни музеј, Државни архив, па је због тога проглашена за спомен школу .