Корени настанка свих музеја у Србији, па и Историјског музеја Србије, налазе се у оснивању Народног музеја у Београду 1844. године када је први пут реализована идеја о прикупљању, чувању и приказивању музејске грађе којом ће се илустровати историја српског народа.

Иако се у почетку највише пажње поклањало археологији и нумизматици, тај се начин рада битно променио када је на чело музеја дошао Стојан Новаковић, професор словенске филологије, који је настојао да музеј усмери на историју и етнологију. Упркос томе, историјска збирка Народног музеја је постојала више формално - није било њеног планског развоја, а предметима, који су набављани и прикупљани стихијски, није се нико озбиљније бавио.

Имајући у виду такво стање у коме је традиција чувања културног блага била слабо развијена, а предмети пропадали, јасна је била потреба за оснивањем специјализованог музеја за прикупљање и заштиту историјских предмета који ће научно и стручно-музеолошки илустровати привредну, економску, политичку и културну историју Србије.

Први покушај, који није остварен, учињен је 1950. доношењем Уредбе о оснивању Историјског музеја НР Србије. Други покушај учињен је 1954. поводом обележавања 150-годишњице подизања Првог српског устанка, када је направљена изложба која је потом пренета у конак кнеза Милоша Обреновића у Топчидеру, који је претходно оспособљен за музејски простор. Тако је формиран Музеј Првог српског устанка, чија је концепција почивала на обради Првог (1804-1813) и Другог српског устанка (1815) као догађаја од изузетне важности за српски народ, којима је започет дуготрајан процес обнове српске државе и њеног признавања као независног међународног субјекта.

Музеј је имао неколико збирки (историјска, писаних докумената, слика, графике и скулптуре, оружја и војне опреме, етнографских предмета) које су, када је Уредбом Извршног већа Народне скупштине НР Србије од 20. фебруара 1963. основан Историјски музеј Србије због потребе постојања једног музеја општег типа који би свестрано приказивао богату историју српског народа, а потом 1966. и усвојена његова концепција, припојене новооснованом музеју.

Према концепцији, задатак Музеја је да прикупља, евидентира, чува, сређује, проучава и излаже материјал из историје српског народа и Србије од најстаријих времена до данашњих дана. Хронолошки, тематика музеја, која обухвата све важне процесе у развитку српског народа, са посебним акцентом на периоде борби за национално ослобођење, подељена је на неколико целина: средњи век, период стране власти, период 1804-1918, период НОР-а 1941-1945 и послератни развој Србије.

Најважнија делатност Музеја је прикупљање и заштита музејског материјала. На основу Решења о утврђивању надлежности музеја према врстама уметничко-историјских дела и према територији, Историјски музеј Србије је надлежан за уметничко-историјска дела од значаја за историју Србије и то за оружје и војну опрему од краја средњег века, униформе, заставе, знамења, реалије и меморијалне предмете везане за значајне личности и догађаје, карте, планове и атласе, привредно-технички материјал фабричке производње, печате, плакате, фотографије и разгледнице историјске садржине.

Историјски музеј такође врши послове заштите непокретности и других ствари од посебног значаја за историју и културу српког народа које се налазе у иностранству и то - Хиландар, Мађарска, Румунија и Трст.

У току свог скоро пола века дугог рада, Музеј је стекао знатну репутацију у земљи и свету, организујући репрезентативне изложбе које су приказиване не само у Београду и другим градовима у земљи, него и у Европи и САД. Историјски музеј је такође угостио бројне изложбе из Русије, Немачке, Чехословачке, Румуније, Бугарске и других земаља.

Музеј је још 1971. отпочео систематска археолошка ископавања једног од најзначајнијих и најстаријих средњовековних градова у Србији - Стари Рас код Новог Пазара, која су трајала 15 година и дала значајне податке за средњовековну историју Србије, затим на војном утврђењу Градина, где је откривена ковница новца краља Радослава, код Малог Иђоша и на другим местима.

Музеј има своју сталну публикацију - Зборник Историјског музеја Србије, чији су први бројеви (1954-1965) изашли у Музеју Првог српског устанка. Зборник излази годишње и објављује чланке, расправе, студије, приказе изложби и књига, као и друге прилоге из историје, културе, музеологије. Исто тако, Музеј је издао и неколико врло значајних посебних издања.

За изузетан допринос развоју културе у Републици Србији и свесрпском културном простору Музеј је 1997. године добио Вукову награду.