ASÍ hefur um langt skeið rekið listasafn og á umtalsverða safneign sem byggir á gjöfum víða að. Upphaf safnsins má rekja til Ragnars í Smára, sem á meðan hann lifði styrkti marga íslenska listamenn, þar með talið Halldór Laxness og Jóhannes Kjarval. Þann 17. júní 1961 tilkynnti hann ASÍ að hann hyggðist gefa verkalýðsfélaginu listaverkasafn sitt. Hannibal Valdimarsson forseti ASÍ á þeim tíma lýsti því sem svo að menn hefði sett hljóða á miðstjórnarfundi þegar frá þessu var skýrt og einróma samþykkt að þiggja gjöfina.

„Fyrir því hefði sjálfsagt fáa órað í upphafi, en nú hefur það gerzt, að samtök íslenzkra erfiðismanna, Alþýðusambandið, er orðið miljónamæringur í fegurðarverðmætum, sem halda munu fullu gildi, þótt gengið falli og nálega á hverju sem veltur,“ sagði hann þegar við gjöfinni var tekið formlega.

Gjöfin var 120 málverk eftir meðal annars Nínu Tryggvadóttur, Ásgrím Jónsson og Kjarval en síðan bættist allverulega við safneignina. Kristinn Pétursson arfleiddi ASÍ að rúmlega 1.400 verkum árið 1982 og svo bættust við 500 verk eftir Elínu Pjet. Bjarnason árið 2010. Auk þessa hafði Ásta Eiríksdóttir ekkja Svavars Guðnasonar gefið safninu verk eftir mann sinn, og Margrét Jónsdóttir, ekkja Þórbergs Þórðarssonar þrjátíu verk úr eigu sinni. Ljóst er að safneignin er allveruleg, en safnið hefur ávallt verið á flakki, fyrst á Laugavegi 18, síðar á Laugavegi 31 í alþýðubankanum, svo Grensásvegi 16, áður en loks húsið á Freyjugötunni var keypt.