A partir dels anys seixanta la Diputació de Tarragona va anar adquirint un important patrimoni artístic que no estava a l'abast de la ciutadania. Per això al 1976 va crear el Museu d'Art Modern, que tenia la finalitat de promoure l'estudi i el coneixement de l'art modern i contemporani i, alhora, conservar i mostrar aquestes col·leccions.

La ubicació original escollida va ser a la Casa Martí, una finca senyorial del segle XVIII a la part alta de Tarragona. Al 2008 el museu va renovar la seva exposició permanent i va inaugurar un nou projecte museogràfic més modern i didàctic.

El museu dedica unes sales al Taller - Escola de Pintura i Escultura que va bastir la Generalitat republicana a Tarragona i a la posterior Escola Taller d’Art de la Diputació de Tarragona. També exposa obres d’artistes contemporanis dels anys vuitanta de la zona com Bruno Gallart o Jaume Solé.

Una de les col·leccions més importants del museu és la del llegat de l’escultor Julio Antonio. A l’exposició permanent es poden veure diverses facetes del seu treball, posant l’accent en el Monument als Herois de 1811, situat a la Rambla Nova de Tarragona. Altres representants de la transició del segle XIX al XX com Josep Tapiró també són presents a la mostra.

Tot i així, l’obra més mediàtica del Museu d'Art Modern de Tarragona porta la signatura de Joan Miró. És el Tapís de Tarragona, un projecte de grans dimensions que el pintor va fer conjuntament amb Josep Royo. Miró va regalar aquest tapís al 1970 a l’Hospital de la Creu Roja de Tarragona, dirigit llavors per Rafael Orozco, en agraïment a les atencions que aquest metge va oferir a la seva filla. Quan va tancar aquesta institució l’obra es va cedir al museu on ocupa un lloc d’honor.