La vocazione al collezionismo fu per Gian Giacomo Poldi Pezzoli una scelta di vita quasi obbligata e il riflesso più naturale del suo ambiente familiare e sociale. Soprattutto dalla famiglia della madre, Rosa Trivulzio, egli aveva ereditato il gusto e la passione al collezionismo che già erano stati propri del padre di lei, il principe Gian Giacomo Trivulzio, proprietario di una raffinatissima raccolta d’arte, di libri e di oggetti preziosi, oggi in gran parte conservata presso i Musei Civici di Milano. Raggiunta la maggiore età nel 1846, anche Gian Giacomo iniziò a raccogliere oggetti per la formazione di una collezione personale, appassionandosi dapprima alle armi e alle armature antiche. I numerosi viaggi in Europa e la conoscenza dei nuovi musei parigini e londinesi, ricchi di tesori di arti applicate, certamente stimolarono Poldi Pezzoli alla ricerca di oggetti preziosi: smalti e oreficerie del Medioevo e del Rinascimento, tappeti, arazzi, gioielli, vetri, porcellane venivano ad aggiungersi alle collezioni di dipinti, soprattutto del Rinascimento e del Settecento veneto, e di sculture.