I Czartoryski erano, a fine '700, una delle più antiche e illuminate famiglie aristocratiche polacche. La principessa Isabella decise di fondare a Pulawy il primo museo nazionale, dedicato alla storia del paese, affidando all'architetto Pietro Aigner il progetto dell'edificio, ispirato, secondo i canoni neoclassici, al tempio di Vesta a Tivoli. La principessa volle anche procurarsi testimonianze del mondo antico, soprattutto frammenti di celebri costruzioni romane, che il figlio Adam Jerzy raccolse a Roma, intraprendendo anche scavi privati nel Foro Romano. Questi reperti furono collocati in un secondo Museo, la Casa Gotica, costruito sempre da Aigner, ma ispirato questa volta agli ideali romantici neomedioevali. AI piano superiore di questo edificio trovarono sistemazione i quadri, per lo più ritratti, che formarono un'originale galleria di personaggi famosi. Qui la principessa collocò attorno al 1809 il Ritratto di giovane di Raffaello e la Dama con l'ermellino di Leonardo che Adam Jerzy aveva acquistato durante il suo viaggio in Italia attorno al 1300. Il dipinto si credeva fosse il ritratto della Belle Ferronière, già raffigurata dal pittore nel quadro conservato al Louvre e di questa identificazione testimonia la scritta apposta al quadro "LA BELLE FERONIERE/LEONARD D'AWINCI".

A causa della guerra russo-polacca i pezzi più preziosi della collezione furono trasferiti e i quadri di Leonardo e Raffaello furono prima murati nel Palazzo di Sieniawa in Galizia, e poi portati clandestinamente a Parigi, dove Adam Jerzy acquistò, nel 1842, l'Hotel Lambert, su consiglio di Delacroix, per esporvi le proprie collezioni.

Qui si pensa che sia stato eseguito il primo restauro della Dama che ha prodotto Io sfondo nero caratteristico, tra l'altro, di molti ritratti del Quattrocento italiano. Il quadro era gelosamente conservato negli appartamenti privati .

A seguito della guerra franco-prussiana il principe Wladyslaw tornò in Polonia e decise di riunire le sue raccolte a Cracovia, dove fu progettato un complesso in stile neogotico e neorinascimentale per sistemare l'enorme biblioteca, l'archivio e le collezioni d'arte.

La Dama, il Raffaello e il Paesaggio con Buon Samaritano di Rembrandt furono esposti nella sala principale della Galleria di Pittura, aperta ad un più vasto pubblico di visitatori e studiosi alla fine degli anni '80 dell '800.

Nel 1914, poco prima dello scoppio della guerra, i più preziosi quadri della collezione Czartoryski furono esposti nella Gemaldegalerie di Dresda, da dove tornarono nel 1920.

Di nuovo dovettero lasciare il museo nel 1939 quando furono trasportai a Sieniawa in una cassa trovata e sequestrata dai tedeschi. I dipinti furono provvisoriamente collocati al Kaiser-Friedrich-Museum di Berlino.

Quando nella Polonia occupata fu costituito il Governatorato, il governatore Hans Frank riuscì a recuperarli per abbellire la sua residenza ufficiale nel Castello Reale di Wawel a Cracovia. In quest'occasione sul retro del Leonardo fu posto il contrassegno BURG 1227 accanto all'antico inventario C.EC.DG418 (Collection Elisabeth Czartoryska Dom Gotycki).

Verso la fine della guerra il governatore decise di trasportare i dipinti più preziosi nella sua villa personale di Schliersee in Baviera, dove vennero trovati dagli americani che li concentrarono a Monaco nel deposito delle opere trafugate ai nazisti.

Nel 1946 i quadri fecero finalmente ritorno a Cracovia dove, con l'avvento del comunismo, la raccolta dei principi divenne una sezione del Museo Nazionale.

Nel 1991, dopo gli ultimi cambiamenti politici, è stata costituita la Fondazione Principi Czadoryski presso il Museo Nazionale di Cracovia, ora unico ente amministratore delle collezioni.

La Dama è stato finora esposta solo a Varsavia, a Mosca, a Washington e Stoccolma.