Sau một thời gian ngắn sống tại Palazzo Vecchio ở Piazza della Signoria, Công tước Cosimo I và vợ, Eleonora xứ Toledo, đã mua lại cung điện từ gia đình thương gia Pitti đã phá sản vào năm 1549 để làm nơi ở chính thức của Medici; nó đã được mở rộng và tôn tạo đáng kể qua nhiều thế kỷ.
Eleonora xứ Toledo là con gái của Công tước Cosimo I.