Derrière une grille et des arbres dénudés, le côté ouest du palais montre des tours rondes rayées de chaînages de brique, des pignons pointus et une tourelle à toit en poivrière. Ce côté fut bâti sur le rempart gallo-romain du IVe siècle, dont Jacques Cœur conserva et rehaussa les tours ; il donnait au palais l'aspect d'un logis seigneurial vers la ville basse.