Une haute tour ronde en moellons domine le rocher et les murs en terrasses sur la pente au pied du château. La forteresse de la butte de Sévérac, sans doute fortifiée dès le IXe siècle et remaniée aux XIVe et XVe siècles, était protégée par deux lignes de remparts autour du château et une troisième autour de la ville ; elle résista à la plupart des assauts, sauf lors de la croisade contre les Albigeois, en 1214.