Không trả trụ sở cũ, Bộ trưởng phải bị phê bình