Con el equipo nuevamente en Tercera División (que de hecho era una cuarta división, como se ha dicho) se continuaron sucediendo unos resultados deportivos decepcionantes hasta que se consumó un nuevo descenso a Regional Preferente en la temporada 1980-81. El club se hallaba en una ‘quinta categoría’, y nunca había estado en un estadio tan bajo. En las fechas se produjo otro de los traspasos entre ambos clubes que marcarían el devenir de ambos clubes, camiseta del atletico de madrid y suscitaría nuevos conatos de rivalidad.