¿Que puedo hacer si soy el único activo en la Junta Directiva?

Hombre…la Directiva no puede funcionar con 1 sola persona.

Una precisión inicial: indicas que la asociación no tiene socios; no se puede constituir una asociación si no tiene socios; entiendo que realmente no tiene más socios que los que estaban en la directiva

Ante la falta de participación del resto de personas y la ausencia de otros socios, habría que estar a lo que disponen los Estatutos, pero lo más práctico es que otras personas soliciten su entrada en la asociación como socios y que la Presidencia convoque una Asamblea Extraordinaria; en la misma se toman todas las decisiones que se quieran, entre ellas elegir nueva Directiva, dar de baja a los socios que proceda, etc. Con ello se regularizaría la situación.
En todo caso, lo que conviene recordar es que lo que da legitimidad a una asociación es su base social; aunque se realicen actividades, si no es capaz de atraer (o permitir) que haya socios, mal asunto, y habría que plantearse su continuidad.