¿Podemos el resto de miembros de la junta directiva reunirnos, votar su expulsión y reflejarlo en acta sin que él esté presente?

El asunto es desagradable sin duda, pero el procedimiento para resolverlo debe respetar los derechos que pueda tener esa persona.
Por ello, vamos a ir poco a poco es esta respuesta:

1. ¿Podemos reunirnos sin que el secretario esté presente?
Como miembro de la junta directiva es obligatorio convocarlo a la reunión de junta directiva; sino sería una reunión ilegal. Eso sí, podeis poner en el orden del día un punto referido a esa persona, y a lo mejor teneis la suerte de que no acuda.
2. En todo caso, ¿podemos votar su expulsión en Junta Directiva?
Unicamente podeis tomar esa decisión si está previsto en los Estatutos o Reglamento Interno si lo teneis.
En caso de que no esté comntemplado, podeis toimar el acuerdo en la Junta de someterlo a la decisión de la Asamblea General, bien en la siguiente reunión ordinaria, o si faltase mucho tiempopara ella, convocar una reunión exterordinaria. La Asamblea General es soberana y sí que puede tomar estas decisiones. Además, en la misma asamblea podeis cubrir el puesto vacante eligiendo a otra persona para la secretaría de la entidad.
El procedimiento más correcto sería el que comentais, de abrir un expediente de expulsión, comunicárselo a el, para que alegue (por escrito) lo que quiera, y someter la propuesta a la Asamblea General.
3. ¿Podemos impedirle la entrada?
Es una decisión muy fuerte mientras sea Secretario de la entidad. Primero habría que tratar este punto en la Junta, incluyendolo en la orden del día tomar ese acuerdo de impedirle la entrada y lo más rápido posible, convocar una Asamblea General, que debería ser seguramente Extraordinaria para ratificar todas las decisiones y propuestas que hayais tomado.
Creo que con ello, os ajustareis a la legalidad, siempre importante, aunque a veces suponga recorrer un camino más largo y desagradable.
¡Ánimo y adelante!