La respuesta rápida es: Sí, es seguro.
La respuesta más larga es: depende de lo que se conecte a la NodeMCU, pero en general, sí, debería estar bien, ya que si tuviera que cargar tanta cantidad de GPIO en el ESP8266, entonces lo habrá frito. Mucho tiempo antes de alcanzar el límite de 2.5A.
Ahora las aclaraciones:
Su adaptador de corriente, genera una tensión de 5 V, que coincide con la tensión de entrada requerida por la NodeMCU; Esto es bueno. Siempre que el voltaje esté en algún lugar en el rango de 3.5-6V, su NodeMCU estará bien.
Su adaptador de alimentación PUEDE generar hasta 2,5 A antes de que su salida de 5 V comience a disminuir, o la protección térmica de este, corta la alimentación completamente.
Afortunadamente, la NodeMCU no requerirá más de 500 mA (0.5A), a menos que también esté manejando otra carga además de la NodeMCU, pero puedo decir con confianza que su adaptador de corriente tendrá suficiente gruñido para alimentar su aplicación.
Si quieres ingresar a la electrónica, es importante que entiendas lo básico, como la Ley de Ohms.
La Ley de Ohmios define la relación entre Voltaje (V), Corriente (I) y Resistencia (R), y se reduce a solo una fórmula, que usa las letras de arriba.
V = I * R o Voltaje = Corriente * Resistencia.
Para explicar esto, es un clásico utilizar una analogía de tuberías, donde el Voltaje es la presión del agua que su ciudad puede proporcionar en su hogar, el Grifo en su casa es la resistencia y el flujo de agua que sale de es la corriente.
En su caso, la presión del agua es de 5 V, y su NodeMCU nos proporciona el grifo que solo permitirá una cierta cantidad de flujo / corriente a través de él.
La junta de agua local es capaz de entregarle 2.5 A de flujo de agua, pero su NodeMCU es solo un pequeño grifo, y pasará por solo 0.5 A de lo que es capaz el sistema.
Hay muchas similitudes entre el mundo de la plomería y la electricidad, pero recuerda que solo son analogías, por lo que no todas las reglas se aplican en todos los ámbitos.
Hay muchas fuentes en línea que pueden explicarlo mucho mejor que yo, pero espero que esto te permita comenzar en la dirección correcta.