Esto es normal.
El multímetro le indica el voltaje entre las dos tomas de entrada. No hay nada conectado a ellos, así que, conceptualmente, nada hace que el voltaje sea algo en particular.
Si el medidor fuera un voltímetro ideal, vería números enormes debido a los efectos electrostáticos dispersos.
En cambio, tiene una impedancia de entrada finita (que actúa para descargar cualquier voltaje aplicado) y algunas fugas de los circuitos internos de alimentación a las entradas (que, trabajando contra la impedancia de entrada, causa la lectura de ~ 40 mV que está viendo) .
Si corta los terminales (toque las sondas juntas), verá una lectura mucho más cercana a 0. Si conecta cualquier fuente de voltaje que no tenga una impedancia de salida excesivamente alta (más de un megohm), debería obtener una buena leyendo.