La compuerta de un MOSFET tiene una resistencia de CC muy, muy alta. Para todos los efectos, básicamente, no consume ninguna corriente en absoluto si solo se encuentra en un valor de estado estable (estamos hablando de femto-amperios o menos).
Además, todas las puertas MOSFET tienen 'capacitancia parásita', que es esencialmente un par de pequeños capacitores pequeños (generalmente unos pocos pF) que conectan la puerta con el drenaje y la fuente.
Cuando presionas el interruptor S1, dejas entrar un montón de carga del riel de + 5V, que enciende el MOSFET. El truco es que también carga los condensadores parásitos de la puerta. Cuando liberas S1, todo ese cargo almacenado no tiene a dónde ir. No se consume por la puerta del MOSFET (ya que la puerta no consume nada de corriente), y tampoco tiene ningún camino para volver a tierra.
Dado que la carga no tiene a dónde ir, solo se queda allí y mantiene + 5V en la puerta hasta que conecte otra cosa (como S2 o su multímetro) y proporcione un camino para la carga de la toma de regreso a tierra.
edit: hecho divertido, este fenómeno también es exactamente cómo funciona NAND Flash.