El uso de un conmutador en lugar de un regulador lineal es una obviedad sin siquiera hacer los cálculos matemáticos. Además, un LDO específicamente es tonto, ya que su problema es que tiene un rango de caída muy grande. Cualquier regulador lineal haría, no solo los de baja deserción.
En caso de que algunos todavía necesiten ser convencidos, hagamos los cálculos. Un regulador lineal bajará 19 V, que 100 mA equivale a 1.9 W. Eso es más que cualquier paquete desnudo en aire libre podrá disiparse y permanecer dentro de la temperatura de operación. Necesitarías algo como un TO-220 o TO-3 con un disipador de calor. Eso va a ser grande y caro.
Un conmutador será más pequeño debido a que no tiene que deshacerse de tanto calor. Digamos que obtienes un regulador de dólar que solo es 80% eficiente (bastante pobre para los estándares actuales). La potencia de salida es de 5 V x 100 mA = 500 mW. 500 mW / 80% = 6.25 mW en el conmutador, lo que significa que disipará 125 mW. Un paquete SO-8 o similar que normalmente se monta en la placa puede manejar ese tipo de energía. Podrías sentir que hace calor, pero ni siquiera te quemarías el dedo.