En términos generales, RTOS y VM se excluyen mutuamente. RT en RTOS significa "Tiempo real", lo que significa que el sistema operativo tiene un tiempo de intercambio de tareas rápido (y determinista) y una latencia IRQ. Realmente no puedes tener eso cuando parte de tu memoria está ubicada en Flash / SSD / HD y es posible que tengas que intercambiarla en la memoria principal.
Otras dos características que realmente no se ven juntas son "huella de memoria pequeña" y VM. No define qué es la "huella de memoria pequeña", así que lo estoy definiendo como "la mayor cantidad de RAM que encontrará incrustado con la CPU". O unos 128Kbytes. Las máquinas virtuales rara vez se utilizan en estos sistemas, debido a la necesidad de rendimiento de RT y, por lo general, tienen cantidades limitadas de almacenamiento fuera del chip. Si la memoria RAM es externa, siempre puede usar chips más grandes para deshacerse de la necesidad de VM.
Su mejor apuesta es usar un sistema operativo que no sea RT y que tenga algunas extensiones RT. Linux es lo primero que me viene a la mente aquí, pero difícilmente lo describiría como tener una "pequeña huella de memoria". No he visto otros RTOS que puedan hacer esto. No estoy diciendo que no existan, solo que no los he visto. Si encuentra uno, lo desconfiaré, ya que definitivamente no es estándar y probablemente tenga algunos problemas (que pueden o no ser importantes para usted).