He estado trabajando en algo similar, yo mismo. Al no tener Matlab, tuve que hacer todo con [suspiro] Excel. Así que mi configuración puede tomar un poco de explicación ...
Comience con una columna que cuente de 0 a 4095. Emule un ADC de 50MHz llenando la siguiente columna con incrementos de tiempo. Después de eso, unas pocas columnas que hacen ondas sinusoidales, en función del tiempo. Seleccioné señales de 11.5MHz, 12.5MHz (señal deseada), 13Mhz y 14MHz.
Suma las ondas sinusoidales, etiqueta esa columna FFT_IN. Use la herramienta para realizar una Transformación FFT, trace la magnitud del resultado: un pequeño espectro agradable. Esa es tu entrada.
Siguiente: Demodule para obtener ese 12.5MHz. Haz "I" en flujo multiplicando FFT_IN por: 0,1,0, -1.
"Q" es: 1,0, -1,0. Resultado: las muestras se alternan entre I y Q, con cada segunda muestra en una secuencia invertida. (Opcional: también ejecuto un poco de FIR en estos datos)
Combine las secuencias I y Q en muestras complejas y realice otra FFT. Sorpresa: la señal comienza en DC (fue de 12.5MHz) con señales presentes en 500KHz, 1MHz y 1.5MHz.
¿Por qué? Debido a que la señal de 11MHz se ha " reflejado " nuevamente en el dominio de frecuencia positiva.