¿Calcular la potencia nominal (P) del transformador?

No, no puedes esperar razonablemente hacer lo que estás tratando de hacer.
Está intentando extraer más potencia del transformador de la que está diseñada y MUCHA más potencia de un devanado para la que está diseñada.

  

Tengo 2 cargas, la primera carga 5VDC / 2.5A se puso en EF y la segunda carga 12VDC / 1A se puso en CF (DE cortocircuitado)

Tomaré la calificación de VA como la de DC vatios, lo suficientemente cerca en este caso.

5V x 2.5A = 12.5 vatios
12 V x 1 A = 12 vatios.

La carga de 5 V está todo en el bobinado EF.
La carga de 12V es 50/50 en CD y EF.
Entonces, carga de CD = 12W / 2 = 6W.
La carga EF es 6W + 12.5W = 18.5W.

Un transformador con dos secundarios idénticos generalmente está diseñado para permitir un máximo de aproximadamente el 50% de la potencia total para cada uno. Puede desequilibrarlos un poco, pero si toma toda la energía de un devanado, generalmente obtendrá pérdidas adicionales y posiblemente una falla del transformador.  Aquí, cada devanado tiene una velocidad de aproximadamente 13 VA / 2 = 6.5 VA cada uno.
Está intentando extraer 6W de un devanado (= OK) y 18.5W del otro (aproximadamente 3 veces la sobrecarga).
En general, está intentando obtener 18.5 W de un dispositivo de 13 VA ~ = 40% de sobrecarga.

Necesita un transformador con mayor potencia nominal o cargas más pequeñas.

Mientras leo las hojas de datos, la potencia nominal total del transformador es de 13 VA.

Todos los transformadores de la serie PT13 tienen una clasificación de 13 VA, independientemente de la configuración de salida.

En los puntos E y F, la potencia para una carga dada es un cuarto de lo que será para la misma carga colocada en C y F. Es un cuarto porque la tensión es la mitad y la potencia es proporcional a la tensión al cuadrado.

Esta es una explicación ligeramente simplificada que no considera la incapacidad del transformador para regular proporcionalmente el voltaje de salida cuando se toma más energía.

Entonces, con esta explicación simplificada y asumiendo que el mismo valor de carga está conectado a EF y EC, para un transformador que es de 13VA (asumiendo que esto se traduce en vatios exactamente), la potencia en EF es una quinta parte de 13 vatios = 2.6 vatios mientras que la potencia en CE es cuatro veces más a 10.4 vatios. Ambos suman 13 vatios.