En los comentarios, dijiste que lo que realmente estás buscando es "Identificar variables de estado y escribir ecuaciones de estado apropiadas", en lugar de resolver el circuito. Contestaré cómo escribir las ecuaciones de estado.
En un circuito analógico, las variables de estado son las corrientes del inductor y los voltajes de los condensadores. Así que aquí, las variables de estado son \ $ i_1 \ $, \ $ i_2 \ $ y \ $ i_3 \ $.
Para encontrar las ecuaciones de estado, primero, sustituye tu tercera ecuación en tus dos primeras:
$$ Mi'_3 = v_s -R_1 i_1 - (L_1-M) i'_1 $$
$$ Mi'_3 = (L_2-M) i'_2 + R_2 i_2 $$
y reescriba su cuarta ecuación en términos de derivados:
$$ i'_1 = i'_2 + i'_3 $$
Ahora mueva todos los términos derivados del tiempo a la izquierda y otros términos a la derecha:
$$ \ begin {align} - (L_1-M) i'_1 + Mi'_3 & = -R_1 i_1 + v_s \\
(L_2-M) i'_2 + Mi'_3 & = R_2 i_2 \\
i'_1-i'_2-i'_3 & = 0 \ end {align} $$
Ahora tienes un sistema con el formulario
$$ {\ bf M} \ left (\ begin {matrix} {i'_1 \\ i'_2 \\ i'_3} \ end {matrix} \ right) = {\ bf A} \ left ( \ begin {matrix} {i_1 \\ i_2 \\ i_3} \ end {matrix} \ right) + {\ bf B} v_s $$
Ahora solo tienes que multiplicar previamente cada lado de la ecuación por \ $ {\ bf M} ^ {- 1} \ $, o, de manera equivalente, hacer álgebra para eliminar todos menos uno de los tres términos derivados en cada uno línea, y tendrás las ecuaciones de estado esperadas:
$$ \ left (\ begin {matrix} {i'_1 \\ i'_2 \\ i'_3} \ end {matrix} \ right) = {\ bf M} ^ {- 1} {\ bf A} \ left (\ begin {matrix} {i_1 \\ i_2 \\ i_3} \ end {matrix} \ right) + {\ bf M} ^ {- 1} {\ bf B} v_s $$
Encontrar \ $ {\ bf M} ^ {- 1} \ $ será tedioso, así que te lo dejaré ya que esta fue tu tarea.