El USB se puede conectar en caliente, por lo que en realidad no es necesario apagarlo para quitarlo / insertarlo (aunque no conozco HDMI, así que seguiré apagándolo).
Desde un punto de vista ELÉCTRICO / ELECTRÓNICO / SOFTWARE, NO hay ningún problema al hacer esto. Ninguno de los equipos o los sistemas operativos de cuidado.
Desde un punto de vista MECÁNICO, está agregando desgaste a los conectores. Hice una búsqueda rápida y creo que su conector USB promedio tiene una clasificación de alrededor de 10,000 inserciones. (Son dos al día durante 13 años). Algunos se desgastarán más rápido de lo que se califica, otros más, pero yo diría que los conectores USB de su computadora no serán (por el desgaste) lo primero en ir. Los discos duros probablemente morirán primero.
Mi mayor preocupación en ese momento sería que corres un mayor riesgo de atornillar algo accidentalmente girando un enchufe o accidentalmente apoyándote en un conector, o lo que sea. Siempre que tenga cuidado, debe poder hacer esto de manera segura durante el tiempo que pueda intercambiar los cables de un lado a otro.