Lo que sugieras probablemente estará bien. El cable CAT5 contiene cuatro pares trenzados, cada uno con un paso de giro diferente. Esto hace que casi todos los acoplamientos de un par a otro sean de modo común. Es realmente difícil inyectar una señal en un cable CAT5 que se acopla en modo diferencial a un par trenzado diferente.
RS-485 es una señal diferencial que va desde hasta +5 V a -5 V cuando se transmite. Los receptores tienen típicamente un par de voltios o histéresis. Se tardaría mucho en superar el rango del modo común, o introducir suficiente ruido de modo diferencial para evitar una recepción correcta.
Una cosa a tener en cuenta es que si bien RS-485 es diferencial, estas dos líneas aún necesitan una referencia a tierra. Como mínimo, esto requiere 3 cables en el cable. Probablemente quieras dedicar un par entero a la tierra en la realidad.
800 kHz realmente no es tan alto. A menos que los cambios de voltaje sean muy grandes, simplemente no causará problemas para el RS-485. Dado que 800 kHz es su mayor frecuencia de interés, podría ser una buena idea agregar un filtro en la parte frontal del cable para atenuar cualquier componente de mayor frecuencia, que de todos modos no desea.
Si puede enviar los 800 kHz de forma diferencial utilizando su propio par trenzado, incluso mejor. Incluso un balun justo antes de la inyección en el cable ayudará, aunque realmente creo que estará bien incluso si se envía como señal y se conecta a tierra en su propio par trenzado.
Realmente no espero ningún problema con lo que propones.