La razón por la que es una mala idea es que consulte la ON Semiconductor 74HC86 Datasheet , por ejemplo. notará que todos los voltajes máximos y recomendados están referenciados a tierra. Cuando quita la conexión a tierra, tiene la situación de que una entrada puede estar en el suelo, mientras que Vcc todavía se está aplicando y eso puede provocar que la corriente se filtre a través del chip a lo largo de las rutas no previstas.
Recomiendo agregar un poco de lógica adicional para manejar la situación correctamente, aunque aumentará el número de piezas. Por ejemplo, podría mirar un búfer que tenga un pin de habilitación de salida, tal vez algo así como un 74HC365.
También como Wouter ha señalado en un comentario, incluso sin esos límites en el voltaje de entrada, la hoja de datos tiene una sección de "condiciones operativas recomendadas". La alimentación de 0 V está fuera de esas condiciones, por lo que no puede esperar ningún comportamiento específico del chip sin alimentación aplicada.