La terminología es vaga en el mejor de los casos. No hay reglas estrictas y rápidas, y nadie juega a la policía cuando las personas no usan el término correctamente.
Generalmente, pero no siempre, un transceptor es un búfer simple que tiene diferentes estándares de señal en las entradas y salidas. Por ejemplo, un transceptor RS-232 generalmente interconecta señales TTL con señales RS-232. Además, los transceptores son similares a los "controladores" y "receptores", excepto que un transceptor generalmente realiza las funciones del controlador y del receptor en el mismo chip.
Un Phy es similar a un transceptor en que generalmente hay diferentes estándares de señal en "ambos lados del chip". Con Ethernet es MII / GMII / etc en un lado y, bueno, Ethernet en el otro. Hay otros Phy que hablan de USB, PCIe y muchos otros. Phys suele incorporar algún tipo de función SERDES (SERializer-Deserializer) y codificación de línea. Los PHY más sofisticados contienen un mini-DSP en ellos para hacer todo tipo de cosas de comunicación locas, como la corrección avanzada de desplazamiento de banda base.
Un transceptor no tiene que estar asociado con datos en serie, también pueden usarse para datos paralelos. Un PHY usualmente involucra algún tipo de flujo de datos en serie. Pero esto es más una convención que una regla, y estoy seguro de que hay chips por ahí que son excepciones a esto.