Actualización:
Se desaconseja la instalación de PHP 5.4 o cualquier versión de PHP 5, esta versión ya no cuenta con soporte por parte de PHP ni Debian. En los repositorios oficiales de Debian 9 stretch (oldstable) y Debian 10 buster (stable), se encuentran las versiones de PHP 7.0 en adelante sin necesidad de usar repositorios no oficiales.
Distribuciones con soporte Debian.
Entre las ventajas que tiene PHP 5.4 sobre PHP 5.3, como lo son, mejor velocidad, y un menor consumo de memoria en cada ejecución de los scripts, todavía no está disponible PHP 5.4 desde los repositorios de Debian, así que toca instalarlos desde un repositorio no oficial, aunque no hay ningún problema por el hecho de que no sea oficial.
Para instalar PHP 5.4, primero debemos de probar nuestros scripts o aplicaciones PHP, en algún entorno local como XAMPP, y así estar seguros si será totalmente compatible.
Los repositorios que vamos a utilizar son los de Dotdeb.org, si no sabemos cómo agregar repositorios a Debian. Los repositorios son estos:
deb http://packages.dotdeb.org squeeze all
deb-src http://packages.dotdeb.org squeeze all
deb http://packages.dotdeb.org squeeze-php54 all
deb-src http://packages.dotdeb.org squeeze-php54 all
Después de agregarlos, realizamos el siguiente comando desde la consola como root:
wget http://www.dotdeb.org/dotdeb.gpg
Luego:
cat dotdeb.gpg | sudo apt-key add -
Entonces actualizamos la lista de paquetes:
apt-get update
Finalmente instalamos PHP 5.4:
apt-get -V install php5-common
Hay que recordar que nuestros scripts deben ser compatibles con PHP 5.4, o de lo contrario no funcionarán correctamente. PHP 5.4 puede instalarse junto con algún panel web, por ejemplo con ISPConfig 3, DirectAdmin o CPanel. Para manejar las extensiones, existe una guía para activar y desactivar extensiones en PHP 5.4, ya que en esta versión, la forma de activar las extensiones cambia, y ya no basta con editar archivos de configuración, como en versiones anteriores.
Esta guía no funciona para Ubuntu, debido a que en Ubuntu si existen repositorios oficiales con las versiones más recientes de PHP, aunque algunas partes podrían ser de ayuda, como lo de las extensiones, y probar los scripts en un entorno local, antes de cambiar a una nueva versión.
En cuanto a compatibilidad he probado los siguientes sistemas: Drupal, WordPress y phpBB 3, funcionan correctamente en esta versión, solo que en phpBB 3 es necesario realizar unos pequeños ajustes.