Чтобы поставить php 5.4 на CentOS необходимо подключить дополнительные репозитории:

rpm -Uvh http://download.fedoraproject.org/pub/epel/6/i386/epel-release-6-7.noarch.rpm
rpm -Uvh http://rpms.famillecollet.com/enterprise/remi-release-6.rpm

Теперь ставим php из репозитория remi:

yum --enablerepo=remi,remi-test install php php-common php-devel

И добавляем необходимые модули:

yum --enablerepo=remi,remi-test install php-pear php-pdo php-mysql php-gd php-mbstring php-mcrypt php-xml

Также будет полезно установить акселератор, например Alternative PHP Cache:

yum --enablerepo=remi,remi-test install php-pecl-apc