apache не выполняет php скрипт, а отображает его содержимое.

<?php
phpinfo();
?>

Современные версии php по умолчанию не обрабатывают короткий тэг. То есть, надо писать не

<?
phpinfo();
?>

но

<?php
phpinfo();
?>

Настройка находится здесь:
/etc/php.ini

short_open_tag = Off

Нужно включить On посде этого будет обрабатываться короткий открывающий тэг.