Para disfrutar de un servidor LAMP (Linux+Apache+MySQL+PHP) hay que seguir unos pasos muy sencillos.

En primer lugar, instalamos los paquetes necesarios como root:

sudo aptitude install php5 php5-mysql mysql-server-5.0 apache2

Se instalarán esos paquetes y bastantes dependencias.
Posteriormente, editamos con kate (y como root) el archivo /etc/php5/apache2/php.ini. Buscamos la sección "Dynamic Extensions" y quitamos el ";" a la línea que dice "extension=msql.so".

También tenemos que editar el archivo /etc/apache2/sites-enabled/000-default. Las líneas "Document Root /var/www/" y "" nos indican el directorio en el que tenemos que colocar nuestras páginas. Este directorio se puede cambiar por el que se quiera.

El siguiente paso es configurar la base de datos MySQL. Para ello tecleamos:

mysql -u root -p
(Introducimos la contraseña del usuario root que pusimos durante la instalación de mysql-server-5.0).

Tras esto cambiará el prompt a:
mysql>

En ese momento, escribimos:

grant all privileges on *.* to nombreusuario@localhost identified by 'contraseñadelusuario' with grant option;

Y seguidamente:
create database nombredelabasededatos;

Escribimos quit y volvemos al prompt del sistema.

Hay una manera más fácil de crear una base de datos, y no es otra que instalar phpmyadmin. Una vez instalado, puedes acceder a phpmyadmin tecleando en un navegador: http://localhost/phpmyadmin

Ya está todo instalado y preparado. Abre tu navegador y escribe http://localhost/apache2-default/ y tienes que ver la página por defecto de apache. (en ella pone... "It works!")

Si no ves esta página, puedes probar a reiniciar Apache2 y MySQL desde un terminal e intentarlo de nuevo:

sudo /etc/init.d/apache2 restart
sudo /etc/init.d/mysql restart

Ya tienes todo listo para crear tu web de forma local.

Existe otra manera de tener un servidor LAMPP, que consiste en instalar XAMPP:
http://www.apachefriends.org/en/xampp-linux.html