User-agent: * # aplicable a todos los robots Disallow: # permite la indexacion de todas las paginas