meta data de esta página
  •  

Diferencias

Muestra las diferencias entre dos versiones de la página.

Enlace a la vista de comparación

Ambos lados, revisión anteriorRevisión previa
Próxima revisión		Revisión previa
programacion:python:scrapy [2015/12/14 22:48] – lcprogramacion:python:scrapy [2023/01/18 14:36] (actual) – editor externo 127.0.0.1
Línea 6: Línea 6:
  
 ==== Instalación y configuración ==== ==== Instalación y configuración ====
 +Primero instalamos python 
 +<code>
 +sudo apt-get install python-pip python-dev libxml2-dev libxslt1-dev</code>
  
-Primero vamos a crear un entorno virtual con virtualenv de python:+Seguidamente vamos a crear un entorno virtual con virtualenv de python para nuestro proyecto:
 <code> <code>
 virtualenv venv</code> virtualenv venv</code>
Línea 17: Línea 20:
 <code>pip install scrapy </code> <code>pip install scrapy </code>
  
-<note> Hay que tener instalada la librería libxml2 para que no de error </code>+<note> Hay que tener instalada la librería libxml2 y libxslt para que no de error </note> 
 + 
 +Una vez instalado vamos a crear nuestra primera araña. 
 + 
 +<note>utilizaremos la plantilla crawl, que es igual que la araña basic pero esta nos permite seguir enlaces. </note> 
 + 
 +Para generar una araña usando esta plantilla debemos escribir en la consola scrapy genspider -t crawl. En nuestro caso a la araña la llamaremos segundamano y el dominio será el de la segundamano.es 
 +<code>scrapy genspider -t crawl segundamano segundamano.es </code> 
 + 
 +Al ejecutar el comando se genera dentro un fichero segundamano.py dentro del **directorio del proyecto/spiders** 
 +<code> 
 +├── tutorial 
 +│   ├── __init__.py 
 +│   ├── items.py 
 +│   ├── pipelines.py 
 +│   ├── settings.py 
 +│   └── spiders 
 +│       ├── __init__.py 
 +│       └── segundamano.py 
 +└── scrapy.cfg 
 +</code> 
 +==== Referencias ==== 
 +  * http://teclp.com/2015/03/install-scrapy-on-ubuntu-using-python-pip/