단순 문서 파싱에는 Beautiful Soup을 쓰는게 좋고, 주기적으로 여러 범위에서 크롤링을 해올땐 프레임워크 형태로 제공되는 Scrapy가 좋다. 아래는 Scrapy에 대한 설명이다.
|
1 2 |
pip install scrapy |
윈도우의 경우에는 Microsoft Visual C++ Build Tools (http://landinghub.visualstudio.com/visual-cpp-build-tools)가 있어야 설치가 된다. (없을경우 에러메시지에서 설명해줌)
|
1 2 |
$ scrapy shell '크롤링할 url' |
위의 명령어로 REPL쉘을
서버사이드 node.js에서 es2015 (es6)문법과 react를 위한 jsx 문법을 실행할 경우가 있습니다. (ex : React의 서버 사이드 랜더링이 필요할 경우) 이때는 아래와 같이 babel을 설치하여 사용하시면 됩니다. 바벨 명령어 도구 설치 $ npm install -g babel-cli 로컬 모듈에 바벨 2015 지원
react의 구동 환경은 브라우저임에도 불구하고 react 컴포넌트들을 다운받아 보면 var React = require(‘react’); 이와 같이 시작하고 있는 것들을 심심찮게 보게 된다. 물론 이런 문법이 바로 브라우저에서 돌아갈리는 만무하다. 그래서 이럴때 필요한게 바로 browserify나 webpack이다. 개인적으로 browserify를 사용하므로 이에 대해 알아보자.
npm은 node.js에서 의존성 관리를 위해 사용한다. 개인적으로 자주쓰는 npm에 대한 사용법을 정리한다.
|
1 2 |
$ npm install 모듈이름 |
현재 프로젝트 하위에 node_module 폴더를 만들어 해당 모듈을 설치한다. –save이나 –save-dev를 뒤에 붙이게 되면 package.json에도 설치하는 패키지를 같이 추가시켜준다. 프로젝트 디렉토리에서 단순히 npm install만 입력하게 되면 package.json에서
이전 블로그 (http://curtis.tistory.com) 에서 글을 옮기고 있습니다