node.js로 웹 크롤러 만들어보기

Handling Code Crew 박준영 입니다.

이번시간에는 유튜브에서 본 node.js로 웹크롤러를 만드는 강의를 본 걸 공유해보려고 합니다.

유튜브 링크는 아래의 링크입니다.

https://www.youtube.com/watch?v=Q-w14wK16cI

웹 크롤러를 사용하기 위해 npm 모듈중 cheerio-httpcli를 설치하는 것이 필요합니다.

npm 모듈 검색에 검색해보면 자세한 설명이 나와있습니다.

https://www.npmjs.com/package/cheerio-httpcli

bash에서 설치할 때에는 npm install cheerio-httpcli --save 명령어로 설치할 수 있습니다.

항상 node.js 에서 설치된 모듈을 사용하실 때에는

var client = require('모듈이름');

이런 식의 코드를 입력해 주어야 합니다.

Ctrl-R 명령어로 한번 돌려봅시다

오른쪽에 크롤러가 작동하여 웹사이트 http://www.google.com/search에서 '웹 크롤러'라는 단어를 검색한 데이터를 얻을 수 있습니다.

cheerio-httpcli 모듈을 이용하여 간단하게 웹 크롤러를 만들 수 있었습니다.