node.js 를 웹페이지 크롤링을 통한


Data 수집에 많이들 사용하시는듯 하여


cheerio 모듈을 사용한 크롤링


샘플 예제를 하나 만들어 봤습니다.



제 블러그의 nodejs 카테코리의 제목목록을 크롤링 하는 샘플 입니다.



 FileName : nodejs_test_03.js


 var request = require("request");

 var cheerio = require("cheerio");

 var url = "http://qnfmfmd.tistory.com/category/%21%21...nodejs";


 request(url,

            function(error, response, body)

            {

                if (error)

                {

                    throw error;

                }//   end if


                //  console.log(body);

                var $ = cheerio.load(body);


                var postElements = $("#searchList li");

                //  console.log(postElements);


                var i = 0;

                postElements.each(

                    function()

                    {

                        var postTitle = $(this).find("a").text().trim();

                        console.log( postTitle  );

                    }

                );  //  end postElements.each(


            }

 );  //  end requerst



 실행결과 

 shell> node nodejs_test_03.js

 [nodejs] - 정상설치확인 HTTP 접속 샘플코드 -

 [nodejs] Centos 6.7 64-bit node.js 설치하기

 shell>









저작자표시 비영리 변경금지

'!!...nodejs' 카테고리의 다른 글

[nodejs] - ftp client 구현 샘플  (0) 2022.10.05
[nodejs] - puppeteer 환경 구성하기  (0) 2020.08.25
[nodejs] - 웹 페이지 크롤링 티스토리 개인 관리자 로그인 후 캡쳐 - casperjs 모듈 이용 -  (0) 2017.05.30
[nodejs] - 정상설치확인 HTTP 접속 샘플코드 -  (0) 2017.05.26
[nodejs] - Centos 6.7 64-bit node.js 설치하기  (0) 2017.05.26

티스토리툴바