네이버 블로그 포스팅 제목과 URL 뽑기 (Octoparse)

컴퓨터 프로그램을 이용해 웹페이지나 다른 프로그램 화면에서 필요한 데이터를 추출하는 것을 스크래핑이라 하며 이 포스팅에는 자신의 블로그를 스크립핑해 포스팅한 글들의 제목과 데이터들을 추출하는 방법을 설명합니다.

 

 

목차

 

 

Octoparse 다운로드 및 설치

Octoparse는 스크래핑 도구들 중 가장 많은 건수(10,000건)를 저장할 수 있습니다. 대신 회원가입이 필요하고 무료 버전의 경우 14일 사용 제한이 있습니다. 참고하시기 바랍니다. 

 

1. https://www.octoparse.kr/download 에서 Octoparse를 다운로드 받습니다.

 

 

2. 다운로드가 완료되면 설치를 진행합니다. (회원가입이 필요합니다.)

 

 

Octoparse 블로그 스크래핑

 

1. 프로그램이 실행되면 상단 검색창에 본인의 네이버블로그 모바일 주소를 입력하고 시작 버튼을 누릅니다. 모바일 주소는 아래와 같이 블로그 주소 앞에 m.을 추가하시면 됩니다. 

https://m.blog.naver.com/아이디 

 

모바일 페이지를 스크래핑하는 이유는 모바일에서는 페이지 변환이 필요없이 계속해서 모든 포스팅이 쭉 나열되기 때문입니다.

 

 

2. '전체글'에서 리스트뷰 를 선택하고 '호버링 및 클릭' 메뉴에서 요소 클릭하기 를 선택합니다.

 

 

3. 보기 모드가 리스트뷰로 바뀌었습니다. 웹페이지가 배치된 상태에서 데이터가 어떻게 구성되었는지 탐지하기 위해서 웹 페이지 데이터 자동 인식 을 선택합니다. 

 

 

4. 스스로 스크롤을 하면서 블로그가 어떻게 구성되어있는지 어떤 내용이 있는지 파악합니다.

 

  

5. 이제 워크플로우 생성하기 버튼을 눌러 데이터 추출을 시작해 보겠습니다. 

 

 

6 워크플로우가 생성되고 어떤 흐름으로 동작하는지 확인할 수 있습니다. 필요하면 수정해 원하는 동작을 추가할 수도 있지만 우리는 자동으로 만든 것으로 충분하기 때문에  실행  버튼을 바로 눌러보겠습니다.

 

 

 

반응형

 

 

7. 실행을 누르면 다음인 경우 아래창이 뜹니다. 저장 경로를 선택하고  저장  버튼을 누릅니다.

 

 

8. 작업 실행 방식을 선택합니다. 클라우드 모드는 유료이기 때문에 '로컬 디바이스에서 실행하기'에서 내장 브라우저 모드 를 선택합니다. (이전 버전은 '일반 모드' 선택)

 

 

9. 블로그에서 데이터를 추출이 시작됩니다. 추출이 완료되면  내보내기  버튼을 눌러주세요.

 

 

10. 데이터 내보내기 형식을 원하는 형식으로 선택합니다. 저는 'Excel'로 선택해보겠습니다.

 

 

11. 저장된 엑셀 파일을 열어보겠습니다. 포스팅 제목과, 링크, 이미지, 이미지수량, 내용, 날짜, 좋아요, 평론 등의 컬럼이 채워지게 됩니다. 

 

 

 

관련포스트

윈도우 "휴대폰과 연결" 앱 소개와 사용방법

압축 파일 암호 푸는 방법 (패스워드 리커버리 / 트집)

당첨자 추첨 프로그램 유니피커 (UniPicker) 사용법 쉽게 설명

재고관리 프로그램 비교 (박스히어로, 웨이브온, 소프트캐럿)