html 스크래퍼

오토핫키로 심심풀이삼아 만들어본 html 수집기입니다.

   동작방식

---

자동으로 해당 페이지에 들어가서 ctrl +s 신호를 보내어 파일로 저장하는 과정을 반복합니다.

즉 html의 파일을 웹요청을 통해 가져오는게 아닌 일일이 순회하는 무식한 방식입니다.

시간이 조금 들어가지만 브라우저 저장 기능을 직접 이용하여 

정확한 수집이 가능한게 이점입니다. 

사용가능한 곳은 대표적으로 지금 사용하고 있는 티스토리 블로그가 되겠네요.

티스토리에 아무 게시물에 들어가서 주소를 한번 확인해보세요.

게시물번호가 1부터 시작하여 현재 쓴 양만큼 올라가죠? 

그러면 프로그램에서 해당 범위를 정하여 순회하게 하면 되는겁니다.

그 이후는 어디 잠시 놀러갔다오면 다 저장되있겠죠?

   사용 전 참고할 점

---

 

① 프로그램이 실행되는 동안 조작은 하지 말아주세요.

  ( 프로그래밍된 패턴에 따라 움직이기 때문에 마우스나 키보드 조작을 하면 실행이 꼬일 수 있습니다. )

② 입력값을 잘 못 주어서 프로그램 실행이 꼬인 경우 중지버튼(F9)를 누르고 

    프로그램을 재실행해주세요.

③ 페이지 로딩 시간이 길다고 생각될 경우 드랍메뉴에서 시간을 조절하세요. 

    ( 시간 조절이 제대로 안될 경우 로딩중 페이지가 저장 될 수 있습니다. )

   프로그램 실행순서

---

① 사용자가 콤보박스에서 선택한 브라우저가 열립니다.

② URL과 포스트 범위값을 연결시켜서 자동으로 해당 페이지로 이동합니다. 

     예를들어 URL을 abcd1234.com/ 라고 입력하면

     abcd1234.com/23 ~ abcd1234.com/25 ← 처럼 "/" 뒤에 포스트 ID 값이 붙습니다. 

③ 저장 단축키(ctrl+s)를 쏴서 해당 페이지를 저장시킵니다.

만약 크롬에서 mhtml(단일파일)로 저장하고 싶을 때

아래 주소를 직접 치고 들어가서 Save Page as MHTML로 저장을 활성화 하세요.

chrome://flags

html 스크래퍼.zip

#NoEnv  ; Recommended for performance and compatibility with future AutoHotkey releases.
; #Warn  ; Enable warnings to assist with detecting common errors.
SendMode Input  ; Recommended for new scripts due to its superior speed and reliability.
SetWorkingDir %A_ScriptDir%  ; Ensures a consistent starting directory.
 
 
Gui, Add, Text, x6 y9 w30 h10 , URL
Gui, Add, Edit, x34 y5 w300 h20 vINPUT_URL, https://
 
Gui, Add, Progress, x12 y89 w350 h10 vProgrs, 0
Gui, Add, Text, x162 y109 w30 h20 vPOST_NUM, 
 
Gui, Add, Text, x6 y31 w30 h20 , Path
Gui, Add, Edit, x34 y29 w300 h20 vFILE_PATH,C:\Users\%A_USERNAME%
GuiControl, Disable, FILE_PATH
 
Gui, Add, Button, x337 y29 w40 h20 , 선택
 
Gui, Add, Text, x12 y63 w90 h20 , 포스트 범위
Gui, Add, Edit, x82 y59 w100 h20 vSTART_NUM, 1
Gui, Add, Text, x192 y63 w10 h10 , -
Gui, Add, Edit, x212 y59 w100 h20 vEND_NUM, 5
Gui, Add, Text, x12 y139 w200 h20 , F1 : 시작   -  F9 : 중지 | 재시작
Gui, Add, Text, x212 y138 w100 h20 , 페이지 로딩 시간
Gui, Add, DropDownList, x312 y135 w40 h75 vPaging_time Choose2, 2초|3초|4초|5초
Gui, Add, Text, x252 y112 w50 h20 , 브라우저
Gui, Add, DropDownList, x312 y109 w40 h50 vSel_Browser Choose1, IE|Chrome
 
; Generated using SmartGUI Creator 4.0
Gui, Show, x553 y172 h167 w385, html 스크래퍼
Return
 
GuiClose:
ExitApp
 
global URL := ""
global SAVE_PATH = ""
global Browser := ""
 
send_func(wait1)
{
    run,%Browser% "%URL%"
    
    Sleep wait1
    SendInput,^s
    
    Sleep 1000
    
    SendInput,^l
    Clipboard := SAVE_PATH
    SendInput,^v{Enter}
     
    Sleep 500
    SendInput,{tab 9}{Enter}
    
    if ( Browser = "iexplore.exe" )
    {
    Sleep 6500
    SendInput,^w
    }
}
 
Button선택:
{  
    FileSelectFolder,File_Path
    
    
    if (!FILE_PATH)
    {
        FILE_PATH = C:\Users\%A_USERNAME%
    }
    GuiControl,,File_Path,%FILE_PATH%
    
}
 
F1::
 
GuiControl, , Progrs , 0
Gui,Submit,nohide
 
POST := START_NUM
URL  := INPUT_URL
SAVE_PATH := FILE_PATH
sleep_time := 3000
Browser := "iexplore.exe"
 
if (URL and END_NUM >= START_NUM)
{
    GuiControl, Disable, INPUT_URL
    GuiControl, Disable, START_NUM
    GuiControl, Disable, END_NUM
    GuiControl, Disable, Paging_time
    GuiControl, Disable, Sel_Browser
    
    if ( Sel_Browser = "Chrome" )
    {
      Browser := "chrome.exe"
    }
    
    if ( Paging_time = "2초" ) { 
    sleep_time := 2000
    }
    else if ( Paging_time = "4초" ) {
    sleep_time := 4000
    }
    else if ( Paging_time = "5초" ) { 
    sleep_time := 5000 
    }
      
 
    
    while( POST <= END_NUM ) {
        
        URL = %INPUT_URL%%POST%
        PROGRESS := END_NUM - START_NUM     + 1
        send_func(sleep_time)
        gauge := A_INDEX / PROGRESS * 100
        GuiControl, , POST_NUM , %gauge%`%
        GuiControl, , Progrs , %gauge%
        POST++
    }
 
    
} else {
  msgbox,{URL is Empty or A is greater than B}
}
    GuiControl, enable, INPUT_URL
    GuiControl, enable, START_NUM
    GuiControl, enable, END_NUM
    GuiControl, enable, Paging_time
    GuiControl, enable, Sel_Browser
return 
 
F9::
pause
return