티스토리 뷰

스크래핑,파싱

알바몬 담당자 정보 파싱 스크래핑 방법

xemaker 2018. 4. 2. 22:37

파싱을 하면 할 수록 실력도 늘어가는것 같다.


알바몬에서 채용 담당자 정보를 파싱하려고 했는데


<iframe src="/recruit/view/hrmanagerinfoview?AL_GI_No=55301423&Temp_IDX=0&RouteViewType=&ViewType=gi" onload="resize_iframe(this)" width="100%" frameborder="0" scrolling="no"></iframe>



이런식으로 나오는 것이였다.

흠.. 어떻게 하지..

크롬에서 마우스 우클릭도 안됐다.

웹 브라우저 주소창에나 스누피에서 아래의 url로 해보니 안됐다.

http://www.albamon.com/recruit/view/hrmanagerinfoview?AL_GI_No=55301423&Temp_IDX=0&RouteViewType=&ViewType=gi

다행히 IE 11에서 개발자도구 같은게 있어서 봐봤다.

키 값
요청 GET /recruit/view/hrmanagerinfoview?AL_GI_No=55301423&Temp_IDX=0&RouteViewType=&ViewType=gi HTTP/1.1
Accept text/html, application/xhtml+xml, */*
Referer http://www.albamon.com/recruit/view/gi?AL_GI_No=55301423&mj_stat=0
Accept-Language ko-KR
User-Agent Mozilla/5.0 (Windows NT 6.1; Trident/7.0; rv:11.0) like Gecko
Accept-Encoding gzip, deflate
Host www.albamon.com
DNT 1
Connection Keep-Alive
Cookie ASP.NET_SessionId=kezylxc5q050u152gbfui4p4; ASPSESSIONIDCCTQQDTR=CJEHCPPAHOCLGHJENGIBGJBI; NiKwd.referrer=; NiKwd.landing=1; MyViewGI=55188816; PCID=15226743923791134259473; __utma=185728505.686078903.1522674398.1522674398.1522674398.1; __utmb=185728505.5.10.1522674398; __utmc=185728505; __utmz=185728505.1522674398.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); __utmt=1; ACEFCID=UID-5AC22ADD9362FDA4ABAA346D

이런식으로 되어 있었다.

referer 와 쿠키값을 넣어서 해봤다.

$snoopy->referer = "http://www.albamon.com/recruit/view/gi?AL_GI_No=55188816&optgf=dfplatinumvip";  

$snoopy->cookies["ASP.NET_SessionId"]="kezylxc5q050u152gbfui4p4";
$snoopy->cookies["PCID"]="15226743923791134259473";
$snoopy->cookies["MyViewGI"]="55188816";
$snoopy->cookies["ASPSESSIONIDCCTQQDTR"]="CJEHCPPAHOCLGHJENGIBGJBI";
$snoopy->cookies["ACEFCID"]="UID-5AC22ADD9362FDA4ABAA346D";
$snoopy->cookies["__utmz"]="185728505.1522674398.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none)";
$snoopy->cookies["__utmt"]="1";
$snoopy->cookies["__utmc"]="185728505";
$snoopy->cookies["__utmb"]="185728505.1.10.1522674398";
$snoopy->cookies["__utma"]="185728505.686078903.1522674398.1522674398.1522674398.1";


그러니 되었다.

그런데 나중에는 쿠키값 안넣고 referer만 넣어도 되었다.

http://www.albamon.com/recruit/view/hrmanagerinfoview?AL_GI_No=55301423&Temp_IDX=0&RouteViewType=&ViewType=gi


결과

<html lang="ko">
<head>
<meta charset="UTF-8">
<meta http-equiv="X-UA-Compatible" content="IE=edge">
<link rel="stylesheet" href="http://contents.albamon.kr/css/ver_1/view_ui.css?v=2018040222">
<link rel="stylesheet" href="http://contents.albamon.kr/css/ver_1/view_recruit.css?v=2018040222">
<style>
html, body {
padding: 0;
margin: 0;
}
</style>
<title>채용담당자정보</title>
<script type="text/javascript" src="/Scripts/js/jq/jquery.js"></script>
</head>
<body xonkeydown="return false" ondragstart="return false" onselectstart="return false" oncontextmenu="javascript:return false">
<div class="itemInfo response verticalLine">
<h3>채용담당자 정보</h3>
<div class="item">
<span class="listTitle">담당자</span>
<span class="listContent">오창준</span>
</div>
<div class="item">
<span class="listTitle">이메일</span>
<span class="listContent"><a href="mailto:sevali22c@naver.com">sevali22c@naver.com</a></span>
</div>
<div class="item">
<span class="listTitle">전화</span>
<span class="listContent phoneNum">
<div>
<span>010-8979-7946</span>
</div>
<div>
<span>02-3452-8284</span>
</div>
</span>
</div>
<div class="description">
‘알바몬에서 보고 전화드렸습니다.’ 라고 한 후, 공고제목과 근무지역을 말씀하시면 빠른 문의가 가능합니다.
</div>
<div class="summary verticalLine">
<span>구직이 아닌 광고 등의 목적으로 연락처를 이용할 경우 법적 처벌을 받을 수 있습니다.</span>
</div>
</div>
<script type="text/javascript">
$(document).on('click', '.devSafeInfo', function () {
parent.recruitViewCommon.layer.showSafeNumInfoLayer();
return false;
});
</script>
</body>
</html>
Array
(
[0] => Array
(
)

[1] => Array
(
)

)



'스크래핑,파싱' 카테고리의 다른 글

php snoopy가 안될때 octoparse 스크래핑  (0) 2018.04.26
아마존 스크래핑 octoparse  (2) 2018.04.20
파싱자동화(2) - 크론탭 crontab 을 이용해서 1초마다 실행하기  (0) 2018.01.29
파싱자동화(1) - 뿌띠 putty 로그인 방법과 쉘작성 및 실행하기  (0) 2018.01.29
스마트폰에서 소스보기 안드로이드  (0) 2018.01.10
공유하기 링크
댓글
공지사항
최근에 올라온 글
최근에 달린 댓글
Total
Today
Yesterday
링크
TAG more
«   2025/07   »
일 월 화 수 목 금 토
1 2 3 4 5
6 7 8 9 10 11 12
13 14 15 16 17 18 19
20 21 22 23 24 25 26
27 28 29 30 31
글 보관함