IT의 신

스크래핑, 웹크롤링이 향후 유망하다. 웹 크롤링 에누리 다나와 비비 한곳에서 볼수 없을까 레드벨벳벤처스,쿠콘. 보맵. 한곳에서 보여줌 비즈니스 기획 패턴은 단순 필요의발견 다수 웹사이트 서비스기획 검증 kb erp 필요의발견. 수기 입력의 늪. 법인은 여러 은행 거래 다수 웹사이트 여러은행 서비스기획/검증 kb erp 기술선도기업 웹캐시,핑거,기웅,희남 모바일 스크래핑 기술 보맵,뱅크샐러드 xxx님 카드만 바꿔도 매년 327,000 원이 절약되요! 수입/지출 분석 이런건 좀 힘들어 보인다고 함 공공 행정처리하는데 윗분들이 가져오라고 함. sns정보등. 유망함. 페이스북은 스크래핑이 안됨. 랭킹 탑 10. 시장에서 원함. 기회>스크래핑 + api api로 오픈을 해준다. 가속화 된다. 비즈니스 기획시 고려..

octoparse 스크래핑 방법 1. next page 버튼 클릭 후 Loop click next page 선택. 2. 이제 상세보기 링크를 추출해야 한다. 가장 첫번째 제목을 클릭한다. Create a list of items. 선택 Add current item to the list. Continue to edit the list. 두번째 제목을 클릭 Add current item to the list. (그럼 title이 쫙~ 나온다.) Finish creating list. Loop 클릭 3. 그럼 상세페이지로 자동으로 이동한다. 추출을 원하는 항목을 클릭한다. Extract Text 선택

앞글에 이어서..분명히 될지 알았는데 안되서 크롬의 network를 분석하기로 했다.All 을 클릭해보면 좌측에서 login.do 를 클릭해보면 Request URL:https://www.work.go.kr/member/login.doRequest Method:POSTStatus Code:302 Moved TemporarilyRemote Address:210.95.199.70:443Referrer Policy:no-referrer-when-downgradeResponse Headersview sourceConnection:Keep-AliveContent-Language:ko-KRContent-Type:text/plainDate:Sat, 02 Dec 2017 12:36:13 GMTKeep-Alive:tim..

스누피를 다운 받으면 README 파일에 간단한 예제들이 있다.이것을 기반으로 워크넷 로그인 하는방법을 연구해보자. 일단 스누피 README 파일을 열어보면 아래와 같이 되어 있다. NAME: Snoopy - the PHP net client v2.0.0SYNOPSIS: include "Snoopy.class.php";$snoopy = new Snoopy;$snoopy->fetchtext("http://www.php.net/");print $snoopy->results;$snoopy->fetchlinks("http://www.phpbuilder.com/");print $snoopy->results;$submit_url = "http://lnk.ispi.net/texis/scripts/msearch/net..

파싱시 해당 페이지를 다시 한번 호출할 경우 동일한 글이 다시 한번 db에 들어가는 경우가 있다. 이런것을 싫어 해서 중복일 경우에는 제외하는 방법이다. 여러가지 방법이 있겠지만 가장 간단하게 제목으로 중복으로 체크하는 방법이다. echo "i=".$i."\n\n";echo "title=".$title."\n\n";echo "s_url=".$s_url."\n\n"; $q= " select title from $db_prefix"."documents where title='$title' ";$query = $oDB->_query($q);$result = $oDB->_fetch($query); $dbTitle=$result->title;print_r($result);print_r($result->title)..

파싱을 하다보면 html 태그안의 내용만 뽑고 싶을때가 있다. 아래 태그처럼 선수번호와 이름을 추출하고 싶은데 선수번호는 그대로 추출되나 선수이름은 span 태그에 감싸져 있다. 정규식을 사용할 수 있으나 복잡하고 시간도 많이 걸리니 이럴때 간단하게 해결하는 방법이 있다. 바로 strip_tags를 사용하는 것이다. [0] => 6[1] => A. 크라이스비크[2] => A. 자한바크쉬[3] => 7[4] => 10[5] => A. 티하두이니[6] => B. 리엔스트라 (C)[7] => 6[8] => 1[9] => E. 룸 (G)[10] => D. 도스 산토스 foreach($match_num as &$value){$value=strip_tags($value);}print_r($match_num); 이런..