php mysql 스크래핑 시 한글깨짐 보통 요새는 utf8로 해서 한글깨지는 일이 별루 없긴 한데 간혹 대상사이트가 euckr로 되어 있는 경우는 브라우저에서 볼때 한글이 깨진다. 그래서 php 파일 상단에 header("Content-Type: text/html; charset=euc-kr"); 이걸 넣어주니 브라우저에서는 안깨지고 잘나왔다. 그러나.. mysql 을 열어보니 ??? 등등 다 깨져 있었다. 흠.. 어떻게 해야 하나... 삽질이 또 시작 되었다.. 일단 파일 저장할때 ANSI, UTF8은 신경 안썼다. 별 영향을 못미쳐 보이고 바꿔가면서 저장하기도 귀찮아서리.. mysql 테이블 설정을 utf8로 되어 있는것을 euc-kr로도 바꿔보았다.. 그래도 안되었는데 이것도 기본설정을 다시 바꾸..
octoparse 스크래핑 방법 1. next page 버튼 클릭 후 Loop click next page 선택. 2. 이제 상세보기 링크를 추출해야 한다. 가장 첫번째 제목을 클릭한다. Create a list of items. 선택 Add current item to the list. Continue to edit the list. 두번째 제목을 클릭 Add current item to the list. (그럼 title이 쫙~ 나온다.) Finish creating list. Loop 클릭 3. 그럼 상세페이지로 자동으로 이동한다. 추출을 원하는 항목을 클릭한다. Extract Text 선택
octoparse https://www.youtube.com/watch?v=I2GgfDl69No 1. Set Basic Information 단순히 이름만 치고 넘어간다. 2. Design Workflow WebBrowser 탭의 주소창에 스크랩을 원하는 목록 url을 copy 하여 paste 한다. 그럼 화면이 browsing 된다. 유튜브 동영상은 sub category 도 등록하는 방법이 나와 있는데 여기서는 그냥 바로 진행하는 걸로 한다. 화면 아래쪽으로 스크롤을 하여 next page 를 클릭한다. 그럼 팝업창이 뜨고 loop click next page 를 클릭한다. 그다음 상세 보기 링크를 만들어야 한다. 첫번째 상품의 제목을 클릭한다. 그럼 팝업창이 뜨고 Create a list of it..
파싱을 하면 할 수록 실력도 늘어가는것 같다. 알바몬에서 채용 담당자 정보를 파싱하려고 했는데 이런식으로 나오는 것이였다. 흠.. 어떻게 하지.. 크롬에서 마우스 우클릭도 안됐다. 웹 브라우저 주소창에나 스누피에서 아래의 url로 해보니 안됐다. http://www.albamon.com/recruit/view/hrmanagerinfoview?AL_GI_No=55301423&Temp_IDX=0&RouteViewType=&ViewType=gi 다행히 IE 11에서 개발자도구 같은게 있어서 봐봤다. 키값요청GET /recruit/view/hrmanagerinfoview?AL_GI_No=55301423&Temp_IDX=0&RouteViewType=&ViewType=gi HTTP/1.1Accepttext/html..
리눅스에서 반복작업하려면 crontab을 이용해야 합니다. crontab은 호스팅에서는 할 수 없고 서버 호스팅에서만 가능합니다. crontab의 최소 주기는 1분 입니다. 때문에 1초마다 호출하게 하려면 꼼수를 부려야 합니다. 크론탭을 작성합니다.crontab -e를 입력합니다.crontab에 대한 설명은 인터넷에 많이 나와 있으니 따로 학습하셔야 합니다. * * * * * sh /root/insert.sh & sleep 1;sh /root/insert.sh & sleep 2;sh /root/insert.sh & sleep 3;sh /root/insert.sh & sleep 4;sh /root/insert.sh & sleep 5;sh /root/insert.sh & sleep 6 ;sh /root/in..
putty를 다운받고 설치 실행합니다.Host Name(or IP address)에 ID@ip 입력합니다.그리고 Open 버튼을 클릭합니다. 패스워드를 입력하고 엔터 그럼 위와 같이 로그인 됩니다. 빗썸 api를 호출하여 결과값을 DB에 입력하는 php 프로그램을 만들고 그걸 호출하는 쉘을 작성합니다.vi insert.sh 라고 입력.vi를 모르면 인터넷에 사용법이 나와 있으니 따로 공부하셔야 합니다.여기서는 vi 에 대해 설명하지 않습니다. 위와 같이 php프로그램을 호출하게 입력합니다. :wq로 저장 잘 만들어 졌는지 호출해 봅니다.sh insert.sh 위와 같이 호출되서 결과가 출력되는것을 보니 잘 쉘이 호출된거 같네요.다음장에서는 크론탭 crontab을 이용해서 1초마다 반복실행하는 방법을 알아..
네이버 지도에서 업체정보 파싱하는 방법 예를들어 서울시에 있는 스타벅스 정보를 파싱하고 싶으면 http://map.naver.com/search2/local.nhn?query=%EC%8A%A4%ED%83%80%EB%B2%85%EC%8A%A4&page=1&type=SITE_1&queryRank=1&siteSort=0&menu=location&searchCoord=126.974596%3B37.5656189&sm=clk&boundary=125.869894%3B37.3098474%3B128.0720081%3B37.812208&mpx=09140111%3A37.5656189%2C126.974596%3AZ5%3A2.2021141%2C0.5023606 하면 JSON 형식으로 리턴된다. 이 JSON을 파싱하면 상호명, ..
- Total
- Today
- Yesterday
- webix
- ocjap
- 파싱
- EC
- ocpjp
- esql
- 오라클
- 프로씨
- 문자열
- C언어
- KG
- MySQL
- 자바
- 이클립스
- 스크래핑
- 자바 셀레니움
- 자바 smtp
- xe addon
- XE
- xe애드온
- 포인터
- XE3
- C
- proc
- Python
- JDBC
- 인포믹스
- 파이썬
- ocajp
- php
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |