IT의 신

파싱, 스크래핑시 html 파일로 작업을 할 때 http:// 가 있으면 오래걸리고 등 하니 없애버리고 싶을 때가 있다. 불필요하니.. 그래서 어떻게 할까.. 생각하다가 노트패드 ++ 에서 Ctrl+f 하면 Find 탭이 기본적으로 뜨니 그 옆에 Replace 탭으로 가서 아님 바로 Ctrl+h 해도 된다. 대화상자가 뜨고 좌측 하단에 Search Mode 박스에서 Regular expression 선택 Find what: 에 http(.*)" Replace with: 에 " 하고 Replace All 을 하면 http:// 로 되어 있는 부분이 다 없어진다. 즉 href="" 이렇게 된다.

라이믹스나 xe 게시판을 파싱할 경우 로그인 한 사용자만 볼 수 있게 권한을 설정한 경우가 있다. 그럴경우 파싱하는 방법을 알아본다. 또한 게시판에 자동 글 쓰기 하는 방법도 알아본다. 마찬가지로 글 쓰기도 로그인 한 사용자로 관리자가 권한 설정을 해 놓았을 때도 글 쓰기가 가능하다. 쎌레니움으로도 해보았지만 그냥 코드로 하는게 브라우저 띄우지 않아도 되서 편한것 같다. package rxwrite; import java.io.IOException; import java.util.HashMap; import java.util.Map; import org.jsoup.Connection; import org.jsoup.Jsoup; import org.jsoup.nodes.Document; /** * noti..

웹 브라우저에서 소스보기 한 후 복사 붙여넣기를 에디터에서 하면 정렬이 잘 안되는 경우가 있다. 노트패드 플러스 플러스 에서 있겠지.. 했는데 무슨 플러그인을 깔라고 한다. 노트패드 플러스 플러스는 다 좋은데 기본기능이 많이 빠져있고 플러그인 으로 해야 되서 번거롭다. 그래서 바로 할 수 있는게 뭐 없을까.. 찾아보니 비주얼 스튜디오 코드 에서는 바로 할 수 있었다. 우선 비주얼 스튜디오 코드 새파일에 붙여넣기 하고 파일명을 확장자 json으로 저장한다. 그런다음 Ctrl+k > Ctrl+f 하면 된다. 아님 자바 Jsoup 에서 get 해서 Document 를 가져온 다음 출력하면 나름 정렬이 잘 되서 출력해준다. 그런데 그럴려면 프로그래밍을 조금 해줘야 하니 번거로울 수 있다. 그래서 비쥬얼 스튜디오..

자바 언어와 Jsoup API를 사용해서 네이버 뉴스를 파싱해 본다. 원래 인터넷에 붙어서 하는게 맞는데 html을 파일로 만들어 해봤다. 마치 수더 코드라고 생각해도 될듯. 이해하는데는 무리가 없을 듯. 메소드 내용에 핵심적인것은 다 있으니.. 예전에는 네이버 뉴스가 각 해당 언론사 링크로 이동된것 같았다. 그래서 뉴스 파싱을 하려면 각 언론사 구조를 모르니 할수가 아니 하는데 한계가 있었다. 그런데 지금 보니 네이버에서 데이터를 가져와 네이버 플랫폼에서 보여지는듯 하다. 그래서 형태가 동일해서 하기가 쉬웠다. package naver_news; import java.io.File; import java.io.IOException; import org.jsoup.Jsoup; import org.jsou..

아마 xe로 만들어진 게시판 파싱을 하는데 PHP Fatal Error: Maximum execution time of 120 seconds exceeded in 이런에러가 났다.. 흠.. 구글링을 해보니 set_time_limit(0); 이걸넣으면 된다고 한다. 그래서 넣었더니 위의 에러가 안났다.

jTable과 DefaultTableModel 을 써서 한글을 표시했는데 이클립스 > Export > Runnable jar file 을 한 후 더블클릭해서 실행했더니 한글이 깨지더라.. 그냥 이클립스에서 Ctrl+F11 눌러서 실행했을때는 한글이 안깨지던데.. 흠.. 한글 인코딩 문제인지 알고 소스에서 인코딩을 바꾸어보다가 아니.. 이게 아니지.. Ctrl+F11 눌렀을때는 한글이 안깨지니 Runnable jar file 문제다 하고 구글링은 해보니 답을 찾았다. == 결과 == 기본적으로 제가 개발하는 모든 JAVA 프로그램은 UTF-8을 사용하고 있습니다. 그 이유인지 모르겠지만. 추출한 JAR 파일을 CMD 창에서 실행결과 한글이 깨져서 표시됩니다. 이를 해결하기 위해서는 아래의 옵션을 넣어주시면..

네이버 파파고 papago api를 사용하다가 한번에 최대 5000자 까지만 된다는 것을 알게되었다. 이런.. int len = (int) Math.ceil((double) cont.length() / 5000); System.out.println("len="+len); String newCont=""; String newContTemp=""; int last1=0; int last2=5000; for(int i=0;i

client id와 client secret을 바꾸고 될지 알았는데 안되었다. {"errorMessage":"NID AUTH Result Invalid (1000) : Authentication failed. (인증에 실패했습니다.)","errorCode":"024"} 아.. 이런.. 뭥미.. 알고 봤더니 무료로 했을때 코드를 변경해줘야 했다. 무료였을때 String apiURL = "https://openapi.naver.com/v1/papago/n2mt"; 이랬던 정보를 String apiURL = "https://naveropenapi.apigw.ntruss.com/nmt/v1/translation"; 이렇게 바꿔주고 했는데 역시나 에러.. //requestHeaders.put("X-Naver-Cl..

앞의 글에서 AI-NAVER API를 클릭하니 아래 캡처화면이 나타났다. 스크롤을 아래로 내려 하단의 Application 등록 버튼을 클릭한다. 약관 동의를 하면 아래와 같은 화면이 나온다. 나머지는 매뉴얼 대로 하면 된다. Application 등록 방법 콘솔 메뉴에서 AI·NAVER API > Application 메뉴를 선택한 다음, 약관 동의 후 Application 등록을 진행합니다. ① 약관동의 후 나타나는 화면에서 Application 이름을 입력합니다. 이름은 최대 40 자까지 가능하나 추후 추가되는 Service의 성격에 따라 화면에 출력되는 Application 이름으로 쓰일 수 있으므로 가급적이면 10 자 이내의 간결한 이름이 좋습니다. ② 사용하려는 Service를 선택합니다. 현..

우선 네이버 파파고 api 무료로는 시도해서 잘 됐다. 하지만 무료는 글자수가 너무 적어 단지 테스트용으로만 사용해야지 어떤 서비스나 결과물을 얻기에는 불가능 하다. 그래서 유료서비스를 받아야지.. 하고 봤는데.. 복잡하다. 우선 네이버 클라우드 플랫폼을 가입해야 한다. https://apidocs.ncloud.com/ko/ai-naver/papago_nmt/ Papago NMT - API 참조서 개요 네이버가 자체적으로 개발한 인공신경망 기반의 기계 번역 기술인 NMT(Neural Machine Translation)를 이용한 번역 서비스입니다. 입력된 문장을 쪼개어 번역하는 것이 아니라 문구를 통째로 번역�� apidocs.ncloud.com 잘 알 수가 없어서 설명서를 읽었는데 개요 네이버가 자체적..