IT의 신

우선 데이터 스크래핑(크롤링)에 관한 초보자, 코딩을 전혀 모르는 분들을 위한 글 입니다. 주변을 보면 데이터 스크래핑을 하고 싶은데 어떻게 하는지 모르고 의뢰도 어렵고 해서 본인이 직접하고 싶은 분들이 많습니다.보통 기획자분들이 많은데 코딩을 몰라서 못하고 있는 경우가 많고요. 그러나 요새 세상이 좋아져서 코딩을 몰라도 얼마든지 프로그램을 할 수 있는 시대에 살고 있습니다.그래서 코딩을 몰라도 얼마든지 원하는 RPA 자동화를 할 수 있게끔 도와드리려고 합니다. 우선 간단하게 카카오쇼핑을 대상으로 데이터 스크래핑을 하여 RPA에 대한 통찰을 얻게 끔 합니다. 직접 해보면 많은 깨달음이 있을 것입니다.마중물의 역할을 하는것이 이번강의 목적입니다. 더 공부하셔도 되고, 수요가 있으면 정식 강의를 만들어볼 의..

uipath를 쓰고 Extract Table 을 쓰는데 Extract Table Data 'Extract Table Data': 시간 제한에 도달했습니다. 라는 에러가 발생하였다. 사실 에러나는 줄도 모르고 그냥 안되네. 왜 안되지 라고만 생각하였다.uipath 이것저것을 만지다 보니까오류 발생 시 계속 진행이 디폴트 True로 되어 있었다. 이것을 False로 바꾸니 그제서야 Extract Table Data': 시간 제한에 도달했습니다라는 에러로그가 찍혀서 알았다.Extract Table Data에서 추출테스트를 클릭하니 잘 되었다.알고보니 브라우저가 여러개 띄워져 있어서 uipath가 못찾고 시간 제한에 도달했다고 생각한것 같았다.그래서 브라우저 모두 닫으니 uipath가 새로 열어서 잘 수행하였다.

카카오맵 url 방식이 막혀 api 방식으로 했다. 하지만.. 건수 제한과 주소도 끝까지 (동,호수,번지수등) 리턴하지 않는것이였다. 네이버지도도 알아보니 돈내는것으로 2025년 7월 1일부로 바뀐것 같다.chatgpt에게 물어보니 네이버 지도 api 역시 주소정보를 끝까지 리턴하지 않는다고 한다. (동,호수)이래서는 안되서.. 화면에 보이는 방식 그대로 스크래핑 하려고 연구하였다. 몇일간의 연구 끝에.. 드디어 성공하였다. 지도정보를 얻고 싶은 분은 카톡 xemaker로 연락주길 바랍니다.

오랜만에 wifi 수동 등록 하려면 헷갈리고 기억이 안날 수 있다.그래서..우측하단 와이파이 모양을 클릭한 후 > 숨겨진 네트워크 선택하면 된다.SSID 입력하면 패스워드를 입력하라고 나오다. 그러면 패스워드를 입력하면 된다.숫자 0 하고 영문자 O 하고 헷갈리니 주의 하고 괄호 ( ) 등도 있으니 이것도 마치 괄호가 처음에 있으면 괄호의 역할인줄 아는데 패스워드의 문자 중 1개이니 주의해야 한다.

자바 프로그램이 잘 실행되고 있었고 복사해서 실행하려고 하는데 Error: Could not find or load main class kakaomap.KakaoSimple5 Caused by: java.lang.ClassNotFoundException: kakaomap.KakaoSimple5이런에러가 발생하였다.이상하네.. 그냥 복사 붙여넣기만 했는데..이렇게 해서 잘 쓰고 있었는데 에러 발생..혹시나해서 Order and Export 에서 JRE System Library [JavaSE-11] 이 체크박스에 체크가 안되어 있었는데 체크를 하니 느낌표도 사라지면서 잘 되었다.

1. jdk를 설치해야 한다. 현 프로그램은 jdk 11 버전에서 했으니 이왕이면 버전을 맞추는것이 좋을것 같다.https://www.oracle.com/kr/java/technologies/javase/jdk11-archive-downloads.html Java Archive Downloads - Java SE 11 | Oracle 대한민국WARNING: Older versions of the JDK are provided to help developers debug issues in older systems. They are not updated with the latest security patches and are not recommended for use in production. For pro..

과거 네이버지도나 카카오지도 에서는 url 방식으로 call을 해서 값을 가져올 수 있었으나 이제는 그 방식을 막아놔서 api 방식으로만 해야 된다.때문에 카카오지도를 사용하려면 api 사용 신청을 먼저 해서 App key를 받아야 한다.https://apis.map.kakao.com/우측 상단에 app key 발급을 클릭한다.애플리케이션 추가하기를 선택앱 아이콘은 안해도 되고 앱 이름 등 정해서 입력하고 저장버튼 클릭좌측 플랫폼 메뉴를 클릭 > Web 플랫폼 등록 버튼 클릭 > 사이트 도메인을 http://localhost 로 한다.사이트 도메인 : http://localhost기본 도메인 : http://localhost좌측 메뉴 카카오 맵 클릭 > 활성화 설정 ON 으로 변경좌측 메뉴 > 앱 키 클..

package kakaomap;import java.io.BufferedReader;import java.io.InputStreamReader;import java.net.HttpURLConnection;import java.net.URL;import java.net.URLEncoder;//jackson-annotations,core,databind 이 3개를 다 받아야 한다.public class KakaoSimple2 { // 카카오 REST API 키 private static final String API_KEY = "KakaoAK yourKEY"; private static final String KAKAO_API_URL = "https://dapi.kakao.com/v2/local..

내 애플리케이션 > 카카오맵 > 활성화 설정이 초기 기본값이 OFF로 되어 있다.이것을 ON으로 바꿔줘야 한다.바꾸고 바로 실행했더니 바로 되었다. package kakaomap;import java.io.IOException;import java.net.URI;import java.net.http.HttpClient;import java.net.http.HttpRequest;import java.net.http.HttpResponse;import java.util.Map;import com.fasterxml.jackson.databind.ObjectMapper;//jackson-annotations,core,databind 이 3개를 다 받아야 한다.public class KakaoSimple { pu..

jackson-annotations-2.9.9.jarjackson-core-2.9.9.jarjackson-databind-2.9.9.jar이 3개를 전부다 다운로드 받아야 정상 동작 한다. https://m.blog.naver.com/ambidext/222485849963 [JAVA] Json Library - JacksonJackson Library - Json 변환 시 사용 (Spring에서 사용됨) https://repo1.maven.org/maven2/com/faste...blog.naver.com