스크래핑,파싱
xe 파싱시 제목으로 중복 체크 하는 방법
xemaker
2017. 4. 23. 08:58
파싱시 해당 페이지를 다시 한번 호출할 경우 동일한 글이 다시 한번 db에 들어가는 경우가 있다.
이런것을 싫어 해서 중복일 경우에는 제외하는 방법이다.
여러가지 방법이 있겠지만 가장 간단하게 제목으로 중복으로 체크하는 방법이다.
echo "i=".$i."\n\n";
echo "title=".$title."\n\n";
echo "s_url=".$s_url."\n\n";
$q= " select title from $db_prefix"."documents where title='$title' ";
$query = $oDB->_query($q);
$result = $oDB->_fetch($query);
$dbTitle=$result->title;
print_r($result);
print_r($result->title);
if($title==$dbTitle){
echo "\n이미 db에 있음\n\n";
continue;
}