질문을 삭제하지 말아주세요.!
 
1
0
-1

헤드리스 브라우저를 통해서 네이버 구글 다음 회사이메일 을 크롤링 하려고합니다

프로그램이 있지만 연습중이라서요,,


우선 데이터베이스에 파싱할 사이트와 아이디 비밀번호 정보가 저장되어있습니다


페이지에 접속을 하면 저장되있는 정보를 전부 불러와서 view에 foreach 를 이용해서 form으로 정보들을 하나씩 감싸주고


크롤링하기 버튼을 클릭하면 감싸준 form을 ajax를 통해서 일괄적으로 크롤링 로직이있는곳으로 데이터를 보냅니다


그럼 데이터에 파싱할사이트를 분류해서 크롤링을 시작하는데 


5개를 보내면 다성공할때도있고 3개 500에러가 날때도 있고, 2개 에러날때도 있습니다


안정적으로 5개 보내면 다성공이 되야되는데 왜 이런 증상이 나타나는지 알수있을까요... ?



    CommentAdd your comment...

    2 answers

    1.  
      1
      0
      -1

      실제 크롤링이 성공하더라도 실행시간이 오버날 수 있으므로 큐로 돌려놓고 크롤링을 하는레 어떨까요?

      1. getahead92

        [2018-09-07 17:14:52] local.ERROR: session not created exception
        from chrome not reachable
        (Session info: headless chrome=68.0.3440.106)
        (Driver info: chromedriver=2.35.528161 (5b82f2d2aae0ca24b877009200ced9065a772e73),platform=Windows NT 10.0.17134 x86_64) {"exception":"[object] (Facebook\\WebDriver\\Exception\\SessionNotCreatedException(code: 0): session not created exception
        from chrome not reachable
        (Session info: headless chrome=68.0.3440.106)
        (Driver info: chromedriver=2.35.528161 (5b82f2d2aae0ca24b877009200ced9065a772e73),platform=Windows NT 10.0.17134 x86_64) at C:\\Bitnami\\wampstack-7.1.21-0\\apache2\\htdocs\\web\\vendor\\facebook\\webdriver\\lib\\Exception\\WebDriverException.php:154)



        로그 들어가보면 이런 오류가 나오는데요 혹시 어떤 문제점인지 대충 파악이 되실까요ㅠㅠ ?

      CommentAdd your comment...
    2.  
      1
      0
      -1

      지금 예측되는 500 에러는 실행시간이 오버 날 경우

      인거 같은데..

      혹시 다른 이유일 수도 있으니 에러 로그를 한번

      살펴보세요

        CommentAdd your comment...