본문 바로가기
반응형

토이프로젝트/[크롤링] 네이버 영화 크롤링하기6

[크롤링] 네이버에서 영화정보 가져오기 - #6 영화정보 가져오기 (끝) 코드는 다 만든 지... 3주가 넘어가는데, 다른 일로 좀 바빠서 이제야 글을 쓰네요... 이번 시간에는 이 프로젝트의 핵심인 영화 정보를 가져오는 코드와 그 방법을 설명하겠습니다. # 가져올 내용 저는 붉은 상자의 내용을 가져올 계획입니다. 이때 줄거리와 평점은 다른 탭에 있는 걸 확인할 수 있습니다. 그래서 눌러보면 티가 안 나지만 저 url 부분에 파란 상자가 보이시죠?? basuc, point로 바뀌는 걸 알 수 있습니다. 그 부분만 유의해서 정보를 가져오면 됩니다. 아! 추가로 포스터도 가져올 겁니다. 그래서 가져올 정보는 아래와 같습니다. -> 제목, 장르, 국가, 상영시간, 개봉 연도, 감독, 출연배우(일부), 등급, 줄거리, 네티즌 평점, 네티즌 평점 평가 인원, 포스터 이미지, 영화 고유.. 2022. 1. 26.
[크롤링] 네이버에서 영화정보 가져오기 - #5 ('국가 -> 개봉연도' 변경) 당초 계획은 제작국가를 통해서 네이버에 등록된 모든 영화를 가져오는 것이었습니다. 근데 계획을 좀 변경해서, 사실 코드를 오랜만에 다시 짜면서 생각을 못 하고 있었는데 옛날 코드를 발견하면서 기억이 돌아와... , 영화의 개봉 연도 별로 파일을 저장하는 것이 좋겠다는 판단이 들었습니다. 그래도 뭐 크게 바뀐 건 없습니다. 그냥 매번 하던 대로 하면 됩니다. 나중에 코드를 완성하면 멀티프로세싱으로 고속 처리를 할 예정입니다. 그리고 또 네이버 측에서 짧은 시간 내 다량의 트래픽을 발생시키면, 어쩌면 차단의 가능성이 있을 수 있기 때문에 자동으로 위 이미지에서 보이는 연도를 가져와서 url에 하나 대입해가며 전체 영화를 한큐에 가져오는 프로그램을 구성하기보다는 연도는 수동으로 입력해주고 각 연도별로 저장을 .. 2022. 1. 5.
[크롤링] 네이버에서 영화정보 가져오기 - #4 (방향잡기) 이번 시간에는 프로그램을 통해 사이트를 돌아다니면서 모든 영화의 정보를 가져오기 위해 필요한 작업에 대해 알아보고자 합니다. 앞으로 우리는 영화에서 위 붉은 박스에 해당하는 정보를 가져오려고 합니다. -> 평점, 장르, 상영시간, 개봉일, 감독, 출연, 등급 이 되겠죠? 문제는 저 정보를 가져온다고 해도 네이버에 등록된 모든 영화를 어떻게 찾아가느냐가 문제가 됩니다. 각 영화마다의 url을 수동으로 등록해줄 수는 없으니! 먼저 각각의 영화를 찾아가는 방법에 대해 알아보고자 합니다! 1. 국가정보를 이용하기 네이버 영화에서 디렉터리를 보면 영화를 국가별로 모아놓은 것을 확인할 수 있다. 이때 '가봉'은 국가 코드가 GA인 것을 우측의 코드 영역을 통해 확인할 수 있다. 각 국가의 코드는 태그 하위에 태그의.. 2022. 1. 2.
[크롤링] 네이버에서 영화정보 가져오기 - #3 (HTML 알아보기) 크롤링을 하려면 기초적인 HTML을 알아야 합니다. 그래야 어느 부분을 가져올지, 링크를 어떻게 넘어갈지 등에 대한 방향을 잡을 수 있기 때문입니다. 그래서 지금부터 브라우저를 이용해 기초적인 html을 알아보고자 합니다. 열심히 만들진 않았지만,,, ㅎㅎ 보면 일반적으로 html은 다음과 같은 구조를 갖습니다. 전체 틀인 html에 head와 body가 있습니다. 그리고 body안에 내용을 div, ul, li, a, span, section, nav, table 등등 각종 상황에 따른 태그가 오게 됩니다. 사이트에 html을 보면 수만은 태그들 사이에 특정 태그에 대한 속성을 주고 싶을 때가 있습니다. 여기선 그 태그로 div를 사용하겠습니다. 2개의 div가 있는데 이 들 중에 가장 먼저 나오는 첫.. 2022. 1. 1.
반응형