Appia의 IT세상

파이썬[Python] 고급 크롤링을 위한 selenium 모듈 설치하기 먼저 크롤링 관련된 이야기를 하면서 뷰티풀 수프, Beautiful Soup을 이용하는 부분에 대해서 이야기를 해봤습니다. 그리고 그 부분을 통해서 많지는 않지만 필요한 부분에 대해서 포스팅을 했고, 또 앞으로도 관련된 포스팅을 진행해보고자 합니다. 하지만, 관련해서 블로그를 진행하면 할수록, 약간의 부족함을 느꼈습니다. 특정 버튼을 클릭후에 나오는 데이터를 바탕으로 진행한다던지, 아니면 특정 부분에 대한 로그인을 진행하고 나서 특정 정보를 크롤링 해야하는 경우가 비일비재하였습니다. 그래서 이와 같은 문제의 해결하기 위해서 selenium모듈과 WebDriver(Chrome)에 대해서 설치하는 방법에 대해서이야기를 해보고자 합니다. ..

Python[파이썬 웹크롤러] 04-WebCrawler beautifulsoup4(뷰티풀 수프)설치하기 및 필요성 많은 웹 크웹크롤러(WebCrawler)를 생성하는 사람들이 매우 많습니다. 그 중에서 파이썬을 사용하는 대부분 사람들은 앞서서 포스팅 했던 Request 모듈을 사용하는 경우도 많습니다. 저 또한 Request 모듈을 매우 선호하고, 매우 훌륭한 모듈이라고 생각합니다. 하지만, 한가지 제약 사항들이 존재합니다. 즉, 데이터들을 원하는 객체로 정리하는 과정이 필요하다는 것입니다. Python[파이썬 웹크롤러] 00-WebCrawler 크롤러를 위한 모듈 설치 - requests 모듈설치Python[파이썬 웹크롤러] 00-WebCrawler 크롤러를 위한 모듈 설치 - requests 모듈설치..