Appia의 IT세상

Python[파이썬 웹크롤러] 01-WebCrawler 웹사이트 접속 확인하기(requests) 일단 앞서 포스팅에 이어서 웹크롤러 관련해서 작성을 해볼까 합니다. 간단하게 웹사이트 접속을 확인하는 코드를 작성해보겠습니다. 우선 웹사이트에 접속을 할 때는 get()명령어를 통해서 접근을 합니다. url주소를 get()명령어를 통해서 웹사이트에 접속할 수 있습니다. 물론, 웹브라우저에서 그대로 표시를 해주지는 않지만, 이 부분을 통해서 사이트가 정상인지에 대해서는 확인이 가능합니다. import requests as rq url = "https://naver.com" rq.get(url) cs 위의 코드를 실행하면 아무런 결과를 얻을 수 없습니다. 그럼 정상인지 확인하기 위해서는 몇가지 추가적인 부분에 대..

Python[파이썬 웹크롤러] 00. WebCrawler 크롤러를 위한 모듈 설치 - requests 모듈설치 빅데이터, 인공지능등이 발전함에 따라, 데이터의 중요성이 매우 켜지고 있습니다. 그 중에서 가장 큰 부분은 바로 인터넷에 있는 정보를 잘 활용하느냐 입니다. 그래서 크롤러를 위한 모듈에 대해서 설치해보도록 하겠습니다. 그중에서 requests 모듈은 매우 많이 사용되기 때문에, 설치을 한번 진행해보도록 하겠습니다. 흔히 가장 쉽게 설치 할 수 있는 방법은 커맨드 콘솔에서 'pip install requests'를 입력하여 실행하는 것입니다. 그럼 다음과 같은 화면이 나타납니다. D:\BlogProject>pip install requests Collecting requests Downloadin..