Appia의 IT세상

Python[파이썬 웹크롤러] 05-WebCrawler beautifulsoup4(뷰티풀 수프) 웹페이지를 파싱하기(Parsing) 앞서 포스팅에서는 beautifulsoup4(뷰티풀 수프)를 설치하는 방법과 왜 beautifulsoup4(뷰티풀 수프)를사용하는지에 대해서 간단히 이야기 해봤습니다. 이번 포스팅에서는 beautifulsoup4(뷰티풀 수프)를 통해서 간단히 웹페이지를 파싱하는 방법에 대해서 이야기를 해볼까 합니다. 먼저 흔히들 beautifulsoup4(뷰티풀 수프)을 통해서 웹페이지 또는 Html 등의 파일을 Parsing 한다고 하면 수프를 만든다고 이야기를 합니다. 수프를 만드기 위해서는 관련해서 파서등을 사용해야 합니다. 관련해서는 다음과 같은 파서등을 지원하고 있습니다. 물론, ..

Python[파이썬 웹크롤러] 04-WebCrawler beautifulsoup4(뷰티풀 수프)설치하기 및 필요성 많은 웹 크웹크롤러(WebCrawler)를 생성하는 사람들이 매우 많습니다. 그 중에서 파이썬을 사용하는 대부분 사람들은 앞서서 포스팅 했던 Request 모듈을 사용하는 경우도 많습니다. 저 또한 Request 모듈을 매우 선호하고, 매우 훌륭한 모듈이라고 생각합니다. 하지만, 한가지 제약 사항들이 존재합니다. 즉, 데이터들을 원하는 객체로 정리하는 과정이 필요하다는 것입니다. Python[파이썬 웹크롤러] 00-WebCrawler 크롤러를 위한 모듈 설치 - requests 모듈설치Python[파이썬 웹크롤러] 00-WebCrawler 크롤러를 위한 모듈 설치 - requests 모듈설치..

Python[파이썬 웹크롤러] 03-WebCrawler 사이트의 내용(Html) 읽어오기 이번 포스팅에서는 사이트의 HTML의 내용을 읽어오는 부분에 대해서 포스팅을 해보고자 합니다. 앞서서는 header 부분만 읽어왔다면, 이번에는 HTML 내용 전체를 가져오는 방법에 대해서 살펴보겠습니다. 일단 앞서 부분과 거의 유사한 부분이지만, 다시 한번 코드를 한번 살펴보겠습니다. import requests as rq url = 'https://appia.tistory.com' result = rq.get(url) print(result.text) cs get()을 통해서 가져온 결과에서 result.text를 통해서 HTML 전체 코드를 가져올 수 있습니다. 위의 코드를 실행하면 다음과 같은 결과가 나옵니다..

Python[파이썬 웹크롤러] 02-WebCrawler 사이트의 헤더 읽어오기 이번 포스팅은 웹사이트에서 헤더 파일을 읽어오는 방법에 대해서 살펴보고자 합니다. 이번에도 앞서 포스팅과 동일하게 requests 모듈을 활용하고자 합니다. 일단 앞서 코드에서와 동일하게 사용하는 부분에서 추가로 한가지 부분을 더 살펴보고자 합니다. 일단 먼저 다음 코드를 한번 살펴보겠습니다. import requests as rq url = 'https://appia.tistory.com' result = rq.get(url) print(result.headers) for i in result.headers: print(i)cs 위의 형태을 코드를 실행하면 다음과 같은 결과가 나옵니다. {'Date': 'Sun, 31 May..

Python[파이썬] PyQt5, requests를 이용한 웹사이트 정상 확인기 이번 포스팅은 웹 사이트가 정상적으로 접속이 가능한지에 대해서 확인하는 GUI프로그래밍을 해보도록 하겠습니다. 이전 포스팅에서는 웹사이트 정상적인지 확인하는 방법에 대해서 콘솔안에서만 확인을 했습니다. 이번에는 GUI기반으로 확인해보도록 하겠습니다. 기본적으로 PyQt5, requests를 이용해보도록 하겠습니다. import sys import requests as rq from PyQt5.QtWidgets import QApplication, QWidget, QTextEdit,QPushButton, QLineEdit class QtGUI(QWidget): def __init__(self): super().__init__(..

Python[파이썬 웹크롤러] 01-WebCrawler 웹사이트 접속 확인하기(requests) 일단 앞서 포스팅에 이어서 웹크롤러 관련해서 작성을 해볼까 합니다. 간단하게 웹사이트 접속을 확인하는 코드를 작성해보겠습니다. 우선 웹사이트에 접속을 할 때는 get()명령어를 통해서 접근을 합니다. url주소를 get()명령어를 통해서 웹사이트에 접속할 수 있습니다. 물론, 웹브라우저에서 그대로 표시를 해주지는 않지만, 이 부분을 통해서 사이트가 정상인지에 대해서는 확인이 가능합니다. import requests as rq url = "https://naver.com" rq.get(url) cs 위의 코드를 실행하면 아무런 결과를 얻을 수 없습니다. 그럼 정상인지 확인하기 위해서는 몇가지 추가적인 부분에 대..

Python[파이썬 웹크롤러] 00. WebCrawler 크롤러를 위한 모듈 설치 - requests 모듈설치 빅데이터, 인공지능등이 발전함에 따라, 데이터의 중요성이 매우 켜지고 있습니다. 그 중에서 가장 큰 부분은 바로 인터넷에 있는 정보를 잘 활용하느냐 입니다. 그래서 크롤러를 위한 모듈에 대해서 설치해보도록 하겠습니다. 그중에서 requests 모듈은 매우 많이 사용되기 때문에, 설치을 한번 진행해보도록 하겠습니다. 흔히 가장 쉽게 설치 할 수 있는 방법은 커맨드 콘솔에서 'pip install requests'를 입력하여 실행하는 것입니다. 그럼 다음과 같은 화면이 나타납니다. D:\BlogProject>pip install requests Collecting requests Downloadin..