Appia의 IT세상

Python[파이썬 웹크롤러] 03-WebCrawler 사이트의 내용(Html) 읽어오기 이번 포스팅에서는 사이트의 HTML의 내용을 읽어오는 부분에 대해서 포스팅을 해보고자 합니다. 앞서서는 header 부분만 읽어왔다면, 이번에는 HTML 내용 전체를 가져오는 방법에 대해서 살펴보겠습니다. 일단 앞서 부분과 거의 유사한 부분이지만, 다시 한번 코드를 한번 살펴보겠습니다. import requests as rq url = 'https://appia.tistory.com' result = rq.get(url) print(result.text) cs get()을 통해서 가져온 결과에서 result.text를 통해서 HTML 전체 코드를 가져올 수 있습니다. 위의 코드를 실행하면 다음과 같은 결과가 나옵니다..

Python[파이썬] PyQt5, requests를 이용한 웹사이트 정상 확인기 이번 포스팅은 웹 사이트가 정상적으로 접속이 가능한지에 대해서 확인하는 GUI프로그래밍을 해보도록 하겠습니다. 이전 포스팅에서는 웹사이트 정상적인지 확인하는 방법에 대해서 콘솔안에서만 확인을 했습니다. 이번에는 GUI기반으로 확인해보도록 하겠습니다. 기본적으로 PyQt5, requests를 이용해보도록 하겠습니다. import sys import requests as rq from PyQt5.QtWidgets import QApplication, QWidget, QTextEdit,QPushButton, QLineEdit class QtGUI(QWidget): def __init__(self): super().__init__(..

Python[파이썬 웹크롤러] 00. WebCrawler 크롤러를 위한 모듈 설치 - requests 모듈설치 빅데이터, 인공지능등이 발전함에 따라, 데이터의 중요성이 매우 켜지고 있습니다. 그 중에서 가장 큰 부분은 바로 인터넷에 있는 정보를 잘 활용하느냐 입니다. 그래서 크롤러를 위한 모듈에 대해서 설치해보도록 하겠습니다. 그중에서 requests 모듈은 매우 많이 사용되기 때문에, 설치을 한번 진행해보도록 하겠습니다. 흔히 가장 쉽게 설치 할 수 있는 방법은 커맨드 콘솔에서 'pip install requests'를 입력하여 실행하는 것입니다. 그럼 다음과 같은 화면이 나타납니다. D:\BlogProject>pip install requests Collecting requests Downloadin..