Appia의 IT세상

파이썬 특정 폴더 파일 목록 추출: pathlib·glob·os 비교 + CSV 저장 특정 경로에 파일 목록을 가져오는 작업은 배포, 로그 수집, 데이터 전처리 및 배포 자동화에서 많이 사용됩니다. 하지만, 막상 이 부분에 대해서 구현하려고 하면 어디서부터 해야하는 지에 대해서 고민하게 됩니다. 그래서 이번 포스팅에서는 pathlib, glob, os모듈을 통해서 특정 폴더 경로를 구현하는 방법에 대해서 다루어 보겠습니다. 그리고 현업에서 바로 사용할 수 있는 csv파일로 저장하는 형태 부분 또한 다루어 보겠습니다. TL;DRpathlib(추천): Path.iterdir() / Path.rglob() / is_file()로 파일을 안전하게 구분하면서(폴더 제외) 현재·하위 폴더까지 쉽게 수집glob: ..

파이썬[Python] 크롬(Chrome)방문 (특정사이트 또는 전체) 삭제하기 이존 포스팅에서 크롬(Chrome)의 방문기록을 출력하는 방법에 대해서 포스팅을 해봤습니다. 그래서, 이번 포스팅에서는 이 방문기록에 대해서 선택적으로 삭제하거나 아니면 전체를 삭제하는 방법에 대해서 이야기를 해보고자 합니다. 파이썬[Python] 크롬(Chrome)방문 기록 출력하기 파이썬[Python] 크롬(Chrome)방문 기록 출력하기 파이썬[Python] 크롬(Chrome)방문 기록 출력하기 최근 CCleaner라는 최적화 프로그램에 대해서 포스팅을 하면서 이런 생각을 해봤습니다. 파이썬[Python]을 가지고, 최적화를 할 수 있다면, 어떨까? 이런 appia.tistory.com 그럼 이 부분을 통해서, 방문기록을..

파이썬[Python] 크롬(Chrome)방문 기록 출력하기 최근 CCleaner라는 최적화 프로그램에 대해서 포스팅을 하면서 이런 생각을 해봤습니다. 파이썬[Python]을 가지고, 최적화를 할 수 있다면, 어떨까? 이런 생각을 하던중에, 유사한 기능을 가지는 프로그램을 만들어보겠다는 생각을 해보게 되었습니다. 그래서, 이러한 생각을 하던중에, 하나씩 알아보기로 하였습니다. 파이썬[Python] MySQL을 사용하기 위한 Pymysql 모듈 설치하기 파이썬[Python] MySQL을 사용하기 위한 Pymysql 모듈 설치하기 파이썬[Python] MySQL을 사용하기 위한 Pymysql 모듈 설치하기 저의 카테고리중에 MySQL에 대해서 포스팅을 하고 있습니다. 실제 이 부분을 파이썬에서 활용하기 위해서..

파이썬[Python] Git 자동화를 위한 파이썬 모듈 소개 및 비교 Git은 현대적인 소프트웨어 개발에서 핵심적인 역할을 하는 도구 중 하나입니다. 코드의 버전을 관리하고 협업을 용이하게 하기 위해 Git을 사용하는 것은 거의 필수적입니다. 이러한 Git 작업을 자동화하고 효율적으로 처리하기 위해 파이썬에는 여러 가지 모듈과 도구가 있습니다. 여기에서는 GitPython, GitCommand, sh, 그리고 invoke 네 가지를 살펴보고, 각각의 특징과 장단점을 비교해보겠습니다. [깃, Git] Git 기본개요, VCS란? Git과 GitHub의 차이 [깃, Git] Git 기본개요, VCS란? Git과 GitHub의 차이 [깃, Git] Git 기본개요, VCS란? Git과 GitHub의 차이 앞서..

파이썬[Python] 미국 주식 파이썬 모듈/라이브러리 전격 소개 최근 git 관련된 포스팅 및 ChapGPT관련된 포스팅을 시작하면서, 파이썬[Python]관련된 포스팅을 못한 지 오래 된 것 같습니다. 그래서, 이번 포스팅에서 미국 주식 관련된 모듈에 대해서 이야기를 해볼까 합니다. 크게 인기 있는 파이썬 모듈에 대해서 이야기를 해보면, 크게 4가지 정도 되는 것 같습니다. 그 부분에 대해서 이야기를 해볼까 합니다. Python[파이썬 주식] 국내, 미국 주식 정보 모으기(스크래핑) - FinanceDataReader 모듈 설치 Python[파이썬 주식] 국내, 미국 주식 정보 모으기(스크래핑) - FinanceDataReader 모듈 설치 Python[파이썬 주식] 국내, 미국 주식 정보 모으기(스..

파이썬[Python] 특정 시점 이후의 구글 앱 평점 및 리뷰 크롤링하기 이전의 구글(Google) 앱의 대한 평점 및 리뷰를 크롤링 하는 방법에 대해서, 포스팅하였고, 이 부분을 토대로 엑셀로 추출하거나, Exe파일 형태로 이러한 추출기를 만드는 방법에 대해서 이야기를 하였습니다. 하지만, 저의 포스팅에서, 다음과 같은 질문사항들을 수령하였습니다. 엄청 도움되는 글들 잘 보고 있습니다. 특정 날짜 이후의 리뷰만 출력하고 싶으면 어떻게 해야 할까요? 그래서, 이번 포스팅에서는 특정 날짜 이후에 리뷰만 출력하는 방법에 대해서 이야기를 해보도록 하겠습니다. 파이썬[Python] 구글 앱 평점 및 리뷰 크롤링하기 파이썬[Python] 구글 앱 평점 및 리뷰 크롤링하기 파이썬[Python] 구글 앱 평점 및 리..

파이썬[Python] 구글 리뷰 실행파일 형태로 엑셀 추출기 만들기 이전 포스팅에서 구글의 앱 리뷰에 대해서 엑셀로 추출하는 방법에 대해서 포스팅을 해봤습니다. 여기에서 가장 쉬운 질문을 하나 할 수 있습니다. 과연 파이썬(Python)을 하지 않는 사람들은 이 부분에 대해서 사용할 수 있을까요? 주변에 파이썬에 대한 지식이 없는 사람들에게 쉽게 사용할 수 있게 실행 파일 형태로 제공할 수 있습니다. 물론 그럼에도 몇가지 부분들은 손으로 고쳐야 하는 부분들이 있지만, 범용적으로 사용할 수 있게 만들 수 있습니다. 그래서 이번 포스팅에서는 앞서 포스팅에서 작성한 내용에 대해서 범용적으로 사용할 수 있는 환경을 만들어보도록 하겠습니다. 파이썬[Python] 구글 리뷰 엑셀로 추출하기 먼저, 앞선 포스팅에서 ..

파이썬[Python] 구글 리뷰 엑셀로 추출하기 이전 포스팅에서 구글 앱 평점 및 리뷰 크롤링하기라는 주제로 포스팅을 해봤습니다. 하지만, 작업을 하다보니, 작업스럽게 결과물 자체를 파일로 가져가야하고, 이 부분에 대해서 어떤 형태가 좋을까 고민을 많이 해봤습니다. 실제로 가장 간단하게 많이하는 방법은 바로 csv 파일 형태로 추출하는 것입니다. 하지만, 이모티콘 등을 표시하는데에 제약이 많고, 그런 부분들을 고려했을 때, 엑셀로 추출하는 것을 방법 또한 괜찮은 방법이라는 것을 인지하고 있습니다. 그래서 이번 포스팅에서는 앞선 포스팅에서 추출한 리뷰를 엑셀로 추출하는 방법에 대해서 간단히 이야기를 해보고자 합니다. 파이썬[Python] 구글 앱 평점 및 리뷰 크롤링하기 파이썬[Python] 구글 앱 평점..

파이썬[Python] 구글 앱 평점 및 리뷰 크롤링하기 이전에 다양한 경로로 저에게 많은 부탁을 하신 분들이 있습니다. 그중 한 앱 개발자분께서는 저의 경쟁사 게임의 리뷰에 대해서 크롤링을 요청하였습니다. 물론, 그 때는 쉬운 일이라고 생각하여, 모듈 없이 스스로 작업을 하였습니다. 그 때의 기억은 매우 고통스러웠습니다. 생각보다 리뷰도 많았고, 크롤링도 정상적으로 되지 않았기 때문입니다. 그 아픈 기억에 대해서 이겨내고자 다양한 방법들에 대해서 검색하였고, 관련해서 잘 되어 있는 모듈이 존재한다는 것을 알게되었습니다. (이전 포스팅에서 설치 소개) 파이썬[Python] 구글 앱 평점 및 리뷰 클롤링을 위한 google_play_scraper 설치하기 파이썬[Python] 구글 앱 평점 및 리뷰 클롤링을..

파이썬[Python] 구글 앱 평점 및 리뷰 클롤링을 위한 google_play_scraper 설치하기 예전에 주변 사람들에게 현재 개발하고 유지 보수하고 있는 앱들에 대한 평점 및 리뷰를 크롤링 해줄 수 있냐는 문의와 의뢰를 받은 점이 있습니다. 그래서 저는 간단하게 할 수 있다고 하였습니다. 그래서, 실제 구글 앱스토어를 동적 크롤링하여 작업을 했는데, 이게 생각보다 버겁고 시간도 오래 소모가 되었습니다. 그래서 다른 방법을 검토 중에 이미 관련된 모듈이 잘 되어 있다는 것을 알고, 쉽게 크롤링 한 적이 있습니다. 그래서 이번 포스팅에서는 그 모듈이 google-play-scraper 설치하는 방법에 대해서 이야기를 해보고자 합니다. 파이썬[Python] Pycharm (파이참)에서 모듈(Module..