JayMaro

BeautifulSoup4 음원 차트 크롤링 2025 - selenium

Selenium 사용 이유 크롤링을 하다보면 requests만으로는 부족한 상황이 발생한다. 주로 JavaScript 렌더링 및 동적 웹사이트 처리가 필요한 페이지에서 사용되며, 브라우저의 WebDriver를 이용해 동작하기 때문에 실제 브라우저로 호출하는 것과 동일하게 동작한다. 환경설정 여기서는 Chrome을 이용해서 진행을 할 것이며 크롬이 설...

BeautifulSoup4 음원 차트 크롤링 2025 - 멜론

멜론 크롤링 실습 앞에서 환경 설정과 테스트를 마쳤으면 melon 크롤링은 아주 쉽다. 아래의 사진처럼 개발자 도구를 통해 원하는 데이터의 태그와 클래스 id 등을 파악한다. 이후 아래 설명의 기능들을 가지고 응용하면 된다. select는 해당하는 태그를 모두 찾아서 리스트로 변환해주는 역할을 한다. select_one은 해당하는 태그를...

BeautifulSoup4 음원 차트 크롤링 2025 - 환경설정

환경설정 가상환경 먼저 매번 개발 환경이 달라지기 때문에 가상 환경 설정을 먼저 해준다.(Python은 기본적으로 설치가 되어 있다 가정한다.) 가상 환경 설정을 해주는 이유는 다른 프로젝트에서 요구하는 같은 라이브러리의 버전이 다를 수 있기 때문이다. 물론 요즘 똑똑한 개발자들은 Docker 이미지를 이용해 build 해서 실행하겠지만, 그래도 l...

Trending Tags