BeautifulSoup4 음원 차트 크롤링 2025 - 환경설정
환경설정
가상환경
먼저 매번 개발 환경이 달라지기 때문에 가상 환경 설정을 먼저 해준다.(Python은 기본적으로 설치가 되어 있다 가정한다.) 가상 환경 설정을 해주는 이유는 다른 프로젝트에서 요구하는 같은 라이브러리의 버전이 다를 수 있기 때문이다.
물론 요즘 똑똑한 개발자들은 Docker 이미지를 이용해 build 해서 실행하겠지만, 그래도 local에서 띄우는게 더 빠르고 효율적이니까 알아두도록 하자.
먼저 python3 -m venv (원하는 가상환경이름)을 실행해 가상 환경을 생성한다. 여기서는 python3 -m venv .venv 이렇게 생성하는게 가장 무난하다.
그 이후 source .venv(가상환경이름)/bin/activate를 실행해 가상 환경을 활성화한다. CLI 화면에 (.venv)라는 문구가 있다면 성공한 상태이다.
해당 문구가 있는 상태로 원하는 라이브러리들을 설치하면 실행된 가상 환경에서만 사용할 수 있다.
만약 requirements.txt 파일이 존재한다면 pip install -r requirements.txt를 통해 필요한 라이브러리들을 모두 설치할 수 있고 pip freeze > requirements.txt 명령어를 통해 requirements.txt 파일을 생성할 수 있다.
BeautifulSoup4 설치
설치는 CLI에 pip install beautifulsoup4을 입력해주면 간단히 설치가 된다.
여기서 해당 라이브러리의 역할은 우리가 요청을 보낸 페이지의 응답을 html parser를 통해 추출하기 쉬운 데이터로 변경해주는 것이다. 쉽게 예를 들어 설명하자면 풍경을 사진으로 찍었을 때 사진 속 구름, 나무, 사람 등을 모두 선택 가능하도록 만들어주는 것이다.
user_agent 설치
pip install user_agent 명령어를 통해 설치한다. 해당 라이브러리가 필요한 이유는 음원 차트 사이트들은 대부분 크롤링을 막기 위해 user-agent 헤더가 없으면 봇으로 인식해서 정상 응답을 주지 않는다. 그리고 같은 header로 반복적으로 요청했을 때 IP 밴을 먹을 가능성이 있기에 랜덤한 user-agent 헤더 값을 생성해서 넣어주기 위해 user_agent 라이브러리를 설치해서 활용한다.
requests 설치
pip install requests를 통해 간단히 설치가 가능하다.
테스트
main.py 파일을 생성하고 아래의 코드를 붙여 넣는다.
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
import requests
from bs4 import BeautifulSoup
from user_agent import generate_user_agent
def request_page_data(url: str, header: dict[str, str]):
response = requests.get(url, headers=header, timeout=10)
return BeautifulSoup(response.text, "html.parser")
if __name__ == '__main__':
data = request_page_data(
'https://www.melon.com/chart/index.htm',
{
"User-Agent": generate_user_agent(os="win", device_type="desktop"),
}
)
print(data)
그리고 python main.py를 실행
크롤링된 멜론 차트 데이터가 잘 출력된다면 성공
만약 그렇지 않고 lib/python3.9/site-packages/urllib3/init.py:34: NotOpenSSLWarning: urllib3 v2.0 only supports OpenSSL 1.1.1+, currently the 'ssl' module is compiled with 'LibreSSL 2.8.3'.
이런 에러가 발생한다면 pip install 'urllib3<2.0' 실행을 통해 urlib3 버전 다운그레이드 후 다시 테스트를 실행한다.