[Python] Data Crawling

[Python] Job Scrapper

 * 노마드코더 Python으로 웹 스크래퍼 만들기 강의를 통해 학습하실 수 있습니다.

 

필요한 모듈

모듈명	사이트	설명
requests	https://requests.readthedocs.io/en/master/	Python을 위한 간단한 HTTP 라이브러리
BeautifulSoup	https://www.crummy.com/software/BeautifulSoup/bs4/doc/	HTML 및 XML 파일에서 데이터를 꺼내기 위한 Python 라이브러리
csv	https://docs.python.org/3.8/library/csv.html

 

개발 순서

 1. requests를 이용한 URL 호출 (indeed, statck_of_flow)
 2. 검색 키워드, 페이지 파라미터 찾기
 3. URL 호출로 HTML 전문 가져오기
 4. BeautifulSoup을 이용하여 필요한 데이터의 태그 검색하기
 5. 데이터 리스트 만들기
 6. CSV로 내려 받기

 

1 ~ 2. Request

LIMIT = 50
INDEED_URL = f"https://kr.indeed.com/jobs?limit={LIMIT}"
get_request = requests.get(f"{INDEED_URL}&q={keyword}")

 

3. HTML 전문 가져오기

html_parse = bs(get_request.text, 'html.parser')

 

4 ~ 5. 필요한 데이터 태그 검색하기

 - 페이지

 

 

 - job 관련 데이터

 

 

6. CSV 파일로 내려 받기

 

 

Flask를 이용한 Job List Data Crawling

 * 간단한 데이터는 Flask를 이용해 CSV파일로 만들고, 보다 큰 데이터는 Django를 이용해 프로젝트 작성 할 것