파이썬 프로젝트 (아마존 웹사이트 웹 스크래핑) 1 | 웹 스크래핑(Web Scraping)이란?

 

웹 스크래핑(Web Scraping)은 웹사이트에서 원하는 정보(데이터)를 자동으로 추출하는 기술입니다. 이는 특정 웹페이지의 데이터를 가져와 분석하거나 저장하는 데 사용되며, 수작업 없이 대량의 정보를 효율적으로 수집할 수 있도록 도와줍니다.

 

웹에서 정보를 수집하는 가장 간단한 방법은 URL을 통해 직접 복사하고 붙여넣는 것입니다. 하지만, 수집해야 할 데이터가 많을 경우 이 방법은 매우 비효율적입니다. 예를 들어, 아마존에서 수천 개의 상품 정보를 하나하나 복사하는 것은 현실적으로 불가능합니다.

 

웹 스크래핑 과정은 대략 이와 같습니다.

1. 웹사이트 로딩: 스크래퍼는 URL을 받아 해당 웹페이지를 불러옵니다. 페이지의 HTML 코드를 가져오며, 고급 웹 스크래퍼의 경우JavaScript 및 CSS 요소까지 렌더링하여 동적인 웹사이트에서도 데이터를 추출할 수 있습니다.
2. 데이터 추출: 원하는 정보를 추출합니다. 이렇게 추출된 데이터는 주로 비즈니스 인텔리전스(BI) 및 데이터 분석에 활용됩니다.
3. 데이터 저장: 수집한 데이터를 사용자가 활용하기 쉬운 방식으로 변환합니다. 

웹 스크래핑은 다양한 분야에서 활용됩니다.

• 이커머스 가격 비교: 여러 쇼핑몰에서 상품 가격을 비교하여 최저가 찾기
• 데이터 분석 및 리서치: 뉴스 기사, 금융 데이터 등을 수집하여 트렌드 분석
• 자동화된 업무 처리: 반복적인 데이터 입력 및 검색 자동화
• 채용 정보 수집: 기업의 채용 공고를 스크래핑하여 취업 기회 모니터링

이번 프로젝트에서는 아마존 웹사이트에서 제품 정보를 스크래핑하는 방법을 다룰 예정입니다. 

---

다음 포스팅에서 이어집니다.