파이썬 프로젝트 (아마존 웹사이트 웹 스크래핑) 5 | Selenium으로 제품 정보 수집하기 (1)
·
Computer Science/Project
Amazon 제품 페이지 URL에서 특정 정보를 추출하는 웹 스크래핑 함수를 만들어 볼 겁니다.# Function to scrape product datadef scrape_amazon_product(url): # Open URL driver.get(url) time.sleep(3) # Get ASIN asin = get_asin_from_url(url) # Extract Product Title try: title = driver.find_element(By.ID, "productTitle").text.strip() except: title = "N/A" # Extract Brand Name try: brand ..
파이썬 프로젝트 (아마존 웹사이트 웹 스크래핑) 4 | Selenium을 사용하여 아마존 로그인 자동화하기
·
Computer Science/Project
Amazon의 Rufus Question은 로그인한 사용자만 볼 수 있습니다. 따라서 자동으로 데이터를 수집하려면 로그인을 자동화하는 과정이 필요합니다.Amazon 로그인 페이지로 이동하여 자동으로 이메일과 비밀번호를 입력하는 기능을 구현해 봅시다.# Amazon login credentialsamazon_email = input("Enter your Amazon email: ")amazon_password = getpass("Enter your Amazon password: ")우선 사용자의 Amazon 로그인 정보를 입력받아 저장합니다. getpass() 함수는 비밀번호 입력을 받아 amazon_password 변수에 저장합니다. input()과 달리 getpass()는 입력한 텍스트를 화면에 표시하..
파이썬 프로젝트 (아마존 웹사이트 웹 스크래핑) 3 | 크롬 옵션 설정
·
Computer Science/Project
제일 먼저 크롬 옵션을 설정해야 합니다. Chrome 옵션을 설정하는 이유는 Selenium이 브라우저를 자동으로 실행할 때, 원하는 동작 방식으로 제어하기 위해서입니다. 기본적으로 Chrome WebDriver는 일반적인 브라우저처럼 동작하지만, 크롤링이나 자동화 작업을 할 때 더 빠르고 안정적으로 실행하려면 추가적인 설정이 필요합니다.# Set up Chrome options# Customize the behavior of the Chrome browser when you launch it with WebDriverchrome_options = webdriver.ChromeOptions()chrome_options.add_argument("--start-maximized")chrome_options...
파이썬 프로젝트 (아마존 웹사이트 웹 스크래핑) 2 | 프로젝트 개요, Selenium
·
Computer Science/Project
이번 프로젝트의 목표는 파이썬을 사용하여 아마존 웹사이트에서 원하는 제품 정보를 자동으로 수집하는 것입니다. 다음과 같은 데이터를 각 제품에 대해 수집할 예정입니다.ASIN (Amazon Standard Identification Number): Amazon 제품을 고유하게 식별하는 번호.Title (제품명): 제품의 이름 또는 제목.Brand (브랜드): 제품의 브랜드명.Amazon Choice: 해당 제품이 'Amazon's Choice'로 표시되어 있는지 여부.Star Rating: 제품의 평균 별점.Rating Count: 제품에 대한 고객 리뷰의 총 개수.Rufus Question 2: 제품의 FAQ 섹션에서 두 번째 질문과 답변.Coupon Discounts: 제품에 적용 가능한 쿠폰 할인 정..
파이썬 프로젝트 (아마존 웹사이트 웹 스크래핑) 1 | 웹 스크래핑(Web Scraping)이란?
·
Computer Science/Project
웹 스크래핑(Web Scraping)은 웹사이트에서 원하는 정보(데이터)를 자동으로 추출하는 기술입니다. 이는 특정 웹페이지의 데이터를 가져와 분석하거나 저장하는 데 사용되며, 수작업 없이 대량의 정보를 효율적으로 수집할 수 있도록 도와줍니다. 웹에서 정보를 수집하는 가장 간단한 방법은 URL을 통해 직접 복사하고 붙여넣는 것입니다. 하지만, 수집해야 할 데이터가 많을 경우 이 방법은 매우 비효율적입니다. 예를 들어, 아마존에서 수천 개의 상품 정보를 하나하나 복사하는 것은 현실적으로 불가능합니다. 웹 스크래핑 과정은 대략 이와 같습니다.웹사이트 로딩: 스크래퍼는 URL을 받아 해당 웹페이지를 불러옵니다. 페이지의 HTML 코드를 가져오며, 고급 웹 스크래퍼의 경우JavaScript 및 CSS 요소까지 ..
파이썬 | 링크드 리스트 구현하기 (Prepend, Pop First, Get, Set) - 3
·
Computer Science/Python
2024.09.23 - [computer science/python] - 파이썬 | 링크드 리스트 구현하기 (Constructor, Append, Pop) - 2 파이썬 | 링크드 리스트 구현하기 (Constructor, Append, Pop) - 2전 글에서 링크드 리스트 구조에 대해서 공부했다면, 이제 파이썬으로 링크드 리스트를 구현하는 것을 도전해 봅시다. 링크드 리스트링크드 리스트를 구현할 때, 노드를 반복해서 생성하는 작olivecodelab.tistory.com전 글에서 컨스트럭터, Append, Pop 메서드에 대해서 공부해 보았습니다. 이번 글에서는 링크드 리스트의 Prepend, Pop First, Get, Set 메서드에 대해 살펴보겠습니다.  PrependPrepend는 새 노드를 리..
올리브한입
'분류 전체보기' 카테고리의 글 목록 (15 Page)