제휴쇼핑몰 크롤링 프로젝트

flowchart LR
    A["쇼핑몰 홈페이지"] --> B["정적/동적 크롤링"]
    B --> C["상품 상세 URL 추출"]
    C --> D["Redis 캐시<br/>Write-back 전략"]
    D -->|"최종 저장 시에만 write"| E["RDB"]

배경

• 제휴쇼핑몰 중 상품 피드(EP)를 제공하지 못하는 쇼핑몰은 상품을 노출할 방법이 없어, 크롤링으로 상품 데이터를 직접 수집하는 시스템이 필요했음

주요 작업

• 쇼핑몰 홈페이지에서 상품 상세 URL을 추출하는 크롤링 서버와 관련 어드민 개발 담당
• 쇼핑몰마다 크롤링 필터를 수작업으로 만들던 방식을 자동화해 신규 쇼핑몰 추가 비용 절감
• RDB 상시 write 부하를 줄이기 위해 Redis 캐시 + Write-back 전략(최종 저장 시에만 DB write) 적용
• 정적 크롤링으로 수집이 안 되는 쇼핑몰을 위해 동적 크롤링 도입

성과

• EP 미제공 쇼핑몰의 상품도 제휴 채널에 노출할 수 있게 되어 제휴 대상 확대
• 필터 자동화·Write-back 설계로 쇼핑몰 추가 시의 개발 리소스와 DB 부하를 동시에 절감