Skip to content

feat: 빈 블로그 썸네일 스케줄러 재크롤 - #133

Merged
joona95 merged 1 commit into
developfrom
fix/version2-bug
Aug 2, 2026
Merged

feat: 빈 블로그 썸네일 스케줄러 재크롤#133
joona95 merged 1 commit into
developfrom
fix/version2-bug

Conversation

@joona95

@joona95 joona95 commented Aug 2, 2026

Copy link
Copy Markdown
Collaborator

크롤이 몰릴 때 네이버 rate-limit 등으로 순간 실패해 썸네일이 빈 채 저장되는
건들이 다시 채워지지 않던 문제 대응. (실제 실패 URL 재크롤 시 모두 정상 수집 확인)

  • 타깃 재시도: 페이지 fetch 실패(네트워크/타임아웃)에만 최대 3회 재시도. og:image 부재 등 영구 상황은 즉시 포기(무의미한 재시도 방지).
  • 첫 검색 크롤 동시성 32 -> 12 로 완화(순간 다량 요청에 의한 throttle 회피).
  • BlogThumbnailRetryScheduler: 6시간마다(0/6/12/18) 빈 썸네일 전체를 배치(300개)씩 재크롤. 백로그 포함 여러 회차에 걸쳐 소진되고, 영구 실패 소수만 매회 재시도된다.

크롤이 몰릴 때 네이버 rate-limit 등으로 순간 실패해 썸네일이 빈 채 저장되는
건들이 다시 채워지지 않던 문제 대응. (실제 실패 URL 재크롤 시 모두 정상 수집 확인)

- 타깃 재시도: 페이지 fetch 실패(네트워크/타임아웃)에만 최대 3회 재시도.
  og:image 부재 등 영구 상황은 즉시 포기(무의미한 재시도 방지).
- 첫 검색 크롤 동시성 32 -> 12 로 완화(순간 다량 요청에 의한 throttle 회피).
- BlogThumbnailRetryScheduler: 6시간마다(0/6/12/18) 빈 썸네일 전체를 배치(300개)씩 재크롤.
  백로그 포함 여러 회차에 걸쳐 소진되고, 영구 실패 소수만 매회 재시도된다.

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
@joona95
joona95 merged commit 4baef8a into develop Aug 2, 2026
1 check passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant