자주 묻는 질문

ActiCrawl은 개발자와 AI 애플리케이션을 위해 설계된 강력한 웹 스크래핑 및 데이터 추출 플랫폼입니다. 고급 브라우저 자동화와 지능형 콘텐츠 처리를 사용하여 모든 웹사이트에서 깨끗하고 구조화된 데이터를 수집할 수 있습니다.

ActiCrawl은 현대적인 JavaScript 중심 애플리케이션, SPA(단일 페이지 애플리케이션), 동적으로 로드된 콘텐츠를 포함한 거의 모든 공개 웹사이트에서 작동합니다. 무한 스크롤, AJAX 요청, 클라이언트 측 렌더링과 같은 복잡한 시나리오도 처리합니다.

AI 애플리케이션을 개발하는 개발자, 훈련 데이터를 수집하는 데이터 과학자, 경쟁사를 모니터링하는 비즈니스, 정보를 수집하는 연구원, 그리고 대규모로 웹사이트에서 구조화된 데이터를 추출해야 하는 모든 사람에게 유용합니다.

ActiCrawl은 오픈소스와 상용 버전을 모두 제공합니다. 핵심 스크래핑 엔진은 자체 호스팅을 위해 GitHub에서 사용할 수 있으며, 클라우드 플랫폼은 분산 스크래핑, 자동 확장, 관리형 인프라와 같은 추가 기능을 제공합니다.

ActiCrawl은 AI 애플리케이션에 최적화된 깨끗한 데이터 추출에 특화되어 있습니다. 다양한 출력 형식(Markdown, JSON, HTML), 지능형 콘텐츠 감지, 자동 데이터 정리, 인기 AI 프레임워크와의 원활한 통합을 제공합니다.

ActiCrawl은 실제 브라우저 엔진(Chromium 기반)을 사용하여 JavaScript를 완전히 렌더링하고 동적 콘텐츠가 로드될 때까지 기다립니다. Smart Wait 기술은 페이지가 준비되었을 때를 자동으로 감지하여 필요한 모든 데이터를 캐처할 수 있도록 합니다.

여러 가지 이유가 있을 수 있습니다: robots.txt 제한, 속도 제한, 인증 요구 사항 또는 크롤링 깊이 제한. 크롤링 설정을 확인하고 원하는 모든 페이지에 액세스할 수 있는 적절한 권한이 있는지 확인하세요.

네! ActiCrawl은 링크 따라가기, 탐색 메뉴 분석, URL 패턴 감지를 통해 페이지를 발견할 수 있습니다. 사이트맵이 효율성에 도움이 되지만 성공적인 크롤링에 필수는 아닙니다.

ActiCrawl은 여러 출력 형식을 지원합니다: 깨끗한 Markdown(LLM에 적합), 구조화된 JSON, 원시 HTML, 스크린샷, PDF. 특정 데이터 구조에 대한 사용자 정의 추출 규칙도 정의할 수 있습니다.

고급 알고리즘을 사용하여 광고, 팝업, 탐색 요소 및 기타 노이즈를 제거합니다. 콘텐츠 추출은 주요 기사나 데이터에 초점을 맞춰 AI 훈련 및 분석에 적합한 깨끗하고 읽기 쉬운 출력을 제공합니다.

물론입니다! ActiCrawl은 분산 크롤링, 자동 재시도 메커니즘, 요청 대기열, 수백만 페이지를 처리할 수 있는 클라우드 인프라로 대규모를 위해 설계되었습니다. 플랫폼은 필요에 따라 자동으로 확장됩니다.

네, ActiCrawl은 기본적으로 robots.txt를 준수합니다. 합법적인 사용 사례를 위해 이러한 제한을 우회할 명시적인 허가가 있는 경우 크롤링 설정에서 구성할 수 있습니다.

ActiCrawl은 지능형 속도 제한, 지수 백오프를 통한 자동 재시도, 여러 IP에 걸친 요청 분산, 웹사이트 리소스를 존중하면서 중복 요청을 최소화하는 스마트 캐싱을 포함합니다.

ActiCrawl은 기본 인증을 처리하고 세션 쿠키를 유지할 수 있습니다. 캐차의 경우 특수 캐차 해결 서비스를 사용하거나 대상 웹사이트에서 적절한 API 액세스를 얻는 것을 권장합니다.

가입 후 대시보드의 'API 설정'에서 API 키를 찾을 수 있습니다. 각 계정에는 인증을 위해 모든 API 요청에 포함되어야 하는 고유한 API 키가 있습니다.

프록시 목록은 요청을 전달하는 데 사용할 수 있는 프록시 서버의 컬렉션입니다. ActiCrawl은 다양한 지역에서 회전 프록시를 제공하여 IP 차단을 피하고 지역별 콘텐츠에 액세스할 수 있습니다.

Pro 플랜 이상에서는 프록시 목록이 자동으로 제공됩니다. API 요청에서 'use_proxy: true' 매개변수를 사용하거나 대시보드에서 기본 프록시 설정을 구성할 수 있습니다.

프록시 국가 설정을 통해 특정 국가의 프록시 서버를 통해 요청을 라우팅할 수 있습니다. 이는 지역 제한 콘텐츠에 액세스하거나 현지화된 검색 결과를 얻는 데 유용합니다.

API 요청에서 'proxy_country' 매개변수를 사용하여 원하는 국가 코드(예: 'US', 'UK', 'JP')를 지정하세요. 사용 가능한 국가 목록은 대시보드의 프록시 설정에서 확인할 수 있습니다.

ActiCrawl은 주거용 프록시(높은 성공률), 데이터센터 프록시(빠른 속도), 모바일 프록시(모바일 전용 콘텐츠)를 제공합니다. 지역에 따라 사용 가능한 유형이 다를 수 있으며, 각각 고유한 이점과 사용 사례가 있습니다.

ActiCrawl은 월 500크레딧의 너그러운 무료 티어를 제공하여 테스트 및 소규모 프로젝트에 적합합니다. 유료 플랜은 추가 크레딧과 고급 기능을 위해 월 $20부터 시작합니다.

월간 크레딧은 매월 구독 갱신일에 자동으로 리셋됩니다. 예를 들어, 15일에 구독했다면 매월 15일에 크레딧이 새로 충전됩니다. 사용하지 않은 크레딧은 다음 달로 이월되지 않습니다.

현재는 정기 사용자에게 더 나은 가치를 제공하는 월 구독 플랜을 제공합니다. 사용량 기반 요금제는 향후 고려 중입니다. 맞춤형 기업 계약은 영업팀에 문의하세요.

기본 페이지 스크래핑: 1크레딧, 딥 크롤링(여러 페이지): 페이지당 1크레딧, AI 기반 데이터 추출: 2-3크레딧, 스크린샷 캡처: 1크레딧, PDF 생성: 2크레딧. 정확한 비용은 요청 복잡도에 따라 달라질 수 있습니다.

아니요, 실패한 요청에 대해서는 요금을 부과하지 않습니다. 크레딧은 성공적인 데이터 추출에 대해서만 차감됩니다. 서버 오류나 타임아웃으로 인한 실패한 요청은 추가 비용 없이 자동으로 재시도됩니다.

주요 신용카드(Visa, MasterCard, American Express), 체크카드, 그리고 보안 결제 처리기를 통한 기업 결제 수단을 모두 받습니다. 기업 고객은 송장으로도 결제할 수 있습니다.