Crawler Inspector

1. Shard Calculation

Query:

Response:

Calculated Shard: 162 (from laksa117)

2. Crawled Status Check

Query:

curl -X POST \
  'http://laksa162.int.ahrefs:8124/' \
  -H 'Content-Type: text/plain' \
  -H 'X-ClickHouse-Database: crawler3' \
  -H 'Authorization: Basic YXBpOg==' \
  -d 'SELECT getAhrefsURLFromUnparsed(src_unparsed) AS found_url, ifNull(toUnixTimestamp(download_stamp), 0) AS crawl_time, ifNull(toUnixTimestamp(props_url_first_seen), 0) AS first_indexed_time, download_http_code AS http_code, src_unparsed AS src_unparsed, src_root_hash AS src_root_hash, history_drop_reason AS history_drop_reason, meta_title AS meta_title, meta_descriptions AS meta_descriptions, attrs_boilerpipe_text AS attrs_boilerpipe_text, attrs_markdown AS attrs_markdown, attrs_readable_markdown AS attrs_readable_markdown, meta_canonical AS meta_canonical FROM crawler3.page_info_local FINAL PREWHERE (src_root_hash, src_unparsed) IN ((getAhrefsRootHashFromUnparsed(getAhrefsUnparsedNoserviceFromURL(\'https://kr.hotels.com/go/south-korea/kr-best-shopping-malls-seoul\')), getAhrefsUnparsedNoserviceFromURL(\'https://kr.hotels.com/go/south-korea/kr-best-shopping-malls-seoul\'))) FORMAT JSONEachRow'

Response:

{"found_url":"https:\/\/kr.hotels.com\/go\/south-korea\/kr-best-shopping-malls-seoul","crawl_time":1749743192,"first_indexed_time":1636231436,"http_code":200,"src_unparsed":"com,hotels!kr,\/go\/south-korea\/kr-best-shopping-malls-seoul s443","src_root_hash":"7643913471845835562","history_drop_reason":"tooold","meta_title":"서울의 쇼핑몰 베스트 9 - Go Guides","meta_descriptions":["다채롭게 시간을 보낼 수 있는 서울의 쇼핑몰을 소개합니다. 인기 레스토랑, 영화관, 문화체험공간, 포토존과 산책 공간이 있어 쇼핑과 함께 한곳에서 여러 가지의 매력을 느끼실 수 있어요. 쇼핑몰 구석구석을 둘러보다 보면 시간이..."],"attrs_boilerpipe_text":"아시아 최고의 전시 명소로 일컬어지는 스타필드 코엑스몰은 컨벤션홀, 영화관, 쇼핑몰, 호텔, 백화점, 서점 등 각종 문화시설이 포진한 명실상부한 서울 최대규모의 쇼핑센터에요. 지하철 2호선 삼성역과 실내로 연결되어 접근이 편리하고, 그중에서도 코엑스 아쿠아리움과 별마당 도서관은 강남권의 명소로 일컬어지죠. 서울의 중심에서 새로운 삶을 이야기하는 명소입니다. 코엑스 아쿠아리움은 어린아이와 함께해도 좋고, 커플이 데이트하기에도 훌륭한 볼거리를 제공해요. 또한, 코엑스 중앙에 있는 별마당 도서관은 코엑스의 상징적 장소로, 앉아서 책을 읽고 휴식을 취할 수 있는 랜드마크 안에 있는 또 다른 랜드마크죠. 패션과 미식, 문화와 엔터테인먼트까지 도시의 감성이 깃든 시티 라이프의 모든 것을 누릴 수 있는 스타필드 코엑스몰에 꼭 한 번 가 보세요.","attrs_markdown":null,"attrs_readable_markdown":null,"meta_canonical":null}

Filter	Status	Condition	Details
HTTP status	PASS	`download_http_code = 200`	HTTP 200
Age cutoff	FAIL	`download_stamp > now() - 6 MONTH`	10.2 months ago
History drop	FAIL	`isNull(history_drop_reason)`	tooold
Spam/ban	PASS	`fh_dont_index != 1 AND ml_spam_score = 0`	ml_spam_score=0
Canonical	PASS	`meta_canonical IS NULL OR = '' OR = src_unparsed`	Not set

Property	Value
URL	https://kr.hotels.com/go/south-korea/kr-best-shopping-malls-seoul
Last Crawled	2025-06-12 15:46:32 (10 months ago)
First Indexed	2021-11-06 20:43:56 (4 years ago)
HTTP Status Code	200
Meta Title	서울의 쇼핑몰 베스트 9 - Go Guides
Meta Description	다채롭게 시간을 보낼 수 있는 서울의 쇼핑몰을 소개합니다. 인기 레스토랑, 영화관, 문화체험공간, 포토존과 산책 공간이 있어 쇼핑과 함께 한곳에서 여러 가지의 매력을 느끼실 수 있어요. 쇼핑몰 구석구석을 둘러보다 보면 시간이...
Meta Canonical	null
Boilerpipe Text	아시아 최고의 전시 명소로 일컬어지는 스타필드 코엑스몰은 컨벤션홀, 영화관, 쇼핑몰, 호텔, 백화점, 서점 등 각종 문화시설이 포진한 명실상부한 서울 최대규모의 쇼핑센터에요. 지하철 2호선 삼성역과 실내로 연결되어 접근이 편리하고, 그중에서도 코엑스 아쿠아리움과 별마당 도서관은 강남권의 명소로 일컬어지죠. 서울의 중심에서 새로운 삶을 이야기하는 명소입니다. 코엑스 아쿠아리움은 어린아이와 함께해도 좋고, 커플이 데이트하기에도 훌륭한 볼거리를 제공해요. 또한, 코엑스 중앙에 있는 별마당 도서관은 코엑스의 상징적 장소로, 앉아서 책을 읽고 휴식을 취할 수 있는 랜드마크 안에 있는 또 다른 랜드마크죠. 패션과 미식, 문화와 엔터테인먼트까지 도시의 감성이 깃든 시티 라이프의 모든 것을 누릴 수 있는 스타필드 코엑스몰에 꼭 한 번 가 보세요.
Markdown	null
Readable Markdown	null
Shard	162 (laksa)
Root Hash	7643913471845835562
Unparsed URL	com,hotels!kr,/go/south-korea/kr-best-shopping-malls-seoul s443

🕷️ Crawler Inspector

URL Lookup

Direct Parameter Lookup

1. Shard Calculation

Query:

Response:

2. Crawled Status Check

Query:

Response:

3. Robots.txt Check

Query:

Response:

4. Spam/Ban Check

Query:

Response:

5. Seen Status Check

Page Info Filters

Page Details