Crawler Inspector

1. Shard Calculation

Query:

Response:

Calculated Shard: 7 (from laksa188)

2. Crawled Status Check

Query:

curl -X POST \
  'http://laksa007.int.ahrefs:8124/' \
  -H 'Content-Type: text/plain' \
  -H 'X-ClickHouse-Database: crawler3' \
  -H 'Authorization: Basic YXBpOg==' \
  -d 'SELECT getAhrefsURLFromUnparsed(src_unparsed) AS found_url, ifNull(toUnixTimestamp(download_stamp), 0) AS crawl_time, ifNull(toUnixTimestamp(props_url_first_seen), 0) AS first_indexed_time, download_http_code AS http_code, src_unparsed AS src_unparsed, src_root_hash AS src_root_hash, history_drop_reason AS history_drop_reason, meta_title AS meta_title, meta_descriptions AS meta_descriptions, attrs_boilerpipe_text AS attrs_boilerpipe_text, attrs_markdown AS attrs_markdown, attrs_readable_markdown AS attrs_readable_markdown, meta_canonical AS meta_canonical FROM crawler3.page_info_local FINAL PREWHERE (src_root_hash, src_unparsed) IN ((getAhrefsRootHashFromUnparsed(getAhrefsUnparsedNoserviceFromURL(\'https://www.lxzin.com/styling/life-book/detail/3571\')), getAhrefsUnparsedNoserviceFromURL(\'https://www.lxzin.com/styling/life-book/detail/3571\'))) FORMAT JSONEachRow'

Response:

{"found_url":"https:\/\/www.lxzin.com\/styling\/life-book\/detail\/3571","crawl_time":1774853217,"first_indexed_time":0,"http_code":200,"src_unparsed":"com,lxzin!www,\/styling\/life-book\/detail\/3571 s443","src_root_hash":"4949714716747718807","history_drop_reason":null,"meta_title":"Block Page","meta_descriptions":[],"attrs_boilerpipe_text":"접속차단 - 웹 보안 정책 차단\n죄송합니다. 요청하신 페이지는 보안정책에 위반되었습니다.\n입력 값을 다시 확인 하신후 작성 부탁 드립니다.\n계속 같은 현상이 발생한다면,\nLX하우시스 wpwhdqn@hausyspartner.com \/ 02-6987-7322\n으로 연락을 주시기 바랍니다.\n연락 주실때 차단된 시각과 접속한 URL창의 내용을 함\r\n\r\n께 알려주시기 바랍니다.\n이전 페이\r\n\r\n지로 이동\n도 가능합니다.\n-------------------------------------------------\r\n\r\n----------------------------\r\n\r\n---","attrs_markdown":"|   |\n|---|\n| **페이지 차단(PAGE BLOCK)** |\n|   |\n| **접속차단 - 웹 보안 정책 차단** 죄송합니다. 요청하신 페이지는 보안정책에 위반되었습니다. 입력 값을 다시 확인 하신후 작성 부탁 드립니다. 계속 같은 현상이 발생한다면, LX하우시스 wpwhdqn@hausyspartner.com \/ 02-6987-7322 으로 연락을 주시기 바랍니다. 연락 주실때 차단된 시각과 접속한 URL창의 내용을 함 께 알려주시기 바랍니다. [**이전 페이 지로 이동**]()도 가능합니다. \\------------------------------------------------- ---------------------------- --- |","attrs_readable_markdown":null,"meta_canonical":null}

Filter	Status	Condition	Details
HTTP status	PASS	`download_http_code = 200`	HTTP 200
Age cutoff	PASS	`download_stamp > now() - 6 MONTH`	0.3 months ago
History drop	PASS	`isNull(history_drop_reason)`	No drop reason
Spam/ban	PASS	`fh_dont_index != 1 AND ml_spam_score = 0`	ml_spam_score=0
Canonical	PASS	`meta_canonical IS NULL OR = '' OR = src_unparsed`	Not set

Property	Value
URL	https://www.lxzin.com/styling/life-book/detail/3571
Last Crawled	2026-03-30 06:46:57 (10 days ago)
First Indexed	not set
HTTP Status Code	200
Meta Title	Block Page
Meta Description	null
Meta Canonical	null
Boilerpipe Text	접속차단 - 웹 보안 정책 차단 죄송합니다. 요청하신 페이지는 보안정책에 위반되었습니다. 입력 값을 다시 확인 하신후 작성 부탁 드립니다. 계속 같은 현상이 발생한다면, LX하우시스 wpwhdqn@hausyspartner.com / 02-6987-7322 으로 연락을 주시기 바랍니다. 연락 주실때 차단된 시각과 접속한 URL창의 내용을 함 께 알려주시기 바랍니다. 이전 페이 지로 이동 도 가능합니다. ------------------------------------------------- ---------------------------- ---
Markdown	\| \| \|---\| \| 페이지 차단(PAGE BLOCK) \| \| \| \| 접속차단 - 웹 보안 정책 차단 죄송합니다. 요청하신 페이지는 보안정책에 위반되었습니다. 입력 값을 다시 확인 하신후 작성 부탁 드립니다. 계속 같은 현상이 발생한다면, LX하우시스 wpwhdqn@hausyspartner.com / 02-6987-7322 으로 연락을 주시기 바랍니다. 연락 주실때 차단된 시각과 접속한 URL창의 내용을 함 께 알려주시기 바랍니다. [이전 페이 지로 이동]()도 가능합니다. \------------------------------------------------- ---------------------------- --- \|
Readable Markdown	null
Shard	7 (laksa)
Root Hash	4949714716747718807
Unparsed URL	com,lxzin!www,/styling/life-book/detail/3571 s443

🕷️ Crawler Inspector

URL Lookup

Direct Parameter Lookup

1. Shard Calculation

Query:

Response:

2. Crawled Status Check

Query:

Response:

3. Robots.txt Check

Query:

Response:

4. Spam/Ban Check

Query:

Response:

5. Seen Status Check

Page Info Filters

Page Details