Crawler Inspector

1. Shard Calculation

Query:

Response:

Calculated Shard: 143 (from laksa036)

2. Crawled Status Check

Query:

curl -X POST \
  'http://laksa143.int.ahrefs:8124/' \
  -H 'Content-Type: text/plain' \
  -H 'X-ClickHouse-Database: crawler3' \
  -H 'Authorization: Basic YXBpOg==' \
  -d 'SELECT getAhrefsURLFromUnparsed(src_unparsed) AS found_url, ifNull(toUnixTimestamp(download_stamp), 0) AS crawl_time, ifNull(toUnixTimestamp(props_url_first_seen), 0) AS first_indexed_time, download_http_code AS http_code, src_unparsed AS src_unparsed, src_root_hash AS src_root_hash, history_drop_reason AS history_drop_reason, meta_title AS meta_title, meta_descriptions AS meta_descriptions, attrs_boilerpipe_text AS attrs_boilerpipe_text, attrs_markdown AS attrs_markdown, attrs_readable_markdown AS attrs_readable_markdown, meta_canonical AS meta_canonical FROM crawler3.page_info_local FINAL PREWHERE (src_root_hash, src_unparsed) IN ((getAhrefsRootHashFromUnparsed(getAhrefsUnparsedNoserviceFromURL(\'https://tes-b.github.io/vscode/VSCode_Comparing/\')), getAhrefsUnparsedNoserviceFromURL(\'https://tes-b.github.io/vscode/VSCode_Comparing/\'))) FORMAT JSONEachRow'

Filter	Status	Condition	Details
HTTP status	PASS	`download_http_code = 200`	HTTP 200
Age cutoff	FAIL	`download_stamp > now() - 6 MONTH`	7.3 months ago
History drop	PASS	`isNull(history_drop_reason)`	No drop reason
Spam/ban	PASS	`fh_dont_index != 1 AND ml_spam_score = 0`	ml_spam_score=0
Canonical	PASS	`meta_canonical IS NULL OR = '' OR = src_unparsed`	Not set

Property	Value
URL	https://tes-b.github.io/vscode/VSCode_Comparing/
Last Crawled	2025-08-30 10:43:48 (7 months ago)
First Indexed	2023-04-21 20:39:56 (2 years ago)
HTTP Status Code	200
Meta Title	[VSCode] 파일 비교하기 \| Yogurt Office
Meta Description	파일을 비교할때는 WinMerge라는 좋은 툴이 있다. 하지만 간단한 파일 비교는 VSCode 에서도 가능하다. Explorer 에서 비교하고 싶은 파일을 우클릭하고 ‘Select for Compare’를 선택한다. Select for Compare 그러면 해당 파일 옆에 X 마크가 표시된다. 그다음 비교하고 싶은 파일을 우클릭하고 ‘Compare with Selected’ 를 선택하면 된다. Compare with Selected 바뀐 부분을 하이라이팅 해서 보여준다.
Meta Canonical	null
Boilerpipe Text	파일을 비교할때는 WinMerge라는 좋은 툴이 있다. 하지만 간단한 파일 비교는 VSCode 에서도 가능하다. Explorer 에서 비교하고 싶은 파일을 우클릭하고 ‘Select for Compare’를 선택한다. Select for Compare 그러면 해당 파일 옆에 X 마크가 표시된다. 그다음 비교하고 싶은 파일을 우클릭하고 ‘Compare with Selected’ 를 선택하면 된다. Compare with Selected 바뀐 부분을 하이라이팅 해서 보여준다.
Markdown	null
Readable Markdown	null
Shard	143 (laksa)
Root Hash	2566890010099092343
Unparsed URL	io,github!tes-b,/vscode/VSCode_Comparing/ s443

🕷️ Crawler Inspector

URL Lookup

Direct Parameter Lookup

1. Shard Calculation

Query:

Response:

2. Crawled Status Check

Query:

Response:

3. Robots.txt Check

Query:

Response:

4. Spam/Ban Check

Query:

Response:

5. Seen Status Check

Page Info Filters

Page Details