🕷️ Crawler Inspector

URL Lookup

Direct Parameter Lookup

Raw Queries and Responses

1. Shard Calculation

Query:

Response:

Calculated Shard: 51 (from laksa102)

2. Crawled Status Check

Query:

curl -X POST \
  'http://laksa051.int.ahrefs:8124/' \
  -H 'Content-Type: text/plain' \
  -H 'X-ClickHouse-Database: crawler3' \
  -H 'Authorization: Basic YXBpOg==' \
  -d 'SELECT getAhrefsURLFromUnparsed(src_unparsed) AS found_url, ifNull(toUnixTimestamp(download_stamp), 0) AS crawl_time, ifNull(toUnixTimestamp(props_url_first_seen), 0) AS first_indexed_time, download_http_code AS http_code, src_unparsed AS src_unparsed, src_root_hash AS src_root_hash, history_drop_reason AS history_drop_reason, meta_title AS meta_title, meta_descriptions AS meta_descriptions, attrs_boilerpipe_text AS attrs_boilerpipe_text, attrs_markdown AS attrs_markdown, attrs_readable_markdown AS attrs_readable_markdown, meta_canonical AS meta_canonical FROM crawler3.page_info_local FINAL PREWHERE (src_root_hash, src_unparsed) IN ((getAhrefsRootHashFromUnparsed(getAhrefsUnparsedNoserviceFromURL(\'https://www.youtube.com/channel/UCPvi3d3MAILSVKRIU_1Mnkg\')), getAhrefsUnparsedNoserviceFromURL(\'https://www.youtube.com/channel/UCPvi3d3MAILSVKRIU_1Mnkg\'))) FORMAT JSONEachRow'

Response:

{"found_url":"https:\/\/www.youtube.com\/channel\/UCPvi3d3MAILSVKRIU_1Mnkg","crawl_time":1759578119,"first_indexed_time":0,"http_code":200,"src_unparsed":"com,youtube!www,\/channel\/UCPvi3d3MAILSVKRIU_1Mnkg s443","src_root_hash":"3907445400264388851","history_drop_reason":null,"meta_title":"Pikiran Rakyat - YouTube","meta_descriptions":["Selamat datang di channel Youtube Pikiran Rakyat yang menghadirkan informasi terbaru dan terpercaya. Akun ini dikelola oleh Pikiran Rakyat Media Network."],"attrs_boilerpipe_text":"Persib Bandung menang atas Bangkok United dalam laga AFC Champions League 2 Group G di Stadion Thammasat Stadium Bangkok, 1 Oktober 2025. \n\nPersib berhasil merobek gawang Bangkok United lewat kaki Andrew Jung menit 41. Sempat terjadi keganjilan saat wasit menganulir gol kedua Persib  di menit 59, wasit menganggap Andrew Jung berada dalam posisi offside. Padahal dalam tayangan ulang jelas sekali tidak ada pemain Persib yang offside. Di momen itu Persib harus rela kehilangan poin golnya. \n\nNamun Persib tak patah semangat, Uilliam Barros membuktikan kakinya dapat mengoyak gawang Bangkok United di menit 70 dan mengubah kedudukan menjadi 2-0 hingga peluit akhir. \n\n***\n\nFoto: Persib Official Persib Bandung menang atas Bangkok United dalam laga AFC Champions League 2 Group G di Stadion Thammasat Stadium Bangkok, 1 Oktober 2025. \n\nPersib berhasil merobek gawang Bangkok United lewat kaki Andrew Jung menit 41. Sempat terjadi keganjilan saat wasit menganulir gol kedua Persib  di menit 59, wasit menganggap Andrew Jung berada dalam posisi offside. Padahal dalam tayangan ulang jelas sekali tidak ada pemain Persib yang offside. Di momen itu Persib harus rela kehilangan poin golnya. \n\nNamun Persib tak patah semangat, Uilliam Barros membuktikan kakinya dapat mengoyak gawang Bangkok United di menit 70 dan mengubah kedudukan menjadi 2-0 hingga peluit akhir. \n\n***\n\nFoto: Persib Official","attrs_markdown":null,"attrs_readable_markdown":null,"meta_canonical":null}

3. Robots.txt Check

Query:

Response:

4. Spam/Ban Check

Query:

Response:

5. Seen Status Check

ℹ️ Skipped - page is already crawled

📄

INDEXABLE

✅

CRAWLED

6 months ago

🤖

ROBOTS ALLOWED

Page Info Filters

Filter	Status	Condition	Details
HTTP status	PASS	`download_http_code = 200`	HTTP 200
Age cutoff	PASS	`download_stamp > now() - 6 MONTH`	6.3 months ago (distributed domain, exempt)
History drop	PASS	`isNull(history_drop_reason)`	No drop reason
Spam/ban	PASS	`fh_dont_index != 1 AND ml_spam_score = 0`	ml_spam_score=0
Canonical	PASS	`meta_canonical IS NULL OR = '' OR = src_unparsed`	Not set

Page Details

Property	Value
URL	https://www.youtube.com/channel/UCPvi3d3MAILSVKRIU_1Mnkg
Last Crawled	2025-10-04 11:41:59 (6 months ago)
First Indexed	not set
HTTP Status Code	200
Meta Title	Pikiran Rakyat - YouTube
Meta Description	Selamat datang di channel Youtube Pikiran Rakyat yang menghadirkan informasi terbaru dan terpercaya. Akun ini dikelola oleh Pikiran Rakyat Media Network.
Meta Canonical	null
Boilerpipe Text	Persib Bandung menang atas Bangkok United dalam laga AFC Champions League 2 Group G di Stadion Thammasat Stadium Bangkok, 1 Oktober 2025. Persib berhasil merobek gawang Bangkok United lewat kaki Andrew Jung menit 41. Sempat terjadi keganjilan saat wasit menganulir gol kedua Persib di menit 59, wasit menganggap Andrew Jung berada dalam posisi offside. Padahal dalam tayangan ulang jelas sekali tidak ada pemain Persib yang offside. Di momen itu Persib harus rela kehilangan poin golnya. Namun Persib tak patah semangat, Uilliam Barros membuktikan kakinya dapat mengoyak gawang Bangkok United di menit 70 dan mengubah kedudukan menjadi 2-0 hingga peluit akhir. * Foto: Persib Official Persib Bandung menang atas Bangkok United dalam laga AFC Champions League 2 Group G di Stadion Thammasat Stadium Bangkok, 1 Oktober 2025. Persib berhasil merobek gawang Bangkok United lewat kaki Andrew Jung menit 41. Sempat terjadi keganjilan saat wasit menganulir gol kedua Persib di menit 59, wasit menganggap Andrew Jung berada dalam posisi offside. Padahal dalam tayangan ulang jelas sekali tidak ada pemain Persib yang offside. Di momen itu Persib harus rela kehilangan poin golnya. Namun Persib tak patah semangat, Uilliam Barros membuktikan kakinya dapat mengoyak gawang Bangkok United di menit 70 dan mengubah kedudukan menjadi 2-0 hingga peluit akhir. * Foto: Persib Official
Markdown	null
Readable Markdown	null
Shard	51 (laksa)
Root Hash	3907445400264388851
Unparsed URL	com,youtube!www,/channel/UCPvi3d3MAILSVKRIU_1Mnkg s443