بررسی کامل وضعیت‌های ایندکس نشدن در سرچ کنسول و رفع خطاهای مهم

Google Search Console یکی از ابزارهای رسمی، رایگان و حرفه‌ای شرکت گوگل است که برای پایش، تحلیل و بهینه‌سازی ارتباط میان وب‌سایت‌ها و موتور جستجوی گوگل طراحی شده است. این پلتفرم به مدیران سایت، متخصصان سئو و توسعه‌دهندگان این امکان را می‌دهد تا نحوه دیده‌شدن وب‌سایت خود در نتایج جستجو را بررسی کنند، مشکلات فنی مرتبط با ایندکس و خزش را شناسایی و اصلاح نمایند و در نهایت، جایگاه صفحات خود را ارتقاء دهند.

در میان قابلیت‌های گسترده‌ی این ابزار، بخش Page Indexing (در منوی Index > Pages) از اهمیت ویژه‌ای برخوردار است. این بخش، گزارشی جامع از وضعیت ایندکس‌شدن صفحات وب‌سایت ارائه می‌دهد و آن‌ها را در دو دسته کلی زیر تفکیک می‌کند:

Indexed

صفحات شناسایی‌شده‌ای که گوگل با موفقیت آن‌ها را خزیده و در فهرست ایندکس خود ثبت کرده است. این صفحات معمولاً دارای محتوای منحصربه‌فرد، ساختار صحیح، و سیگنال‌های مثبت داخلی و خارجی هستند.

Not Indexed

صفحاتی که به دلایل گوناگون اعم از محدودیت‌های فنی، تنظیمات مدیریتی یا تصمیمات الگوریتمی گوگل، در حال حاضر در فهرست ایندکس قرار نگرفته‌اند. این دسته، مهم‌ترین نقطه تمرکز برای تحلیل‌های سئویی محسوب می‌شود.

برای هر وضعیت «Not Indexed»، دلایل دقیق و قابل‌تحلیلی توسط گوگل گزارش می‌شود؛ از جمله وجود تگ noindex، ریدایرکت‌های ناصحیح، خطاهای سمت سرور (5xx)، خطاهای 404، محتوای تکراری، مشکلات دسترسی و بسیاری موارد دیگر. این پیام‌ها همراه با اطلاعات تکمیلی مانند منبع تشخیص خطا (وب‌سایت یا سیستم‌های گوگل)، روند اعتبارسنجی (Validation Trend) و تعداد صفحات درگیر ارائه می‌شوند.

بررسی منظم این گزارش، یکی از الزامات سئو فنی محسوب می‌شود و به کارشناسان کمک می‌کند تا از وضعیت ایندکس‌پذیری صفحات آگاه شده، منابع خزش (Crawl Budget) را مدیریت کنند و از کاهش پتانسیل نمایش در نتایج جستجو جلوگیری نمایند.

چرا صفحات ایندکس نمی‌شوند؟

فرآیند ایندکس‌شدن یک صفحه در گوگل شامل سه مرحله اصلی است: کشف (Discovery)، خزش (Crawl) و ایندکس (Indexing). هرگونه اختلال در این زنجیره ممکن است باعث شود که صفحه مورد نظر در نتایج گوگل نمایش داده نشود. به عبارت دیگر، صرفِ آنلاین‌بودن یک صفحه، تضمینی برای ایندکس‌شدن آن نیست.

دلایل عدم ایندکس می‌تواند به یکی از موارد زیر مرتبط باشد:

استفاده از تگ متا noindex که به‌طور مستقیم از ایندکس‌شدن جلوگیری می‌کند.

ریدایرکت شدن صفحه به URL دیگر بدون مدیریت صحیح سیگنال‌ها.

بروز خطاهای HTTP مانند 404 یا 5xx که مانع بارگذاری صحیح صفحه می‌شوند.

استفاده نادرست از تگ Canonical که موجب حذف صفحه از فهرست ایندکس می‌گردد.

محدودیت‌های دسترسی از طریق فایل robots.txt یا سیستم‌های احراز هویت (مثلاً رمزگذاری صفحات).

کیفیت پایین محتوا یا شباهت زیاد با صفحات دیگر که موجب تصمیم الگوریتم برای عدم ایندکس می‌شود.

تشخیص عدم ارزش محتوایی توسط الگوریتم‌های گوگل (به‌ویژه در صفحات کم‌عمق یا ضعیف از نظر تجربه کاربری).

هر یک از این دلایل می‌تواند به‌تنهایی یا در ترکیب با یکدیگر، باعث شود که صفحه‌ای در وضعیت “Not Indexed” قرار گیرد.

 بررسی انواع وضعیت‌های “Not Indexed” در سرچ کنسول

Excluded by ‘noindex’ tag

این وضعیت نشان می‌دهد که صفحه مورد نظر دارای برچسب متا با مقدار noindex است. این تگ به موتورهای جستجو دستور می‌دهد که محتوای این صفحه را بررسی نکنند و آن را در فهرست نتایج جستجو قرار ندهند. این رفتار ممکن است به صورت دستی توسط مدیر سایت یا از طریق افزونه‌های سئو (نظیر Yoast یا Rank Math در وردپرس) اعمال شده باشد.

دلایل رایج:
تمایل مدیر سایت به عدم نمایش صفحه در نتایج (برای صفحاتی نظیر پنل کاربران، صفحات تست یا موقت)

تنظیمات اشتباه در افزونه‌های مدیریت سئو

پیش‌فرض قالب یا سیستم مدیریت محتوا

روش اصلاح:
در صورتی که هدف، جلوگیری از ایندکس شدن صفحه است، نیاز به اقدامی نیست. اما اگر صفحه از اهمیت بالایی برخوردار است و باید در نتایج گوگل ظاهر شود، باید تگ noindex از کدهای HTML حذف گردد یا از طریق تنظیمات افزونه سئو، ایندکس شدن مجاز اعلام شود. بررسی دقیق فایل HTML و تست URL در ابزار URL Inspection توصیه می‌شود.

Page with redirect

در این وضعیت، گوگل هنگام تلاش برای بررسی یک URL خاص با ریدایرکت (انتقال) به آدرس دیگری مواجه شده است. این بدان معناست که آدرس اولیه به‌صورت مستقیم به صفحه‌ای دیگر هدایت می‌شود و خود آن URL به‌عنوان یک منبع ایندکس‌پذیر در نظر گرفته نمی‌شود.

دلایل رایج:
تغییر ساختار URL سایت یا انتقال به دامنه جدید

حذف صفحه و هدایت آن به صفحه مرتبط دیگر

تنظیمات خودکار ریدایرکت در CMS یا افزونه‌ها

روش اصلاح:
در صورتی که ریدایرکت به‌درستی انجام شده و مقصد مناسب است، نیازی به اقدامی خاص نیست. اما در مواردی که این انتقال به اشتباه صورت گرفته یا مسیر هدایت بیش از یک مرحله دارد (ریدایرکت زنجیره‌ای)، لازم است ساختار URL و تنظیمات ریدایرکت اصلاح شود. بررسی این موارد از طریق ابزار URL Inspection در Google Search Console توصیه می‌شود.

Not found (404)

این پیام نشان‌دهنده آن است که گوگل تلاش کرده به یک URL خاص دسترسی پیدا کند، اما با پاسخ وضعیت HTTP 404 از سمت سرور مواجه شده است. این کد نشان می‌دهد که صفحه مورد نظر وجود ندارد و حذف یا جابه‌جا شده است.

دلایل رایج:
حذف دستی صفحات بدون تنظیم ریدایرکت

وجود لینک‌های داخلی یا خارجی نادرست

تغییر آدرس صفحات بدون بروزرسانی نقشه سایت یا ساختار لینک‌دهی

روش اصلاح:
در صورت نیاز به حفظ محتوای صفحه، می‌بایست آن صفحه مجدداً ایجاد شود. در صورتی که صفحه حذف شده و محتوای مشابهی وجود دارد، انجام ریدایرکت 301 به صفحه مرتبط پیشنهاد می‌شود. اگر صفحه به‌طور کامل بی‌استفاده و بدون جایگزین است، می‌توان آن را به‌عنوان 404 باقی گذاشت، اما لازم است از حذف آن از نقشه سایت و ساختار لینک‌دهی داخلی اطمینان حاصل شود. وجود تعداد بالای صفحات 404 می‌تواند تأثیر منفی بر بودجه خزش و تجربه کاربری سایت داشته باشد.

Server error (5xx)

وضعیت Server error (5xx) در سرچ کنسول زمانی ظاهر می‌شود که گوگل‌بات در هنگام تلاش برای دسترسی به صفحه‌ای از سایت شما، با یک خطای سروری از نوع ۵۰۰ یا بالاتر مواجه شده باشد. این خطاها نشان‌دهنده بروز اختلال در پاسخ‌دهی سرور هستند و مانع از ایندکس شدن صحیح صفحات می‌شوند.

دلایل رایج:
اختلالات موقت یا ناپایداری در عملکرد سرور (به دلیل مصرف بالای منابع، پیک ترافیکی یا تنظیمات نادرست)

خطاهای مربوط به پیکربندی‌ها در CMS یا افزونه‌ها (نظیر خطاهای PHP در وردپرس)

خطای ناشی از محدودیت‌های فایروال یا پلاگین‌های امنیتی که دسترسی گوگل‌بات را مسدود می‌کنند

خطای Internal Server Error (500)، خطای Gateway Timeout (504) یا خطای Service Unavailable (503)

روش اصلاح:
بررسی لاگ سرور: فایل‌های خطا در سرور (Error Logs) را بررسی کرده و علت بروز خطاهای ۵xx را شناسایی نمایید.

تست دستی URL: با استفاده از ابزار URL Inspection در سرچ کنسول بررسی کنید که آیا صفحه هنوز خطا دارد یا مشکل رفع شده است.

پایش منابع سرور: استفاده از ابزارهای مانیتورینگ برای کنترل مصرف CPU، RAM و عملکرد پایگاه داده، به‌ویژه در زمان‌هایی با بار ترافیکی بالا.

ارتقاء پلن میزبانی: در صورت محدود بودن منابع سرور، توصیه می‌شود پلن هاست یا سرور خود را ارتقاء دهید تا از بروز خطاهای مشابه جلوگیری شود.

رفع محدودیت‌های امنیتی: اطمینان حاصل کنید که دسترسی ربات‌های موتور جستجو، خصوصاً گوگل‌بات، از طریق فایروال یا افزونه‌ها مسدود نشده باشد.

توجه: خطاهای 5xx به‌صورت موقت در نظر گرفته می‌شوند، اما در صورت تکرار، گوگل ممکن است از تلاش مجدد برای خزیدن آن صفحات صرف‌نظر کند و در نهایت آن‌ها را از فهرست خود خارج سازد.

Alternate page with proper canonical tag

این وضعیت نشان می‌دهد که گوگل صفحه‌ای را شناسایی کرده است که دارای تگ Canonical می‌باشد و آن تگ به صفحه‌ای دیگر به‌عنوان نسخه اصلی (اصلی‌تر یا ترجیح‌داده‌شده) اشاره می‌کند. بنابراین، گوگل تصمیم می‌گیرد که تنها نسخه معرفی‌شده در تگ Canonical را ایندکس کند و این صفحه را به عنوان یک نسخه جایگزین، از نتایج ایندکس خارج می‌سازد.

مفهوم فنی Canonical:
تگ <link rel=”canonical” href=”https://example.com/page-1″ /> به موتورهای جستجو اعلام می‌کند که آدرس تعیین‌شده، نسخه اصلی محتواست و صفحات دیگر با محتوای مشابه، نباید به‌صورت جداگانه ایندکس شوند. این عمل به جلوگیری از محتوای تکراری (Duplicate Content) کمک می‌کند.

دلایل رایج بروز این وضعیت:
استفاده صحیح از تگ Canonical برای ارجاع صفحات مشابه به نسخه اصلی (مثلاً صفحات فیلترشده یا دارای پارامتر URL)

اشتباه در تنظیم Canonical که باعث ارجاع صفحه به آدرسی نامرتبط یا اشتباه می‌شود

وجود چند نسخه از یک محتوا (مثلاً با www و بدون www، یا نسخه‌های HTTP و HTTPS) که یکی از آن‌ها به‌عنوان اصلی مشخص شده است

روش اصلاح:
بررسی صحت تگ Canonical: اطمینان حاصل کنید که صفحه واقعاً باید نسخه جایگزین باشد و به‌درستی به صفحه اصلی ارجاع داده شده است.

رفع ارجاع اشتباه: اگر تگ Canonical به صفحه نامربوط یا اشتباهی اشاره می‌کند، آن را اصلاح نمایید.

مدیریت نسخه‌های مختلف URL: استفاده از ریدایرکت 301 برای یکی‌کردن نسخه‌های مختلف صفحات (مانند www و بدون آن یا http به https) و یکپارچه‌سازی آدرس‌ها

تحلیل رفتار گوگل‌بات: ممکن است گوگل بر اساس الگوریتم‌های خود تصمیم گرفته باشد این صفحه را جایگزین در نظر بگیرد، حتی اگر تگ Canonical در آن نباشد (در این صورت، در سرچ کنسول پیام متفاوتی ظاهر خواهد شد که بررسی آن جداگانه لازم است).

نکته مهم: وجود این وضعیت لزوماً به معنای وجود مشکل نیست؛ اگر Canonicalها به‌درستی تنظیم شده باشند، این وضعیت نشان می‌دهد که سایت شما از لحاظ ساختار محتوایی بهینه عمل می‌کند.

Soft 404

وضعیت Soft 404 زمانی در سرچ کنسول گزارش می‌شود که گوگل صفحه‌ای را بررسی کرده اما محتوای آن را بی‌ارزش یا تهی از محتوای مفید تشخیص داده و آن را معادل یک صفحه 404 واقعی در نظر گرفته، در حالی‌که سرور پاسخ موفق (کد 200) را بازگردانده است. به عبارت دیگر، گوگل احساس می‌کند که این صفحه باید پیام «یافت نشد» داشته باشد، اما از نظر فنی به‌عنوان صفحه‌ای معتبر شناخته شده است.

دلایل رایج بروز این وضعیت:
صفحات با محتوای بسیار کم یا خالی (thin content)

صفحاتی که فقط یک پیام عمومی مانند «موردی یافت نشد» نمایش می‌دهند

صفحات حذف‌شده که هنوز از سمت سرور به‌عنوان صفحات موجود (status 200) پاسخ می‌دهند

ریدایرکت به صفحات نامرتبط بدون اعلام صریح خطا یا وضعیت عدم وجود محتوا

روش اصلاح:
در صورت حذف محتوا: اگر صفحه‌ای به‌صورت کامل حذف شده است و قرار نیست جایگزینی برای آن وجود داشته باشد، باید از سمت سرور پاسخ 404 واقعی یا 410 ارسال شود. این کار به گوگل کمک می‌کند تا آن URL را از فهرست ایندکس خود حذف کند.

در صورت وجود محتوای ناکافی: اگر صفحه همچنان وجود دارد اما محتوای کافی ندارد، آن را با محتوای غنی و کاربردی تکمیل کنید تا از دید گوگل به عنوان صفحه مفید شناخته شود.

در صورت ریدایرکت اشتباه: اگر صفحه‌ای به آدرس دیگری ریدایرکت می‌شود، اطمینان حاصل کنید که مقصد آن صفحه مرتبط و ارزشمند باشد. در غیر این صورت، بهتر است از کد وضعیت مناسب (404 یا 410) استفاده نمایید.

نکته مهم: Soft 404 یکی از وضعیت‌هایی است که هم از نظر تجربه کاربری و هم از نظر سئو می‌تواند پیامدهای منفی داشته باشد. تکرار زیاد این وضعیت ممکن است موجب کاهش اعتماد گوگل به کیفیت کلی سایت شود.

Blocked due to unauthorized request (401)

این وضعیت نشان‌دهنده آن است که گوگل‌بات هنگام تلاش برای دسترسی به صفحه‌ای در سایت، با پاسخ وضعیت HTTP 401 مواجه شده است. این کد به‌معنای “نیاز به احراز هویت” است، یعنی گوگل اجازه ورود به صفحه را ندارد، زیرا دسترسی به آن تنها برای کاربران مجاز امکان‌پذیر است.

دلایل رایج:
محافظت از صفحه با رمز عبور (مثلاً در مرحله توسعه یا آزمون)

محدودیت دسترسی از طریق فایل .htaccess

پیکربندی افزونه‌های امنیتی که ربات‌های جستجو را مسدود می‌کنند

روش اصلاح:
در صورت عدم نیاز به ایندکس صفحه، وضعیت 401 قابل‌قبول است.

اما اگر صفحه باید در نتایج گوگل نمایش داده شود، باید دسترسی ربات‌های گوگل را از طریق حذف احراز هویت یا تنظیم دسترسی در فایل robots.txt مجاز نمایید.

همچنین می‌توان با استفاده از ابزار URL Inspection بررسی کرد که آیا اکنون امکان دسترسی برای گوگل‌بات فراهم شده یا خیر.

Blocked due to other 4xx issue

این وضعیت بیانگر آن است که گوگل‌بات هنگام تلاش برای دسترسی به یک صفحه، با خطایی در بازه 400 تا 499 (به‌جز 401 و 404) مواجه شده است. این دسته از خطاها معمولاً به دلیل درخواست نامعتبر، URL نادرست یا محدودیت‌های دسترسی رخ می‌دهند.

دلایل رایج:
کد وضعیت 403 (Forbidden) در اثر محدودیت‌های دسترسی از طرف سرور یا فایروال

آدرس‌دهی نادرست در لینک‌های داخلی یا خارجی

خطاهای ناشی از پارامترهای اشتباه در آدرس URL

روش اصلاح:
بازبینی دقیق URLهایی که این خطا را دارند، با استفاده از فایل لاگ سرور یا ابزارهای مانیتورینگ

اصلاح لینک‌ها و حذف مسیرهای اشتباه از سایت‌مپ و لینک‌های داخلی

بررسی فایل‌های امنیتی مانند .htaccess، تنظیمات CDN یا افزونه‌های امنیتی وردپرس

 Discovered – currently not indexed

در این وضعیت، گوگل‌بات آدرس صفحه را شناسایی کرده اما هنوز آن را خزش (Crawl) و ایندکس نکرده است. این حالت معمولاً نشان می‌دهد که گوگل از وجود صفحه مطلع است اما هنوز به آن نرسیده یا به دلایلی خزیدن آن را به تعویق انداخته است.

دلایل رایج:
سایت تازه تأسیس یا صفحه جدید

منابع محدود بودجه خزش (Crawl Budget)

کند بودن سایت یا ارجاع‌های بیش‌ازحد در ساختار لینک‌ها

محتوای کم‌ارزش یا ساختار URL بی‌کیفیت

روش اصلاح:
تسریع ایندکس از طریق ابزار “Request Indexing”

بهبود سرعت سایت و حذف صفحات بی‌ارزش برای بهینه‌سازی بودجه خزش

افزایش لینک‌های داخلی به این صفحه جهت تأکید بر اهمیت آن

افزودن URL به سایت‌مپ XML

 Crawled – currently not indexed

این وضعیت نشان می‌دهد که گوگل صفحه را خزیده است (یعنی آن را بررسی کرده)، اما تصمیم گرفته آن را ایندکس نکند. این یک وضعیت بسیار رایج و در عین حال پیچیده است، زیرا مشخص نمی‌شود دقیقاً چرا گوگل این تصمیم را گرفته است.

دلایل رایج:
محتوای تکراری یا بسیار مشابه با صفحات دیگر

کیفیت پایین محتوا یا نداشتن ارزش افزوده برای کاربر

ساختار نامناسب یا چیدمان فنی مشکل‌دار

عدم دریافت سیگنال کافی برای ایندکس (مثل لینک داخلی یا خارجی)

روش اصلاح:
بازنویسی یا تقویت محتوای صفحه با اطلاعات ارزشمند، چندرسانه‌ای و کاربردی

افزایش سیگنال‌های سئو نظیر لینک داخلی و خارجی

اطمینان از نبودن تگ noindex یا مشکلات فنی در صفحه

بررسی رفتار صفحه در URL Inspection و مقایسه با صفحات مشابه ایندکس‌شده

Duplicate without user-selected canonical

این وضعیت زمانی اتفاق می‌افتد که گوگل چند نسخه از یک محتوا را یافته است و شما هیچ تگ Canonical مشخصی در صفحات قرار نداده‌اید. در نتیجه، گوگل بر اساس الگوریتم‌های خود تصمیم گرفته فقط یکی از نسخه‌ها را ایندکس کند و بقیه را از ایندکس حذف کرده است.

دلایل رایج:
وجود نسخه‌های مختلف از یک صفحه (مانند پارامترهای URL، trailing slash، یا تفاوت‌های کوچک دیگر)

نبود تگ Canonical در صفحات تکراری

روش اصلاح:
بررسی و تعیین تگ Canonical برای هر گروه از صفحات مشابه

یکسان‌سازی ساختار URL از طریق ریدایرکت و تنظیمات سایت‌مپ

اجتناب از تولید صفحات تکراری توسط افزونه‌ها یا فیلترهای محصولات

 Duplicate, Google chose different canonical than user

در این حالت، شما برای صفحه‌ای تگ Canonical تعریف کرده‌اید، اما گوگل تصمیم گرفته نسخه دیگری از محتوا را به‌عنوان صفحه اصلی انتخاب و ایندکس کند. این نشان‌دهنده عدم تطابق بین نظر مدیر سایت و تشخیص الگوریتم‌های گوگل است.

دلایل رایج:
کیفیت بالاتر یا محبوبیت بیشتر نسخه‌ای دیگر از صفحه (از نظر گوگل)

تناقض در سیگنال‌های سئو، مانند لینک‌های داخلی یا ریدایرکت‌ها

روش اصلاح:
تقویت نسخه‌ای که به‌عنوان Canonical معرفی شده با محتوای غنی‌تر، لینک‌های داخلی بیشتر و بارگذاری سریع‌تر

بررسی ریدایرکت‌ها، لینک‌دهی داخلی و ساختار URL برای هماهنگی بیشتر با نسخه Canonical

بازبینی گزارش URL Inspection برای تحلیل دقیق رفتار گوگل نسبت به این صفحه

Duplicate, submitted URL not selected as canonical

این وضعیت نشان می‌دهد که URL موردنظر شما در نقشه سایت ارسال شده، اما گوگل تصمیم گرفته نسخه دیگری از همان محتوا را به‌عنوان Canonical ایندکس کند. در واقع، نسخه‌ای که شما پیشنهاد داده‌اید نادیده گرفته شده است.

دلایل رایج:
تفاوت نامحسوس بین URLها (مثل داشتن پارامتر یا ساختار متفاوت)

برتری نسبی نسخه دیگر از دیدگاه گوگل (مثلاً با داشتن بک‌لینک بیشتر یا ساختار بهتر)

روش اصلاح:
بررسی علت انتخاب گوگل از طریق ابزار URL Inspection

یکسان‌سازی نسخه پیشنهادی با نسخه انتخاب‌شده (از نظر محتوا، سرعت، ساختار و لینک‌دهی)

حذف نسخه‌های جایگزین از سایت‌مپ و ارجاع صحیح به نسخه اصلی با ریدایرکت 301

 Blocked by robots.txt

اگر صفحه‌ای در فایل robots.txt مسدود شده باشد، گوگل نمی‌تواند آن را بخزد. البته این وضعیت دیگر در نسخه جدید سرچ کنسول به‌صورت مستقیم نمایش داده نمی‌شود، بلکه فقط به شکل غیرمستقیم در URL Inspection Tool دیده می‌شود.

 Page removed because of legal complaint

اگر صفحه‌ای توسط درخواست قانونی (DMCA یا شکایت حقوقی) از فهرست ایندکس گوگل حذف شده باشد، چنین وضعیتی ممکن است گزارش شود. این مورد بسیار نادر است.

 Page removed due to request from site owner

در صورت استفاده از ابزار Removals در سرچ کنسول برای حذف دستی یک صفحه، ممکن است چنین وضعیتی موقتاً نمایش داده شود.

خطاهایی که در Page Indexing نشان داده نمی‌شوند اما از دلایل ایندکس‌نشدن هستند

Blocked by robots.txt

وقتی فایلی به نام robots.txt در ریشه دامنه شما وجود داشته باشد، گوگل‌بات پیش از خزش صفحات، ابتدا آن فایل را می‌خواند تا متوجه شود که به کدام بخش‌های سایت اجازه ورود دارد و به کدام بخش‌ها نه. اگر در این فایل با دستور Disallow مانع دسترسی به یک مسیر خاص شده باشید، گوگل از خزیدن آن صفحه خودداری می‌کند و بنابراین آن صفحه ایندکس نخواهد شد.

این وضعیت در Page Indexing به‌طور مستقیم نشان داده نمی‌شود، اما وقتی URL را در ابزار URL Inspection بررسی کنید، به‌وضوح خواهید دید که پیام «Blocked by robots.txt» نمایش داده می‌شود. این یعنی گوگل اصلاً به محتویات آن صفحه دسترسی نداشته است و نمی‌تواند درباره کیفیت یا محتوای آن تصمیمی بگیرد.

گاهی این محدودیت‌ها کاملاً عمدی هستند؛ مثلاً برای جلوگیری از ایندکس شدن پنل مدیریت یا پوشه‌های سیستمی مانند /wp-admin/. اما در برخی موارد، مدیر سایت یا توسعه‌دهنده به‌اشتباه مسیرهایی از صفحات عمومی را هم مسدود کرده‌اند که باعث می‌شود صفحات مهم از فهرست نتایج گوگل حذف شوند.

برای رفع این مشکل، باید فایل robots.txt را بازبینی کنید و در صورت نیاز، خطوط Disallow را برای مسیرهایی که می‌خواهید در گوگل ظاهر شوند حذف کنید. گوگل همچنین یک ابزار تست robots.txt دارد که می‌توانید از آن برای شبیه‌سازی رفتار خزنده استفاده کنید.

 Page removed because of legal complaint

در برخی شرایط، گوگل موظف است که در پاسخ به شکایت‌های رسمی و قانونی، برخی صفحات یا حتی کل دامنه را از نتایج جستجوی خود حذف کند. این شکایات می‌توانند شامل نقض قانون کپی‌رایت (DMCA)، افتراء، تهدیدهای قانونی، محتوای غیراخلاقی یا هر نوع درخواست معتبر قضایی باشند.

وقتی چنین شکایتی پذیرفته می‌شود، صفحه موردنظر به‌طور کامل از ایندکس گوگل حذف شده و حتی اگر از سایت‌مپ ارسال شود یا خزنده‌ها به آن دسترسی داشته باشند، در نتایج نمایش داده نخواهد شد. این مورد در Page Indexing نمایش داده نمی‌شود، اما ممکن است از طریق گزارش‌های رسمی مانند Google Transparency Report یا ابزارهای ثالث شناسایی شود.

چنین مواردی معمولاً نادر هستند، اما برای سایت‌هایی که محتوای تولیدشده بر پایه منابع ثالث دارند یا در موضوعات حساس فعالیت می‌کنند (مثل رسانه‌ها)، یک تهدید جدی محسوب می‌شود. گاهی شکایت‌های رقیبان تجاری نیز منجر به حذف ناعادلانه صفحه می‌شود.

در این حالت، صاحب سایت می‌تواند از فرآیند اعتراض رسمی استفاده کرده، مدارک حقوقی لازم را ارائه دهد یا در صورت پذیرش تخلف، محتوا را اصلاح کرده و برای بازبینی مجدد از گوگل درخواست دهد.

Page removed at request from site owner

ابزار Removals در Google Search Console به وبمسترها این امکان را می‌دهد که برخی صفحات سایت خود را موقتاً از نتایج جستجوی گوگل حذف کنند. این ابزار برای مواقع خاص مانند انتشار اشتباهی یک صفحه، نمایش اطلاعات حساس یا محتوای ناقص و آزمایشی طراحی شده است.

وقتی از این ابزار استفاده شود، گوگل آن صفحه را از نتایج حذف می‌کند ولی همچنان ممکن است آن را خزیده و در فهرست داخلی نگه دارد. این حذف، موقتی است و معمولاً تا ۶ ماه اعتبار دارد، مگر آن‌که اقدامات تکمیلی مانند قرار دادن تگ noindex یا حذف محتوا صورت گیرد.

چنین حالتی در بخش Page Indexing نمایش داده نمی‌شود و تنها از طریق URL Inspection و بررسی سابقه درخواست‌ها در ابزار Removals قابل پیگیری است. در نتیجه، اگر صفحه‌ای به‌طور ناگهانی از نتایج حذف شده باشد، اما مشکل فنی یا محتوایی نداشته باشد، احتمال استفاده از این ابزار باید بررسی شود.

برای بازگرداندن صفحه، کافی است درخواست حذف لغو شود و در صورت نیاز، صفحه را به‌روز کرده و از گوگل بخواهید آن را دوباره ایندکس کند.

Page excluded by URL parameter rules

گوگل برای بهبود بهره‌وری خزیدن، ممکن است صفحات دارای پارامترهای URL خاص را ایندکس نکند، به‌ویژه اگر این پارامترها باعث تولید محتوای تکراری یا کم‌اهمیت شوند. مثلاً URLهایی مانند example.com/product?sort=price ممکن است از نظر محتوا با صفحه اصلی تفاوتی نداشته باشند، در نتیجه گوگل تصمیم به عدم ایندکس می‌گیرد.

در نسخه قدیمی سرچ کنسول، بخشی به نام URL Parameters وجود داشت که مدیر سایت می‌توانست از طریق آن به گوگل بگوید کدام پارامترها بی‌اهمیت هستند. اگرچه این بخش حالا غیرفعال شده، اما الگوریتم گوگل همچنان بر اساس ساختار URL تصمیم‌گیری می‌کند.

اگر پارامترها به شکل گسترده‌ای در سایت استفاده شده باشند، ممکن است بسیاری از صفحات پارامتردار توسط گوگل نادیده گرفته شوند. این مشکل به‌ویژه در سایت‌های فروشگاهی و وبلاگ‌هایی که دارای فیلتر و دسته‌بندی پویا هستند، شایع است.

برای جلوگیری از حذف این صفحات، باید از تگ Canonical به نسخه اصلی استفاده کنید، URLهای فیلترشده را در سایت‌مپ وارد نکنید، و در صورت نیاز، پارامترها را در مسیر URL قرار دهید (Path-based filtering) تا از دید خزنده پنهان نشوند.

Page blocked due to geo/IP restrictions

در برخی موارد، خزنده‌های گوگل ممکن است به دلیل محدودیت‌های جغرافیایی یا فیلترهای سطح IP نتوانند به صفحات سایت دسترسی داشته باشند. این حالت معمولاً زمانی اتفاق می‌افتد که وب‌سایت یا سرور از فایروال، CDN (مثل Cloudflare) یا تنظیمات سروری استفاده کند که به دلایل امنیتی یا تجاری، دسترسی از کشورها یا IPهای خاص را مسدود کرده باشد.

گوگل‌بات دارای IPهای اختصاصی خودش است که در برخی مناطق (به‌ویژه خارج از آمریکا) ممکن است به اشتباه به‌عنوان کاربران عادی یا حتی بدافزار شناخته شده و مسدود شوند. در چنین شرایطی، حتی اگر سایت‌مپ ارسال شده باشد یا صفحه در دسترس کاربران باشد، خزنده نمی‌تواند به آن دسترسی پیدا کند و بنابراین ایندکس انجام نمی‌شود.

این وضعیت معمولاً در Page Indexing گزارش نمی‌شود و تنها با بررسی لاگ‌های سرور یا ابزار URL Inspection می‌توان فهمید که اتصال گوگل‌بات رد شده است. سایت‌هایی که مخاطب محلی دارند (مثلاً فقط کاربران ایرانی یا فقط در کشورهای اروپایی)، بیشتر با این چالش مواجه می‌شوند.

برای حل این مشکل، باید از لیست IPهای رسمی گوگل استفاده کرد و مطمئن شد که گوگل‌بات در هیچ‌کدام از لایه‌های دسترسی (CDN، فایروال، سرور، افزونه امنیتی) مسدود نشده باشد. فعال‌سازی دسترسی کامل به خزنده‌های گوگل در همه مناطق جغرافیایی، اقدام کلیدی در این مورد است.

 Page failed to load (timed out / connection reset)

این وضعیت زمانی رخ می‌دهد که گوگل‌بات سعی می‌کند به یک صفحه دسترسی پیدا کند، اما سرور پاسخ‌دهی نمی‌کند یا اتصال به‌صورت ناگهانی قطع می‌شود. در این شرایط، صفحه اصلاً بارگذاری نمی‌شود و به همین دلیل هم خزیده نمی‌شود و طبیعتاً ایندکس هم نخواهد شد.

برخلاف خطاهای کلاسیک مانند ۵۰۴ یا ۵۰۰ که به‌صورت صریح در سرچ کنسول گزارش می‌شوند، این خطاها معمولاً بی‌صدا و در پشت‌صحنه رخ می‌دهند. گوگل ممکن است تنها چند بار تلاش کند و سپس از بررسی مجدد صرف‌نظر کند، به‌ویژه اگر این مشکل مکرراً اتفاق بیفتد.

علت‌های رایج این اتفاق شامل کندی بیش‌ازحد سایت، سرور ضعیف یا پرخطا، مشکلات شبکه بین دیتاسنتر و گوگل، یا خطاهای موقتی در نرم‌افزار سایت است. در برخی موارد، ماژول‌های امنیتی یا افزونه‌های وردپرس که دسترسی خزنده‌ها را محدود می‌کنند هم در این مسئله دخیل هستند.

برای جلوگیری از این وضعیت، لازم است عملکرد سرور تحت نظارت دائم قرار بگیرد. استفاده از ابزارهای مانیتورینگ مانند UptimeRobot یا بررسی منظم لاگ‌های خطای سرور، به شناسایی مشکلات کمک می‌کند. همچنین توصیه می‌شود که مدت‌زمان پاسخ‌دهی سرور همیشه زیر ۵۰۰ میلی‌ثانیه باقی بماند.

Unsupported content type

گوگل به‌طور پیش‌فرض، فقط محتوایی را ایندکس می‌کند که بتواند آن را تحلیل کند—یعنی معمولاً صفحات HTML، داده‌های ساخت‌یافته، متن ساده، یا محتوای قابل رندر سمت سرور. اگر صفحه‌ای با نوع محتوای غیرقابل تحلیل (مانند JSON خام، PDF خراب، یا MIME-type اشتباه) ارائه شود، گوگل آن را نادیده می‌گیرد.

گاهی این مسئله به‌دلیل تنظیم اشتباه در هدرهای HTTP است. مثلاً اگر صفحه HTML باشد اما هدر پاسخ آن application/json باشد، گوگل تصور می‌کند فایل مورد نظر یک API یا سند غیرقابل ایندکس است. همین اشتباه ساده می‌تواند مانع ایندکس کل یک صفحه شود.

در بسیاری از SPAها (اپلیکیشن‌های تک‌صفحه‌ای) که با فریم‌ورک‌هایی مثل React یا Vue ساخته می‌شوند، محتوای اصلی فقط از طریق JavaScript بارگذاری می‌شود. اگر SSR (رندر سمت سرور) یا Dynamic Rendering فعال نباشد، خزنده‌ها هیچ محتوایی دریافت نمی‌کنند و صفحه ایندکس نمی‌شود.

راهکار اصلی این است که اطمینان حاصل شود صفحه دارای محتوای HTML قابل خزیدن است. اگر از JS استفاده می‌کنید، حتماً SSR را فعال کنید یا از راهکارهای مثل prerender.io استفاده نمایید. همچنین بررسی و اصلاح هدرهای Content-Type در سمت سرور، برای جلوگیری از این مشکل ضروری است.

Duplicate, Google chose different page as canonical

این وضعیت زمانی رخ می‌دهد که گوگل چند نسخه از یک محتوای مشابه را شناسایی کرده و با وجود اینکه شما در یکی از آن‌ها تگ Canonical تعیین کرده‌اید، تصمیم گرفته نسخه‌ی دیگری را به‌عنوان «صفحه اصلی» در نظر بگیرد و ایندکس کند.

این تصمیم معمولاً بر اساس الگوریتم‌های گوگل و معیارهایی مانند محبوبیت صفحه، تعداد لینک‌های داخلی و خارجی، سرعت لود، تجربه کاربری، و حتی URL ساختاریافته‌تر گرفته می‌شود. به‌عبارتی، گوگل احساس می‌کند نسخه‌ای غیر از پیشنهاد شما، برای کاربر ارزشمندتر است.

این وضعیت به‌خصوص در سایت‌هایی دیده می‌شود که از سیستم برچسب، دسته‌بندی‌های تودرتو، یا URLهای پارامتردار استفاده می‌کنند و به‌جای یک نسخه اصلی، چندین صفحه‌ی مشابه با اندکی تفاوت دارند. در چنین شرایطی، الگوریتم ممکن است تگ Canonical شما را نادیده بگیرد.

برای رفع این مشکل، باید صفحه‌ای که شما به‌عنوان Canonical معرفی کرده‌اید را از نظر ساختاری، فنی و محتوایی قوی‌تر کنید. لینک‌دهی داخلی را فقط به همان نسخه متمرکز نمایید، نسخه‌های دیگر را یا حذف یا ریدایرکت 301 کنید و در صورت لزوم، درخواست ایندکس مجدد بدهید.

جمع‌بندی نهایی: چطور خطاهای ایندکس سرچ کنسول را مدیریت کنیم؟

همان‌طور که در این مقاله به‌طور کامل بررسی شد، وضعیت‌های مختلف “Not Indexed” در Google Search Console می‌توانند دلایل متعددی داشته باشند؛ از تگ‌های noindex گرفته تا خطاهای 404، ریدایرکت‌های اشتباه، مشکلات سروری، محتوای تکراری، محدودیت دسترسی و موارد دیگر. درک درست این وضعیت‌ها و تحلیل دقیق آن‌ها، نقش حیاتی در بهینه‌سازی ایندکس‌پذیری سایت و ارتقای جایگاه آن در نتایج جستجو دارد.

برای هر وضعیت، راهکار مشخصی وجود دارد که باید متناسب با نوع خطا و هدف صفحه، تصمیم‌گیری شود. برخی از صفحات ممکن است عمداً نباید ایندکس شوند، اما برخی دیگر نیاز به بازنویسی محتوا، تقویت ساختار داخلی یا اصلاح تنظیمات فنی دارند.

در کنار موارد اصلی، برخی وضعیت‌های خاص نیز وجود دارند که بسته به نوع سایت یا اقدامات انجام‌شده ممکن است ظاهر شوند. برای مثال:

Blocked by robots.txt: وقتی خزیدن صفحه به‌صورت صریح در فایل robots.txt مسدود شده است.

Page removed due to legal complaint: حذف صفحه به درخواست قانونی.

Page removed at request of site owner: حذف موقت یا دائم از طریق ابزار Removals در سرچ کنسول.

در صورت مشاهده چنین وضعیت‌هایی، لازم است به اسناد رسمی گوگل مراجعه یا با متخصص سئو مشورت نمایید.

 توصیه پایانی

هر چند وقت یک بار، گزارش Page Indexing را به‌صورت کامل مرور کنید، به ویژه صفحاتی که در وضعیت “Not Indexed” قرار گرفته‌اند. از ابزار URL Inspection برای بررسی دقیق وضعیت هر صفحه بهره بگیرید و تغییرات اعمال‌شده را مجدداً به گوگل ارسال نمایید. به‌علاوه، بهتر است نقشه سایت XML همیشه به‌روز و تمیز باشد تا گوگل مسیر درستی برای خزش و ایندکس صفحات شما در اختیار داشته باشد.

اگر در تحلیل این وضعیت‌ها نیاز به راهنمایی بیشتر دارید یا مایل هستید بررسی فنی سایت شما توسط متخصصان انجام شود، همین حالا با ما در تماس باشید.