چرا گوگل سایت شما را ایندکس نمی‌کند؟

اگر مقاله، محصول یا یکی از صفحات مهم سایت شما در گوگل نمایش داده نمی‌شود، لزوماً به این معنی نیست که سایت جریمه شده یا مشکل جدی سئو دارد. ایندکس نشدن سایت می‌تواند به تنظیمات وردپرس، محدودیت دسترسی خزنده‌های گوگل، تگ‌های فنی، ساختار لینک‌های داخلی، محتوای تکراری یا تصمیم گوگل درباره ارزش مستقل یک صفحه مربوط باشد.

برای پیدا کردن علت، بهتر است به‌جای ارسال چندباره درخواست ایندکس، ابتدا وضعیت URL را در Google Search Console بررسی کنید. این ابزار کمک می‌کند بفهمید گوگل صفحه را هنوز پیدا نکرده، آن را Crawl کرده اما ایندکس نکرده، یا URL دیگری را به‌عنوان نسخه اصلی محتوا انتخاب کرده است.

در این راهنما، دلایل رایج ایندکس نشدن سایت و صفحات وردپرسی را بررسی می‌کنیم و برای هر مورد، روش تشخیص و راه‌حل عملی ارائه می‌دهیم. اگر هنوز با مفهوم ایندکس آشنا نیستید، ابتدا مقاله ایندکس را مطالعه کنید.

چرا گوگل سایت شما را ایندکس نمی‌کند؟

ایندکس نشدن یک صفحه می‌تواند دلایل مختلفی داشته باشد. گاهی گوگل هنوز URL را کشف نکرده است؛ گاهی به دلیل محدودیت فنی نمی‌تواند محتوای آن را دریافت کند و در بعضی موارد نیز صفحه را بررسی کرده اما آن را برای ورود به ایندکس انتخاب نکرده است.

مهم‌ترین دلایل عبارت‌اند از:

• سایت یا صفحه جدید است و گوگل هنوز آن را کشف یا Crawl نکرده است.
• گزینه جلوگیری از ایندکس در وردپرس یا تگ noindex فعال است.
• فایل robots.txt دسترسی Googlebot را محدود کرده است.
• صفحه در Sitemap قرار ندارد یا نقشه سایت به‌درستی تنظیم نشده است.
• صفحه از صفحات مرتبط لینک داخلی دریافت نمی‌کند.
• محتوای صفحه تکراری، بسیار مشابه یا فاقد ارزش مستقل کافی است.
• تگ Canonical به URL اشتباهی اشاره می‌کند.
• صفحه با خطای سرور، محدودیت دسترسی یا مشکل رندر مواجه است.
• URL به آدرس دیگری ریدایرکت شده است.
• صفحه به‌عنوان Soft 404 شناسایی شده است.
• پس از تغییر دامنه یا مهاجرت سایت، سیگنال‌های فنی با یکدیگر هماهنگ نیستند.

نکته مهم: نمایش عبارت Not indexed در سرچ کنسول همیشه به معنی وجود خطا نیست. ممکن است URL تکراری باشد، عمداً از ایندکس خارج شده باشد یا صفحه‌ای باشد که نیازی به حضور مستقل در نتایج جست‌وجو ندارد. هدف سئو، ایندکس شدن تمام URLهای سایت نیست؛ هدف این است که صفحات مهم و ارزشمند سایت به‌درستی در گوگل حضور داشته باشند.

قبل از هر اقدامی، وضعیت صفحه را در گوگل بررسی کنید

اولین قدم برای رفع مشکل ایندکس نشدن سایت، بررسی URL در Google Search Console است. از بخش URL Inspection، آدرس دقیق صفحه را وارد کنید. اگر مشکل مربوط به تعداد زیادی صفحه است، گزارش Page Indexing را نیز بررسی کنید تا مشخص شود کدام دسته از URLها با مشکل مواجه شده‌اند.

در گزارش‌ها ممکن است با وضعیت‌هایی مانند موارد زیر روبه‌رو شوید. هرکدام معنای متفاوتی دارند و باید متناسب با همان وضعیت اقدام کنید.

وضعیت در Search Console	معنی وضعیت	اقدام اولیه
Discovered - currently not indexed	گوگل URL را کشف کرده اما هنوز آن را Crawl نکرده است.	لینک داخلی، Sitemap، وضعیت سرور و تعداد URLهای غیرضروری را بررسی کنید.
Crawled - currently not indexed	گوگل صفحه را Crawl کرده اما فعلاً آن را ایندکس نکرده است.	کیفیت محتوا، تکراری بودن، Canonical و ارزش مستقل صفحه را بررسی کنید.
Excluded by 'noindex'	دستور Noindex مانع ایندکس صفحه شده است.	اگر صفحه باید در گوگل باشد، منبع این دستور را پیدا و اصلاح کنید.
Blocked by robots.txt	قوانین robots.txt مانع Crawl صفحه شده‌اند.	بررسی کنید آیا این محدودیت عمدی است یا اشتباهی ایجاد شده است.
Duplicate	گوگل صفحه را مشابه URL دیگری تشخیص داده است.	Canonical و تفاوت واقعی محتواها را بررسی کنید.
Page with redirect	URL به آدرس دیگری منتقل می‌شود.	درستی مقصد و ضرورت ریدایرکت را بررسی کنید.
Soft 404	صفحه از نظر محتوا شبیه صفحه ناموجود یا بی‌محتواست.	محتوا و کد HTTP را متناسب با وضعیت واقعی صفحه اصلاح کنید.
Server error (5xx)	سرور هنگام درخواست گوگل با خطا مواجه شده است.	هاست، لاگ سرور، افزونه‌ها، CDN و فایروال را بررسی کنید.

ممکن است نام یا دسته‌بندی وضعیت‌ها در رابط Search Console تغییر کند. نکته اصلی، خواندن جزئیات URL و تشخیص تفاوت میان کشف نشدن، Crawl نشدن و ایندکس نشدن است. برای بررسی دقیق‌تر، مستندات رسمی راهنمای رفع مشکلات Crawl در گوگل نیز مفید است.

۱. سایت یا صفحه جدید است

اگر به‌تازگی سایت راه‌اندازی کرده‌اید یا صفحه جدیدی منتشر کرده‌اید، ممکن است گوگل هنوز URL را پیدا نکرده باشد. موتور جست‌وجو باید از وجود صفحه مطلع شود، آن را Crawl کند و سپس درباره ایندکس کردن آن تصمیم بگیرد. این فرایند همیشه فوری نیست.

برای مثال، اگر امروز چندین محصول جدید به فروشگاه اضافه کرده‌اید، نباید انتظار داشته باشید همه آن‌ها همان روز در نتایج گوگل ظاهر شوند. زمان لازم به عواملی مانند قابلیت کشف URL، وضعیت سرور، ساختار سایت و ارزش محتوای صفحات بستگی دارد.

راه‌حل چیست؟

• مطمئن شوید صفحه بدون ورود به حساب کاربری قابل دسترسی است.
• URL را در Sitemap صحیح قرار دهید.
• از صفحات مرتبط به صفحه جدید لینک داخلی ایجاد کنید.
• با ابزار URL Inspection وضعیت کشف و Crawl را بررسی کنید.
• پس از اطمینان از رفع موانع فنی، در صورت نیاز درخواست ایندکس ارسال کنید.

اگر سایت جدید است، ثبت Sitemap می‌تواند به کشف URLها کمک کند؛ اما این کار تضمین نمی‌کند که تمام صفحات ایندکس شوند. همچنین اگر فقط یک صفحه مهم منتشر کرده‌اید، ارسال درخواست ایندکس منطقی است، ولی تکرار مداوم آن باعث ایندکس قطعی نمی‌شود.

۲. تنظیمات وردپرس یا تگ noindex مانع ایندکس شده است

یکی از دلایل رایج ایندکس نشدن سایت وردپرسی، فعال بودن تنظیمی است که از موتورهای جست‌وجو می‌خواهد سایت را ایندکس نکنند. این گزینه ممکن است هنگام طراحی سایت یا استفاده از محیط آزمایشی فعال شده باشد و پس از انتشار نسخه نهایی فراموش شود.

برای بررسی تنظیم عمومی وردپرس، وارد بخش «تنظیمات ← خواندن» شوید و گزینه مربوط به جلوگیری از ایندکس شدن سایت توسط موتورهای جست‌وجو را بررسی کنید. اگر سایت عمومی است و می‌خواهید صفحات آن در گوگل نمایش داده شوند، این گزینه نباید ناخواسته فعال باشد.

در کنار این تنظیم، باید دستور تگ noindex را نیز بررسی کنید. این دستور می‌تواند در کد صفحه، تنظیمات افزونه سئو یا هدر HTTP قرار داشته باشد.

اگر از افزونه‌هایی مانند Rank Math یا Yoast استفاده می‌کنید، صفحه موردنظر را در ویرایشگر باز کنید و تنظیمات Robots Meta را بررسی کنید. همچنین اگر مشکل برای تمام محصولات، نوشته‌ها یا دسته‌های سایت وجود دارد، تنظیمات عمومی همان نوع محتوا را نیز کنترل کنید.

برای مثال، وجود دستور زیر در کد HTML صفحه به موتورهای جست‌وجوی پشتیبانی‌کننده از آن می‌گوید صفحه نباید در نتایج جست‌وجو قرار بگیرد:

<meta name="robots" content="noindex">

چطور مشکل را برطرف کنیم؟

• تنظیم «نمایش به موتورهای جست‌وجو» در وردپرس را بررسی کنید.
• Robots Meta صفحه و تنظیمات عمومی افزونه سئو را بررسی کنید.
• اگر از کد سفارشی یا افزونه دیگری برای مدیریت Robots استفاده می‌کنید، آن را نیز بررسی کنید.
• پس از اصلاح، نسخه زنده صفحه را با URL Inspection آزمایش کنید.

توجه: پیش از حذف Noindex مطمئن شوید صفحه واقعاً باید در گوگل نمایش داده شود. بعضی صفحات مدیریتی، آزمایشی، فیلترهای غیرضروری یا صفحات موقت ممکن است عمداً از ایندکس خارج شده باشند.

۳. فایل robots.txt دسترسی گوگل را مسدود کرده است

فایل robots.txt برای اعلام محدودیت‌های Crawl به خزنده‌ها استفاده می‌شود. اگر در این فایل مسیر صفحه یا بخش مهمی از سایت مسدود شده باشد، Googlebot ممکن است نتواند محتوای آن را دریافت کند.

برای مثال، دستور زیر به خزنده‌ها اعلام می‌کند که نباید هیچ مسیری از سایت را Crawl کنند:

User-agent: *
Disallow: /

این تنظیم ممکن است برای محیط آزمایشی مناسب باشد، اما اگر به اشتباه روی دامنه اصلی قرار گرفته باشد، می‌تواند مانع Crawl شدن گسترده صفحات شود.

نکته مهم این است که robots.txt با noindex یکسان نیست. فایل robots.txt عمدتاً دسترسی خزنده به URL را کنترل می‌کند، درحالی‌که noindex به موتور جست‌وجو می‌گوید صفحه را در نتایج جست‌وجو قرار ندهد. اگر URL با robots.txt مسدود شده باشد، گوگل ممکن است نتواند تگ noindex داخل صفحه را مشاهده کند.

روش بررسی

• فایل robots.txt دامنه اصلی را باز کنید و قوانین آن را بررسی کنید.
• مطمئن شوید مسیر صفحات مهم به‌صورت ناخواسته مسدود نشده است.
• قوانین مربوط به منابع ضروری برای نمایش صفحه را نیز بررسی کنید.
• نتیجه را با URL Inspection و گزارش Page Indexing مقایسه کنید.

هرگز فقط برای رفع ایندکس نشدن، تمام قوانین robots.txt را حذف نکنید. ابتدا مشخص کنید کدام قانون باعث مشکل شده و آیا محدودیت موجود برای بخش دیگری از سایت ضروری است یا خیر.

۴. صفحه از ساختار سایت قابل کشف نیست

وجود URL در سایت به این معنی نیست که گوگل حتماً به‌راحتی آن را پیدا می‌کند. لینک‌های داخلی یکی از مسیرهای مهم کشف صفحات هستند و به موتور جست‌وجو کمک می‌کنند ارتباط میان محتواهای مختلف را درک کند.

فرض کنید مقاله‌ای درباره «روش نگهداری از گل ارکیده» منتشر کرده‌اید، اما هیچ مقاله، دسته‌بندی یا صفحه مرتبطی به آن لینک نمی‌دهد. چنین صفحه‌ای ممکن است در Sitemap وجود داشته باشد، اما جایگاه مشخصی در ساختار داخلی سایت نداشته باشد.

برای حل این مشکل، از صفحات مرتبط به URL موردنظر لینک دهید. همچنین مطمئن شوید لینک‌ها از نوع لینک HTML قابل‌خزش هستند و برای دسترسی به محتوای اصلی، کاربر یا خزنده مجبور نیست فقط روی یک دکمه JavaScript کلیک کند.

در سایت‌های بزرگ، ایجاد تعداد زیادی صفحه بدون معماری مشخص می‌تواند کشف و مدیریت URLها را دشوار کند. بهتر است صفحات مهم در دسته‌بندی‌های مرتبط قرار بگیرند و از محتواهای هم‌موضوع لینک دریافت کنند. برای آشنایی بیشتر، مقاله لینک‌های داخلی را ببینید.

۵. صفحه در Sitemap قرار ندارد یا نقشه سایت اشتباه است

Sitemap به گوگل کمک می‌کند URLهای مهم سایت را کشف کند، به‌خصوص زمانی که سایت جدید است یا صفحات زیادی دارد. بااین‌حال، قرار گرفتن URL در نقشه سایت به معنی ایندکس شدن قطعی آن نیست.

اگر صفحات مهم سایت در Sitemap قرار ندارند، تنظیمات افزونه سئو، نوع محتوای مربوطه و وضعیت انتشار صفحه را بررسی کنید. همچنین نقشه سایت نباید پر از URLهایی باشد که قرار نیست در نتایج جست‌وجو نمایش داده شوند.

بهتر است Sitemap شامل URLهای اصلی و قابل ایندکس باشد. صفحات Noindex، آدرس‌های ریدایرکت‌شده و نسخه‌های تکراری معمولاً نباید به‌عنوان صفحات اصلی در آن معرفی شوند.

چک‌لیست بررسی Sitemap

• نقشه سایت در مرورگر باز می‌شود و خطای دسترسی ندارد.
• URLهای مهم و Canonical سایت در آن وجود دارند.
• آدرس‌های قدیمی، ریدایرکت‌شده یا Noindex به‌صورت غیرضروری در آن قرار نگرفته‌اند.
• نقشه سایت در Google Search Console ثبت شده است.
• پس از تغییرات سایت، محتوای نقشه سایت به‌روز است.

اگر Sitemap ثبت شده اما صفحه همچنان ایندکس نمی‌شود، سراغ دلایل دیگر بروید. ثبت نقشه سایت به‌تنهایی مشکلاتی مانند محتوای تکراری، Canonical اشتباه یا خطای سرور را حل نمی‌کند.

۶. محتوای صفحه تکراری یا بیش از حد مشابه است

گوگل قرار نیست تمام نسخه‌های یک محتوا را به‌صورت صفحات مستقل در نتایج جست‌وجو نمایش دهد. اگر چند URL محتوای یکسان یا بسیار مشابه داشته باشند، ممکن است گوگل یکی از آن‌ها را به‌عنوان نسخه اصلی انتخاب کند و بقیه را ایندکس نکند.

برای مثال، اگر فروشگاهی برای چند محصول مشابه صفحاتی با توضیحات کاملاً یکسان ایجاد کرده باشد و فقط نام محصول در آن‌ها تغییر کند، هر صفحه ممکن است ارزش مستقل کافی نداشته باشد. همین مسئله می‌تواند برای نسخه‌های مختلف URL، صفحات فیلتر یا آرشیوهای کم‌محتوا نیز رخ دهد.

در این وضعیت، ابتدا مشخص کنید آیا هر صفحه واقعاً هدف جست‌وجوی جداگانه‌ای دارد یا خیر. اگر چند صفحه برای یک نیاز یکسان ساخته شده‌اند، ادغام محتوا یا انتخاب نسخه اصلی ممکن است راهکار مناسبی باشد. اگر صفحات باید مستقل باشند، باید تفاوت و فایده مشخصی برای کاربر ارائه کنند.

مهم: صرف کوتاه بودن محتوا به‌تنهایی ثابت نمی‌کند که صفحه ایندکس نخواهد شد. مسئله اصلی این است که آیا صفحه برای کاربر مفید، قابل دسترسی و دارای ارزش مستقل است یا خیر.

۷. تگ Canonical به آدرس اشتباهی اشاره می‌کند

تگ Canonical به گوگل کمک می‌کند نسخه اصلی یک مجموعه URL مشابه را تشخیص دهد. اگر این تگ اشتباه تنظیم شده باشد، ممکن است گوگل صفحه دیگری را به‌عنوان نسخه اصلی انتخاب کند.

برای مثال، اگر صفحه‌ای درباره «تور تابستانی ایتالیا» دارای Canonical به صفحه «تور فرانسه» باشد، گوگل ممکن است URL ایتالیا را نسخه اصلی نداند. این اتفاق می‌تواند به دلیل تنظیم اشتباه افزونه سئو، کد قالب یا باقی ماندن تنظیمات دامنه قدیمی رخ دهد.

در URL Inspection، دو مقدار را با هم مقایسه کنید:

• User-declared canonical: آدرسی که سایت به‌عنوان نسخه اصلی معرفی کرده است.
• Google-selected canonical: آدرسی که گوگل به‌عنوان نسخه اصلی انتخاب کرده است.

اگر این دو آدرس متفاوت هستند، بررسی کنید که آیا محتواها واقعاً مشابه‌اند یا سیگنال‌های فنی سایت با هم تناقض دارند. Canonical، لینک‌های داخلی، ریدایرکت‌ها و Sitemap باید تا حد امکان به یک نسخه اصلی اشاره کنند. بااین‌حال، حتی Canonical صحیح نیز تضمین نمی‌کند که گوگل دقیقاً همان URL را انتخاب کند.

۸. صفحه با خطای سرور یا مشکل دسترسی مواجه است

گاهی صفحه برای شما به‌درستی باز می‌شود، اما Googlebot هنگام درخواست همان URL با خطای سرور یا محدودیت دسترسی مواجه می‌شود. در چنین شرایطی، مشکل لزوماً از محتوا نیست و باید وضعیت هاست، سرور، افزونه‌ها و تنظیمات امنیتی بررسی شود.

خطاهای 5xx مانند خطای 500، خطاهای Timeout، محدودیت‌های Firewall یا مسدود شدن درخواست‌های ربات‌ها می‌توانند مانع دریافت صحیح صفحه شوند. خطای 403 یا 429 نیز ممکن است نشان دهد دسترسی محدود شده یا تعداد درخواست‌ها بیش از حد تشخیص داده شده است.

برای تشخیص، از URL Inspection و گزینه Test Live URL استفاده کنید. اگر مشکل تکرار می‌شود، لاگ‌های سرور، محدودیت‌های CDN، افزونه‌های امنیتی و وضعیت پاسخ HTTP را بررسی کنید. یک خطای موقت با خطاهای مکرر و گسترده یکسان نیست؛ اگر تعداد زیادی از صفحات مهم تحت تأثیر قرار گرفته‌اند، بررسی فنی سایت را در اولویت قرار دهید.

۹. صفحه ریدایرکت شده است

اگر یک URL با کدهایی مانند 301 یا 302 به آدرس دیگری ریدایرکت شده باشد، طبیعی است که معمولاً خود URL مبدأ به‌عنوان صفحه مستقل اصلی در نتایج جست‌وجو نمایش داده نشود.

برای مثال، اگر آدرس قدیمی زیر:

https://example.com/old-product

به آدرس زیر منتقل شده باشد:

https://example.com/new-product

انتظار نداریم هر دو URL به‌عنوان دو صفحه مستقل و اصلی ایندکس شوند. در این حالت باید بررسی کنید که ریدایرکت عمدی و مقصد آن درست است یا به‌صورت ناخواسته ایجاد شده است.

اگر صفحه جدیدی جایگزین صفحه قدیمی شده، ریدایرکت باید به نزدیک‌ترین محتوای مرتبط اشاره کند. ریدایرکت کردن تمام صفحات حذف‌شده به صفحه اصلی، معمولاً جایگزین مناسبی برای مدیریت صحیح URLهای قدیمی نیست. برای آشنایی بیشتر با انواع انتقال آدرس، مقاله ریدایرکت را مطالعه کنید.

۱۰. گوگل صفحه را Soft 404 تشخیص داده است

Soft 404 زمانی رخ می‌دهد که URL از نظر پاسخ HTTP ظاهراً موفق باشد، اما محتوای آن شبیه صفحه ناموجود، خالی یا فاقد محتوای واقعی باشد. در این شرایط ممکن است سرور کد 200 برگرداند، اما گوگل تشخیص دهد که صفحه عملاً چیزی برای ارائه ندارد.

برای مثال، ممکن است محصولی حذف شده باشد اما URL آن همچنان صفحه‌ای خالی با پیام «این محصول موجود نیست» نمایش دهد. اگر محصول دیگر وجود ندارد و جایگزین مناسبی هم ندارد، صفحه باید وضعیت HTTP مناسب مانند 404 یا 410 برگرداند. اگر جایگزین مرتبطی وجود دارد، می‌توان از ریدایرکت به آن استفاده کرد.

اگر صفحه واقعاً وجود دارد و باید ایندکس شود، بررسی کنید محتوای اصلی برای گوگل قابل مشاهده باشد، خطای بارگذاری رخ ندهد و صفحه فقط یک پیام خطا یا محتوای بسیار محدود نشان ندهد. برای بررسی بیشتر می‌توانید مقاله خطای 404 را بخوانید.

۱۱. محتوای صفحه ارزش مستقل کافی ندارد

گاهی هیچ مانع فنی مشخصی وجود ندارد؛ صفحه قابل دسترسی است، Crawl شده و تگ Noindex هم ندارد، اما گوگل آن را ایندکس نمی‌کند. یکی از دلایل احتمالی این وضعیت، محتوای کم‌تمایز، تکراری یا فاقد فایده کافی برای کاربر است.

برای مثال، اگر برای ده‌ها محصول توضیحات یکسانی بنویسید و تنها نام یا یک ویژگی کوچک را تغییر دهید، ایجاد URLهای بیشتر لزوماً باعث ایجاد صفحات ارزشمند بیشتر نمی‌شود. همین موضوع برای مقالاتی که صرفاً با تغییر چند عبارت از یکدیگر جدا شده‌اند نیز صدق می‌کند.

اگر صفحه باید به‌صورت مستقل در گوگل حضور داشته باشد، به این پرسش‌ها پاسخ دهید:

• آیا صفحه نیاز مشخصی از کاربر را برطرف می‌کند؟
• آیا اطلاعات آن با صفحات مشابه سایت تفاوت معناداری دارد؟
• آیا اطلاعات اصلی و پاسخ به پرسش کاربر به‌راحتی قابل دسترسی است؟
• آیا صفحه فقط برای هدف گرفتن یک کلمه کلیدی ساخته شده یا واقعاً فایده‌ای دارد؟
• آیا بهتر است محتوا با صفحه دیگری ادغام شود؟

اگر صفحه ارزش مستقلی دارد، آن را بر اساس نیاز واقعی کاربر کامل‌تر کنید. اگر چند صفحه برای یک هدف یکسان ساخته شده‌اند، ادغام آن‌ها ممکن است تصمیم بهتری باشد. صرف افزایش تعداد کلمات، افزودن تصاویر غیرمرتبط یا تکرار کلیدواژه‌ها تضمین نمی‌کند که صفحه ایندکس شود.

۱۲. گوگل نمی‌تواند محتوای صفحه را به‌درستی رندر کند

در برخی سایت‌ها، محتوای اصلی با JavaScript بارگذاری می‌شود. گوگل می‌تواند JavaScript را پردازش کند، اما اگر اجرای اسکریپت با خطا مواجه شود یا محتوای اصلی فقط پس از تعامل کاربر ظاهر شود، ممکن است صفحه را به شکلی متفاوت از انتظار شما ببیند.

این مشکل ممکن است در صفحات ساخته‌شده با Page Builder، آرشیوهای مبتنی بر AJAX، بارگذاری بی‌نهایت محتوا یا تب‌هایی که اطلاعات را پس از کلیک دریافت می‌کنند دیده شود.

در URL Inspection از قابلیت تست نسخه زنده استفاده کنید و بررسی کنید گوگل چه محتوایی را دریافت می‌کند. اگر متن اصلی، لینک‌های مهم یا منابع ضروری بارگذاری نشده‌اند، باید خطاهای JavaScript، محدودیت منابع یا روش بارگذاری محتوا را بررسی کنید.

تا حد امکان، متن اصلی و لینک‌های مهم صفحه را به شکلی ارائه کنید که بدون نیاز به تعامل کاربر قابل کشف باشند. همچنین اگر صفحه به منابعی مانند CSS یا JavaScript برای نمایش صحیح وابسته است، مطمئن شوید این منابع به‌صورت ناخواسته برای خزنده‌ها مسدود نشده‌اند.

۱۳. پس از تغییر دامنه یا مهاجرت سایت، ایندکس دچار مشکل شده است

تغییر دامنه، انتقال سایت از HTTP به HTTPS، جابه‌جایی از محیط آزمایشی به دامنه اصلی یا تغییر ساختار URL می‌تواند باعث ایندکس نشدن بخشی از صفحات شود. در چنین شرایطی، ممکن است آدرس‌های قدیمی هنوز در لینک‌های داخلی یا Sitemap باقی مانده باشند یا Canonicalها به دامنه قبلی اشاره کنند.

پس از مهاجرت سایت، این موارد را بررسی کنید:

• ریدایرکت URLهای قدیمی به آدرس‌های جدید درست تنظیم شده باشد.
• Canonical صفحات به نسخه اصلی و جدید اشاره کند.
• Sitemap فقط URLهای صحیح و قابل ایندکس را شامل شود.
• لینک‌های داخلی به آدرس‌های قدیمی اشاره نکنند.
• قوانین robots.txt یا Noindex محیط آزمایشی روی دامنه اصلی باقی نمانده باشند.
• نسخه‌های مختلف دامنه و پروتکل، سیگنال‌های متناقض ایجاد نکنند.

پس از مهاجرت، انتظار نداشته باشید تمام URLها بلافاصله در نتایج جدید جایگزین شوند. گوگل باید صفحات جدید را Crawl کند و سیگنال‌های انتقال را پردازش کند. اگر مشکل ایندکس پس از مهاجرت گسترده است، بررسی Redirect، Canonical و Sitemap را در اولویت قرار دهید.

چطور مشکل ایندکس نشدن را در Google Search Console رفع کنیم؟

اکنون که دلایل اصلی را می‌شناسید، می‌توانید با یک مسیر مشخص مشکل را بررسی کنید. این ترتیب کمک می‌کند پیش از تغییرات غیرضروری، موانع اصلی دسترسی و ایندکس را پیدا کنید.

مرحله اول: URL Inspection را اجرا کنید

آدرس دقیق صفحه را در نوار بررسی URL وارد کنید. ابتدا مشخص کنید URL در ایندکس گوگل وجود دارد یا خیر و چه وضعیتی برای آن گزارش شده است. اگر صفحه ایندکس شده اما در جست‌وجو رتبه خوبی ندارد، مسئله احتمالاً به رتبه‌بندی مربوط است، نه ایندکس نشدن.

مرحله دوم: دلیل گزارش‌شده را بررسی کنید

اگر URL ایندکس نشده است، پیام گزارش را بخوانید. برای مثال، Discovered – currently not indexed با Crawled – currently not indexed یکسان نیست. در وضعیت اول باید بیشتر روی کشف URL، لینک داخلی و سلامت سرور تمرکز کنید؛ در وضعیت دوم، کیفیت محتوا، تکراری بودن و Canonical نیز اهمیت زیادی دارند.

مرحله سوم: Test Live URL را اجرا کنید

اگر مشکل را اخیراً برطرف کرده‌اید، از گزینه Test Live URL استفاده کنید تا وضعیت فعلی صفحه را بررسی کنید. این آزمایش به شما کمک می‌کند متوجه شوید آیا گوگل در حال حاضر می‌تواند صفحه را دریافت کند یا هنوز مانعی وجود دارد.

مرحله چهارم: مشکل اصلی را برطرف کنید

بر اساس نتیجه بررسی، تنظیمات Noindex، فایل robots.txt، Canonical، پاسخ HTTP، Sitemap، لینک‌های داخلی یا محتوای صفحه را اصلاح کنید. اگر مشکل مربوط به سرور است، پیش از ارسال درخواست جدید، مطمئن شوید صفحه به‌طور پایدار در دسترس است.

مرحله پنجم: در صورت نیاز درخواست ایندکس ارسال کنید

بعد از رفع مشکل و اطمینان از اینکه صفحه ارزش ایندکس شدن دارد، می‌توانید از گزینه Request Indexing استفاده کنید. درخواست ایندکس فقط به گوگل اطلاع می‌دهد که صفحه دوباره بررسی شود؛ تضمینی برای Crawl یا ورود قطعی صفحه به ایندکس نیست.

اگر تعداد زیادی URL تحت تأثیر قرار گرفته‌اند، بررسی گزارش Page Indexing و Sitemap معمولاً از ارسال درخواست تکی برای تک‌تک صفحات کاربردی‌تر است.

اگر کل سایت ایندکس نمی‌شود چه باید کرد؟

اگر مشکل فقط مربوط به یک صفحه نیست و تعداد زیادی از URLهای مهم سایت ایندکس نشده‌اند، باید وضعیت را در سطح کل سایت بررسی کنید. وارد Page Indexing در Google Search Console شوید و تغییرات تعداد صفحات ایندکس‌شده و ایندکس‌نشده را بررسی کنید.

اگر تعداد صفحات ایندکس‌شده ناگهان کاهش یافته است، تغییرات اخیر را بررسی کنید؛ برای مثال تغییر در robots.txt، فعال شدن Noindex، تغییر قالب یا افزونه سئو، مهاجرت سایت، تغییرات Canonical، خطاهای سرور یا تغییرات گسترده محتوا.

همچنین بررسی کنید آیا صفحات مهم از نظر فنی قابل دسترسی هستند و آیا تعداد زیادی URL کم‌ارزش یا تکراری در سایت تولید شده است. اگر گوگل مجبور باشد میان تعداد زیادی صفحه مشابه، فیلترهای غیرضروری و URLهای تکراری حرکت کند، مدیریت خزش و ایندکس می‌تواند دشوارتر شود.

آیا Request Indexing باعث ایندکس شدن قطعی صفحه می‌شود؟

خیر؛ درخواست ایندکس، تضمین‌کننده ایندکس شدن نیست. این ابزار از گوگل می‌خواهد URL را دوباره بررسی کند، اما تصمیم نهایی به دسترسی صفحه، وضعیت فنی، محتوای آن و سیستم‌های ایندکس گوگل بستگی دارد.

اگر چندین بار برای یک URL درخواست ارسال کرده‌اید و همچنان ایندکس نشده است، بهتر است به‌جای تکرار درخواست، وضعیت صفحه را دوباره بررسی کنید. اگر Noindex، Canonical اشتباه، محتوای تکراری یا خطای سرور همچنان وجود داشته باشد، درخواست جدید مشکل اصلی را حل نمی‌کند.

برای آشنایی با محدودیت‌ها و روش‌های درخواست Crawl مجدد، می‌توانید مستندات رسمی گوگل درباره درخواست Crawl مجدد را مطالعه کنید.

تفاوت ایندکس نشدن و رتبه نگرفتن چیست؟

ایندکس نشدن و رتبه نگرفتن دو مسئله متفاوت هستند و نباید آن‌ها را با یکدیگر اشتباه گرفت.

اگر صفحه ایندکس نشده است، ابتدا باید دسترسی، Crawl، Canonical، تنظیمات Robots و کیفیت محتوا را بررسی کنید. اما اگر صفحه ایندکس شده ولی برای کلمه کلیدی موردنظر رتبه مناسبی ندارد، باید عواملی مانند تطابق محتوا با هدف جست‌وجو، کیفیت پاسخ، رقابت، لینک‌های داخلی و تجربه کاربری را بررسی کنید.

برای مثال، ممکن است مقاله‌ای درباره «روش تهیه قهوه سرد» در گوگل ایندکس شده باشد اما در صفحه اول نتایج نمایش داده نشود. این وضعیت به‌تنهایی نشانه مشکل ایندکس نیست؛ صفحه در ایندکس قرار گرفته و باید دلایل رتبه نگرفتن آن بررسی شود.

چک‌لیست نهایی رفع مشکل ایندکس نشدن سایت

اگر صفحه‌ای در گوگل ایندکس نشده است، موارد زیر را به‌ترتیب بررسی کنید:

• URL دقیق را در Google Search Console و URL Inspection بررسی کنید.
• وضعیت گزارش‌شده در Page Indexing را بخوانید.
• تنظیم جلوگیری از ایندکس در وردپرس را بررسی کنید.
• وجود تگ noindex در صفحه یا هدر HTTP را کنترل کنید.
• قوانین robots.txt را بررسی کنید.
• کد پاسخ HTTP و دسترسی Googlebot را کنترل کنید.
• وجود ریدایرکت ناخواسته را بررسی کنید.
• Canonical اعلام‌شده و Canonical انتخاب‌شده توسط گوگل را مقایسه کنید.
• مطمئن شوید URLهای مهم در Sitemap صحیح قرار دارند.
• از صفحات مرتبط به صفحه موردنظر لینک داخلی ایجاد کنید.
• محتوای تکراری، کم‌تمایز یا فاقد ارزش مستقل را شناسایی کنید.
• اگر صفحه به JavaScript وابسته است، رندر شدن محتوای اصلی را بررسی کنید.
• اگر مشکل گسترده است، تغییرات اخیر سرور، قالب، افزونه‌ها و دامنه را بررسی کنید.
• پس از اصلاح، Test Live URL را اجرا کنید.
• در صورت مناسب بودن شرایط، درخواست ایندکس ارسال کنید.

پرسش‌های متداول درباره ایندکس نشدن سایت

چرا سایت من در گوگل ایندکس نمی‌شود، با اینکه Sitemap ثبت شده است؟

Sitemap فقط به گوگل کمک می‌کند URLها را کشف کند و تضمینی برای ایندکس شدن آن‌ها نیست. اگر صفحه Noindex باشد، Canonical اشتباه داشته باشد، محتوای تکراری ارائه کند یا Googlebot نتواند آن را دریافت کند، ثبت Sitemap به‌تنهایی مشکل را حل نمی‌کند.

ایندکس نشدن سایت تازه چقدر طبیعی است؟

برای سایت‌ها و صفحات تازه، تأخیر در کشف، Crawl و ایندکس طبیعی است و زمان مشخصی برای همه URLها وجود ندارد. اگر صفحات مهم پس از مدتی همچنان ایندکس نشده‌اند، وضعیت دسترسی، Sitemap، لینک‌های داخلی و محتوای آن‌ها را بررسی کنید.

Crawled – currently not indexed یعنی سایت جریمه شده است؟

خیر. این وضعیت به‌خودی‌خود به معنی جریمه نیست؛ یعنی گوگل صفحه را Crawl کرده اما فعلاً آن را وارد ایندکس نکرده است. محتوای تکراری، ارزش مستقل صفحه، Canonical و ارتباط آن با سایر صفحات را بررسی کنید.

تفاوت Discovered – currently not indexed با Crawled – currently not indexed چیست؟

در وضعیت Discovered، گوگل از وجود URL مطلع شده اما هنوز آن را Crawl نکرده است. در وضعیت Crawled، صفحه دریافت شده اما فعلاً ایندکس نشده است. بنابراین، مسیر عیب‌یابی این دو وضعیت متفاوت است و باید مطابق گزارش Search Console اقدام کنید.

آیا robots.txt و noindex یک کار انجام می‌دهند؟

خیر. robots.txt دسترسی خزنده به مسیرها را مدیریت می‌کند، اما noindex برای جلوگیری از قرار گرفتن صفحه در نتایج جست‌وجو استفاده می‌شود. برای اینکه گوگل بتواند دستور noindex را بخواند، باید امکان Crawl صفحه را داشته باشد.

بعد از رفع مشکل noindex، صفحه چه زمانی ایندکس می‌شود؟

زمان مشخصی وجود ندارد. پس از حذف Noindex، گوگل باید صفحه را دوباره Crawl و پردازش کند. می‌توانید پس از بررسی نسخه زنده، درخواست ایندکس ارسال کنید؛ اما این درخواست زمان یا نتیجه قطعی را تضمین نمی‌کند.

آیا همه صفحات سایت باید در گوگل ایندکس شوند؟

خیر. برخی صفحات مانند نسخه‌های تکراری، صفحات موقت، URLهای فیلتر غیرضروری یا صفحاتی که عمداً Noindex شده‌اند، لزوماً نباید ایندکس شوند. تمرکز باید بر ایندکس شدن صفحات اصلی، مفید و ارزشمند سایت باشد.

جمع‌بندی: علت ایندکس نشدن را پیدا کنید، نه اینکه فقط درخواست ایندکس بفرستید

اگر می‌پرسید چرا گوگل سایت شما را ایندکس نمی‌کند، اولین اقدام نباید کلیک مکرر روی Request Indexing باشد. ابتدا باید مشخص کنید گوگل URL را پیدا کرده، آن را Crawl کرده یا به دلیل دیگری از ایندکس کردن آن صرف‌نظر کرده است.

ممکن است صفحه جدید باشد، تگ Noindex داشته باشد، توسط robots.txt مسدود شده باشد، Canonical اشتباه داشته باشد، به URL دیگری ریدایرکت شود، با خطای سرور مواجه باشد یا محتوای آن ارزش مستقل کافی نداشته باشد. هرکدام از این وضعیت‌ها راه‌حل متفاوتی دارد.

بهترین نقطه شروع، Google Search Console و ابزارهای URL Inspection و Page Indexing هستند. با بررسی وضعیت واقعی URL می‌توانید علت را دقیق‌تر تشخیص دهید و به‌جای تغییرات تصادفی، مشکل اصلی را برطرف کنید.

در نهایت، هدف سئو ایندکس کردن تمام URLهای سایت نیست؛ هدف این است که صفحات مهم و ارزشمند، قابل کشف، قابل Crawl و واجد شرایط ایندکس باشند. اگر تعداد زیادی از صفحات مهم سایت شما ایندکس نمی‌شوند یا مشکل پس از تغییرات فنی ایجاد شده است، بررسی تخصصی ساختار سایت می‌تواند از اتلاف زمان و افت احتمالی ورودی ارگانیک جلوگیری کند.

اگر سایت شما مشکل ایندکس دارد، می‌توانید با کارشناسان پرشیا وب از طریق بخش پشتیبانی سایت فروشگاهی و شخصی در تماس باشید تا وضعیت فنی سایت بررسی و مسیر مناسب برای رفع مشکل مشخص شود.