چرا سایت من توسط گوگل ایندکس نمی شود؟

ایندکس سایت با ربات گوگل
در این مقاله بخوانید

می توان گفت هر وب سایتی به گوگل وابسته است چرا که صفحه های این سایت ها به وسیله گوگل ایندکس می شوند و این امکان را برای مردم فراهم می کند که پس از جستجو به صفحه های مورد نظر برسند. با این حال همیشه سایت ها یا صفحه هایی از آن ها وجود دارد که هرگز به وسیله گوگل ایندکس سایت نشده و یا مدت زمان بسیار زیادی به طول می انجامد تا سایت را ایندکس کند.

برای افرادی که یک وب سایت بزرگ راه اندازی نموده حتما پیش آمده که همه صفحه ها ایندکس نمی شوند و باید هفته ها و یا ماه ها در انتظار باشند تا صفحه ها به وسیله گوگل تشخیص داده شوند. این اتفاق می تواند دلایل مختلف و متفاوتی داشته باشد که به عنوان مثال کیفیت محتوا و لینک ها دو دلیل آن هستند. در برخی موارد این دلایل کاملا فتی و بسیار پیچیده است و سایت هایی که به فناوری های قدیمی تر متکی هستند، بیشتر از این مشکل رنج می برند.

بسیاری از سئوکاران باور دارند مشکلات فنی است که گوگل را از تشخیص محتوا باز می دارد، اما این تئوری تنها در صورتی درست خواهد بود که سئوکار درباره این که می خواهد کدام صفحه ها ایندکس شوند، سیگنال های فنی ثابتی ارسال نکند و یا بودجه خزش کافی وجود نداشته باشد. در این شرایط کیفیت محتوا اهمیت بسیار زیادی دارد تا سئو سایت به شرایط بهینه خود برسد.

ایندکس سایت توسط ربات گوگل
اهمیت ایندکس سایت به وسیله ربات های گوگل

دلایلی که گوگل صفحه های سایت را ایندکس نمی کند

براساس تحقیقاتی که بر روی محبوبت ترین سایت های فروشگاهی در ایالات متحده انجام شده است، به طور میانگین 15 درصد از صفحه ها به وسیله گوگل قابل تشخیص نیستند. اما دلایل رایجی که گوگل تصمیم می گردد صفحه ای که از لحاظ تکنیکی باید ایندکس شود، ایندکس نکند، چیست؟

سرچ کنسول گوگل برای صفحه های ایندکس نشده گزارش هایی ارائه می دهد، مانند “Craweled – currently not indexed” و یا “Discovered – currently not indexed” که هر دو نشان می دهند خزش انجام شده ولی چیزی یافت نشده است. اگر چه چنین عبارت هایی اطلاعاتی روشن و دقیق برای حل مشکل ارائه نمی دهند اما می تواند یک شروع خوب برای رفع مشکلات سایت باشد.

مشکلات ایندکس سایت

یکی از مهم ترین گام ها برای شروع آنالیز سایت بررسی سرچ کنسول است که تعداد صفحه های ایندکس نشده را ارائه می دهد. بیشترین مشکلات ایندکسی که توسط سرچ کنسول عبارت اند از:

افزایش کیفیت سایت برای خزش ربات های ایندکس گوگل
برای یافتن مشکل ایندکس به وسیله گوگل باید سایت با ابزارهای حرفه ای آنالیز شود

“Crawled – currently not indexed”

این گزارش بیان می کند که گوگل از یک صفحه بازدید کرده ولی آن را ایندکس نکرده است. به طور معمول این مشکل به کیفیت محتوا باز می گردد. با توجه به رونق تجارت الکترونیکی که در حال حاضر در سراسر دنیا وجود دارد، می توان انتظار داشت که گوگل انتخاب ها را براساس کیفیت انجام می دهد. بنابراین اگر سئوکاران با این گزارش در کنسول گوگل رو به رو شوند، باید نسبت به محتوای منحصر به فرد و ارزشمند صفحه اطمینان یابند:

  • از عناوین منحصر به فرد و توضیحات مناسب در همه صفحه ها استفاده شود.
  • از کپی کردن محتوای از منابع خارجی جلوگیری شود.
  • از تگ کنونیکال برای محتواهای تکراری استفاده شود.
  • با استفاده از ربات ها و ترفندهای مخصوص به گوگل اجازه ایندکس صفحه های بی کیفیت داده نشود.

Discovered – currently not indexed

ارائه چنین گزارشی از سوی سرچ کنسول در برگیرنده مشکلات خزیدن، کیفیت نامطلوب محتوا و … می باشد که یک مشکل بزرگ و اساسی به ویژه برای فروشگاه های اینترنتی، به شمار می آید. برای فروشگاه های اینترنتی پیغام هایی به شرح زیر ظاهر می شود:

  • بودجه خزش

مشکل بودجه خزش می تواند به این معنا باشد که تعداد بسیار زیادی URL وجود دارد که در صف انتظار ایندکس هستند و ممکن است در آینده ایندکس شوند.

  • کیفیت

این امکان وجود دارد که گوگل فکر کند برخی از صفحات موجود بر روی دامنه ارزش خزیدن ندارند و از آن ها بازدید نکند.

ایندکس سایت برای بهینه سازی سئو
کیفیت محتوای سایت و اجرای سئوی تکنیکال بر روی آن بسیار مهم و تاثیر گذار است
راه حل

برای مقابله با این مشکلات راهکارهایی وجود دارد:

  1. سئوکاران بررسی کنند که الگوی خاصی برای صفحه های ایندکس نشده وجود دارد یا خیر. شاید مشکل به یک دسته بندی خاص از محصولات مرتبط باشد و یا صف عظیمی از URL برای ایندکس سایت وجود دارد.
  2. بهینه سازی بودجه خزش : صفحه های بی کیفیتی که گوگل از مدت ها قبل ایندکس کرده بهینه سازی شوند و معمولا شامل صفحات دسته بندی فیلتر شده و یا صفحات جستجوی داخلی هستند.
  3. محتوای تکراری (Duplicate Content)

محتوای تکراری یکی دیگر از مشکلاتی است که سایت های مختلف با آن رو به رو می شوند:

  1. تنوع زبان : اگر یک سایت به صورت چند زبانه طراحی شده باشد یعنی از یک صفحه چند صفحه وجود دارد که زبان های مختلفی را هدف قرار داده، این امکان وجود دارد که برخی از این صفحه ها ایندکس نشوند.
  2. محتوای تکراری که به وسیله رقبا استفاده می شود. این اتفاق برای فروشگاه های اینترنتی بسیار رایج است چرا که برای توضیح محصولات ارائه شده از توضیحات کارخانه سازنده استفاده می شود و در نتیجه به طور خود به خودی محتوای تکراری به وجود می آید.

برای جلوگیری از بروز مشکل محتوای تکراری استفاده از تگ کنونیکال، ریدایرکت های 301 و یا تولید محتوای منحصر به فرد، به ارزش صفحه های سایت می افزاید.

بودجه خزش برای ایندکس سایت
برای بهبود سئو و افزایش خزش ربات های گوگل در سایت نباید از آنالیز سایت و رفع مشکلات آن غافل شد

راهکارهایی برای افزایش نرخ ایندکس سایت

هر وب سایت دارای ویژگی های مخصوص به خود می باشد و ایندکس نشدن هر یک دلایل خاصی می تواند داشته باشد. برخی از بهترین راهکارهایی که به ایندکس شدن سایت به وسیله گوگل کمک می کند، عبارت اند از

جلوگیری از ایجاد سیگنال های 404

سئوکاران باید از نبود صفحاتی در سایت اطمینان یابند که وضعیت 404 ندارند که اغلب شامل آدرس های “یافت نشد” و یا “در دسترس نیست” خواهد شد. در صورت مشاهنده لینک های 404 باید نسبت به اصلاح و یا حذف آن ها اقدام نمود.

استفاده از لینک سازی داخلی

لینک سازی داخلی یکی از سیگنال های کلیدی برای گوگل است که نشان می دهد این صفحه شایسته ایندکس شدن می باشد. سئوکاران باید توجه داشته باشند که در ساختار سایت هیچ صفحه ای بدون لینک سازی داخلی یا به اصطلاح  Orphan باقی نماند و تمامی صفحات در نقشه سایت قرار گیرند. پس از لینک سازی داخلی استفاده از تبلیغات آنلاین نیز می تواند اثربخشی بالایی داشته باشد.

پیاده سازی استراتژی های خزش

به این معنا که اگر در سایت صفحه های بی ارزش وجود دارد، به گوگل اجازه خزش داده نشود و هنگامی که صفحه ها تکمیل و بهینه سازی گردند، آن گاه می توان به ربات های گوگل اجازه خزش در سایت داد.

حذف محتوای بی کیفیت و تکراری

برای هر سایتی این امکان وجود دارد که صفحه های بی ارزش داشته باشند. سئوکاران باید اطمینان حاصل کنند که این صفحه ها به سایت مپ راه پیدا نمی کنند. برای این صفحه ها باید از تگ های مخصوص ایندکس نشدن استفاده نمود. اگر به گوگل اجازه دهیم که زمان زیادی را در بدترین قسمت های سایت صرف کند، کیفیت کلی دامنه را نادیده می گیرد.

نظر دهید

نشانی ایمیل شما منتشر نخواهد شد.