روی خط خبر

موضوع: تکنولوژی و فناوری اطلاعات منبع: پونه مدیا
امتیاز: 5 5

مطلب با عنوان آموزش کار با Crawl Errors در وبمستر از وب سایت پونه مدیا poonehmedia با درج لینک اصلی خبر نمایش داده شده است.

آموزش کار با Crawl Errors در وبمستر

همان طور که می دانید یکی از مهم ترین و تاثیر گذار ترین موتور های جستجو، موتور جستجوی گوگل می باشد. از این رو برای بهینه سازی سئوی وب سایت ها بیش از همه بر روی گوگل تمرکز و سرمایه گذاری می شود. تقریباً دغدغه اصلی هر متخصص سئو این است که وب سایت، رتبه قابل قبولی در لیست نتایج جستجوی گوگل به دست بیاورد.گوگل بسیاری از استراتژی ها و الگوریتم هایی را که برای رتبه بندی وب سایت ها استفاده می کند، به صورت رسمی اعلام کرده تا بدین شکل برای مدیران وب سایت ها مشخص شود که چه فاکتور هایی بر گوگل در اولویت قرار دارد. غیر از این، گوگل یک ابزار کار آمد هم دارد که استفاده از آن برای همگان آزاد است. نام این ابزار گوگل وبسمتر تولز می باشد البته در سال ۲۰۱۵ این نام به کنسول جستجوی گوگل (Google Search Console) تغییر پیدا کرد. با استفاده از این ابزار می توانید بررسی کنید و متوجه شوید که وب سایت شما از نظر گوگل، چه مشکلاتی دارد. با بررسی و رفع این مشکلات می توانید رتبه سایت را در نتایج جستجوی گوگل، بالاتر ببرید.یکی از عنوان هایی که در گوگل وبمستر وجود دارد مربوط به خطا هایی است که Crawlerهای گوگل، در رابطه با صفحات وب سایت شما، با آن مواجه شده اند. نام این قسمت Crawl Errors است. در این مطلب می خواهیم تمام خطا های مربوط به Crawl Errors را بررسی کنیم و ببینیم اگر این خطاها برای وب سایت شما پیش آمد، چگونه باید آن ها را رفع کنید.رفع خطا های Crawl Errorsابتدا لازم است که وارد صفحه اصلی گوگل وبمستر بشوید و به قسمت crawl و سپس Crawl Errors بروید. مانند تصویر زیر خواهید دید که خطا های مربوط به وب سایت شما در دو بخش نشان داده شده اند: خطا های سایت (Site Errors) و خطا های آدرس (URL Errors).خطا های سایت (Site Errors) در Google Webmaster Toolsدر قسمت خطا های سایت یا Site Errors می توانید خطا های مربوط به سایت را در طول ۳ ماه گذشته ببینید و بررسی کنید. اگر سایت شما جدید و تازه راه اندازی شده است ممکن است خطا های زیادی در این قسمت ببینید که تا حدی طبیعی می باشد. بهر حال هر چه سریع تر باید خطا هایی که در این قسمت وجود دارند را رفع کنید تا سایت عمل کرد طبیعی و مثبتی داشته باشد. توصیه ما به شما این است که به عنوان مدیر وب سایت، به صورت مستمر این قسمت را چک کرده و ایراد ها را رفع نمایید. هر چند اگر هم این کار را انجام ندهید گوگل به شما پیام ها و در ادامه هشدار هایی خواهد داد.اگر خطا ها را رفع کنید یا اصلاً هیچ خطایی در وب سایت شما وجود نداشته باشد تیک های سبز را مانند تصویر، در گوگل وبمستر مشاهده خواهید کرد که نشانه این است که وب سایت هیچ مشکلی ندارد و درست عمل می کند. خب، در تصویر دیدید که زیر عنوان Site Errors سه قسمت وجود دارد: DNS، Server connectiviy، Robots.txt fetch.حال می خواهیم به همین ترتیب، خطا هایی که ممکن است در هر کدام از این بخش ها بوجود بیاید را بررسی کنیم و راه حل رفع این خطا ها را هم بررسی کنیم:DNS Errorsاین قسمت مربوط به تنظیمات سرور سایت شما است. چنانچه وب سایت خود را تازه راه اندازی کرده باشید به دلیل تغییر DNS در این قسمت خطا هایی را مشاهده خواهید کرد که بعد از مدتی به صورت خودکار رفع خواهند شد. ولی اگر وب سایت را مدت هاست ایجاد کرده اید باید خطا های این بخش را جدی بگیرید زیرا همان طور که گفتیم وجود خطا در بخش DNS نشان می دهد که ضعف یا خطایی در تنظیمات سرور شما وجود دارد. ممکن است ضعف در تنظیمات سرور باعث شود که ترافیک سایت شما پایین بیاید و دسته ای از کاربران نتوانند وارد سایت شوند برای همین است که باید این موضوع را جدی بگیرید.برای اینکه اهمیت این قسمت را بهتر متوجه شده باشید تعریفی خلاصه از DNS خواهیم داشت. هر وب سایت دارای یک IP منحصر به فرد است ولی از آنجاییکه به خاطر سپردن آی پی ها مشکل می باشد، با استفاده از نام دامنه ها این مشکل رفع می شود. پس به این ترتیب هر وب سایت دارای یک IP و یک نام دامنه متناظر می باشد که با وارد کردن هر کدام از آن ها در نوار آدرس می توانید به آن وب سایت دسترسی پیدا کنید. تبدیل کردن نام دامنه به IP متناظر یا بالعکس وظیفه سیستم DNS یا Domain Name System است. حال تمام اطلاعات مربوط به IP و نام دامنه در DNS Server ها ذخیره شده است. پس لازم و ضروری است که تنظیمات مربوط به این قسمت برای وب سایت شما به دقت انجام شده باشد.چرا DNS Error رخ می دهد و چگونه باید آن را رفع کرد؟وقتی که وب سایت شما قادر نباشد با سرور های DNS ارتباط برقرار کند، خطا هایی در این بخش مشاهده خواهید کرد. دو دلیل می تواند باعث عدم ارتباط وب سایت شما با سرور DNS شود: اول اینکه گوگل نتواند به سایت شما متصل شود و DNS Server پاسخگو نیست و دوم اینکه گوگل نتواند به سایت شما متصل شود زیرا وب سایت شما به DNS Server متصل نمی شود.حالا برای رفع خطای DNS باید مراحل زیر را انجام دهید:۱. وارد گوگل وبمستر تولز شوید و از منوی Crawl گزینه fetch as google را انتخاب کنید. سپس در کادر جستجو، مسیر صفحه مورد نظر خود را وارد کنید و دکمه fetch and render را کلیک کنید. چند لحظه صبر کنید تا گوگل نتیجه بررسی را نمایش بدهد. اگر خطایی در صفحه مورد نظر وجود داشته باشد یک تیک قرمز در مقابل صفحه نشان داده خواهد شد.۲. تنظیمات سرور وب سایت خود را چک کنید اگر مشکلی در آن نمی بینید با شرکتی که هاست را از آن خریده اید تماس بگیرید و مشکل را بر طرف کنید.Server Errorsاگر Crawler ها نتوانند با سرور های وب سایت شما ارتباط بر قرار کنند، در این قسمت خطا هایی را مشاهده خواهید کرد. توجه داشته باشید که اگر Crawler ها با وب سایت شما ارتباط برقرار نکنند، صفحات سایت شما هیچ وقت ایندکس نخواهد شد. پس باید در اسرع وقت این مشکل را برطرف کنید.چرا Server Error رخ می دهد و چگونه باید آن را رفع کرد؟برای اینکه گوگل بتواند سایت شما را ایندکس کند یا اصلاً بتواند آن را Crawl کند، Crawlerها باید تمام صفحات آن را بررسی کرده و ذخیره کنند حالا اگر در ابتدا یا اواسط کار Crawl ارتباط سرور وب سایت شما با Crawlerها قطع شود، Crawler ها در این قسمت گزارشی مبنی بر خطای سرور ارسال می کنند. دلایل مختلفی می تواند باعث قطع شدن ارتباط سرور و ربات های گوگل باشد:- Timeout: وقفه ای در اتصال بین سرور سایت شما و ربات های گوگل بوجود آمده و به درخواست گوگل پاسخی داده نشده است.- Truncated headers: گوگل می تواند با سرور سایت شما ارتباط برقرار کند اما این ارتباط قبل از ارسال کد های headers متوقف می شود.- Connection reset: سرور سایت شما با موفقیت درخواست ربات های گوگل را پردازش می کند. اما هیچ صفحه و لینکی را باز نمی کند زیرا ارتباط با سرور reset یا دوباره راه اندازی شده است.- Truncated response: ارتباط با سرور سایت شما قبل از اینکه ربات های گوگل بتوانند اطلاعات را به صورت کامل دریافت کنند، متوقف شده است.- Connection refused: ربات های گوگل نمی توانند به سرور سایت شما دسترسی پیدا کنند یا متصل شوند زیرا هاست شما ممکن است Googlebot را بلاک کرده باشد و یا مشکلی با تنظیمات Firewall داشته باشد.- Connect failed: ربات های گوگل قادر به ارتباط با سرور سایت شما نمی باشند چون اتصال غیر قابل دسترسی است.- Connect timeout: ربات های گوگل نمی توانند با سرور سایت شما ارتباط برقرار کنند.- No response: ربات های گوگل می توانند به سرور سایت شما متصل شوند ولی قبل از ارسال کد های هدر.برای رفع این خطا، مانند رفع خطای DNS بایستی به صفحه اصلی گوگل وبمستر تولز بروید و به منوی Crawl رفته و گزینه fetch as google را کلیک کنید. حالا در کادر جستجو، آدرس صفحه مد نظر را وارد کنید و گزینه fetch and render را بزنید. اگر در این قسمت، تیک های قرمز را مشاهده کردید، باید چند مورد را چک کرده و اگر مشکلی وجود دارد بر طرف کنید:- باید هاست خود را چک کنید و همچنین پهنای باند را بررسی نمایید که به اتمام نرسیده باشد.- باید کد و تنظیمات وب سایت را بررسی کنید که به صورت عمدی یا غیر عمدی صفحات را بر روی ربات های گوگل نبسته باشید.- هر تغییری در رابطه با ایندکس کردن صفحه ها انجام داده اید آن را به حالت قبل باز گردانید.- اگر این مشکلات را بر طرف کردید و خطا همچنان پا برجا بود با شرکتی که هاست را از آن خریده اید تماس بگیرید و مشکل را برطرف کنید.Robots Failure Errorsیک فایل به نام robots.txt در میان دایرکتوری ها و فایل های مربوط به وب سایت شما وجود دارد که در آن اطلاعاتی درباره چگونگی Crawl کردن و ایندکس کردن صفحات وب سایت شما وجود دارد. گوگل وجود این فایل را ضروری می داند یعنی باید حتماً این فایل وجود داشته باشد حتی اگر داخل آن اطلاعاتی درج نکنید. اگر Crawler ها به فایل robots.txt مراجعه کنند ولی در بازیابی آن دچار مشکل شوند، در قسمت Robots Failure خطایی را گزارش خواهند کرد.چگونه باید Robots Failure Errors را رفع کرد؟- ابتدا مطمئن شوید که فایل robots.txt در میان فایل ها و دایرکتوری های وب سایت شما وجود داشته باشد. همچنین این فایل باید به درستی پیکربندی شده باشد.- باید تنظیمات سرور و هاست را بررسی کنید تا مطمئن شوید که گوگل قادر است به فایل robots.txt دسترسی پیدا کند.- علاوه بر این می توانید برای اطمینان از عمل کرد صحیح از ابزار robots.txt Tester که در کنسول جستجوی گوگلوجود دارد، استفاده کنید. برای این کار از صفحه گوگل وبمستر وارد منوی crawl شوید و بروی گزینه robots.txt Tester کلیک کنید. اگر در این بخش مشکلی وجود داشته باشد، می توانید مشاهده کنید.خطا های آدرس (URL Errors) در Google Webmaster Toolsخطا های مربوط به URL می تواند مربوط به صفحات داخلی سایت باشد، یعنی تنها تعدادی از صفحات سایت شما برای ربات های گوگل قابل ایندکس گذازی نباشند. این اتفاقات معمولاً وقتی بیشتر رخ می دهند که به تازگی آدرس وب سایت خود را تغییر داده باشید. همچنین ممکن است خطا هایی که در این قسمت مشاهده می کنید، رفع شده باشند. اگر بعد از بررسی گوگل وبمستر دیدید که خطاهای URL زیاد شده اند، حتماً باید این ایراد ها را برطرف کنید اگر احساس می کنید دلیل خطا ها مربوط به تغییرات نام آدرس سایت می باشد، می توانید آن ها را نادیده بگیرید ولی اگر بعد از مدتی این خطا ها پاک نشوند، گوگل به شما پیام هایی می دهد و از شما می خواهد که آن ها را رفع کنید. در صورتی که خطا ها رفع نشده باشند باید آن ها را بر اساس مواردی که نام می بریم بررسی کنید و مشکل را رفع نمایید.Error 404اگر لینکی که به صفحه ای از وب سایت شما وجود دارد، شکسته باشد ربات های جستجو، نمی توانند صفحه مورد نظر را پیدا کرده و به کاربر نشان بدهند. دلیل این خطا می تواند این باشد که صفحه ای را حذف کرده یا آدرس آن را تغییر داده باشید. چرا 404 Error رخ می دهد و چگونه باید آن را رفع کرد؟همان طور که گفتیم این خطا زمانی پیش می آید که ارجاعی به صفحه ای از وب سایت وجود داشته باشد و آن صفحه پیدا نشود. ممکن است این لینک شکسته به دلیل حذف صفحه یا تغییر آدرس آن باشد، همچنین ممکن است که لینکی ناشناخته به صورت غیر عمدی در برخی از کد های جاوا اسکریپت یا فایل فلش، توسط ربات های جستجو بدست آمده باشد.به هر حال بایستی این خطا ها را به روش هایی که در ادامه نام می بریم، رفع کنید:- باید صفحه مد نظر، به حالت پابلیک، منتشر شده باشد.- حتماً بررسی کنید که آدرس سایت تغییر نکرده باشد، همچنین باید توجه کنید که آیا آدرس سایت http است یا https آیا www دارد یا خیر.- سایت مپ را همیشه بروز کنید و مطمئن شویدکه صفحه هایی که حذف شده اند به درستی ریدایرکت شده باشند.- اگر نمی خواهید ریدایرکت انجام دهید می توانید صفحه را احیا کنید و دقیقاً در همان آدرس قرار دهید.اگر خطا هایی که نمایش داده می شوند مربوط به گذشته است، گوگل، بعد از مدتی صفحاتی را که یافت نمی شوند، از لیست حذف می کند، اما اگر می خواهید این خطا ها نمایش داده نشوند. می توانید به شکل زیر عمل کنید:- ابتدا وارد گوگل وبمستر تولز شوید و از منوی Crawl Errors گزینه URL Errors را کلیک کرده و به تب Not Found بروید.- آدرس صفحه مورد نظر را وارد کرده و سپس در پنجره ای که نمایش داده می شود گزینه Linked Form را کلیک کنید.- حالا باید تمام لینک هایی که به این صفحه داده شده است از وب سایت خود و دیگر وب سایت ها پاک کنید.Soft 404 Errorگفتیم که بنا بر دلایلی ممکن است یک صفحه وجود نداشته ولی لینک هایی به آن ارجاع داده شود که در این صورت خطای ۴۰۴ رخ می دهد. حال اگر صفحه ای که قرار است نمایش داده شود دارای محتوای کمی باشد یا سرور به اشتباه صفحه دیگری را نمایش دهد، در این صورت موتور های جستجویی مانند گوگل به آن برچسب خطای ۴۰۴ را می زنند.چگونه Soft 404 Error باید رفع کرد؟- اگر دو یا چند صفحه مشابه دارید بهتر است که صفحه قدیمی را به صفحه جدید هدایت کنید.- اگر صفحه یا صفحاتی را حذف کرده اید حتماً باید تنظیمات آن ها را تغییر داده و پیغام Not Found مناسب برای آن ها قرار دهید.- حتماً توجه کنید که هر صفحه ای که در وب سایت ایجاد کرده اید دارای محتوای مناسب و کافی باشد.Access denied Errorهمان طور که می دانید وظیفه Crawlerها این است که از مسیر های مختلف وارد صفحات مختلف وب سایت شده و آن ها را Crawl کنند. حال اگر به صفحه ای برخورد کنند که به آن دسترسی نداشته باشند، خطای Access denied رخ می دهد. معمولاً این عدم دسترسی برای صفحاتی است که قرار است اطلاعات کاربران در آن وارد شود، برای مثال، صفحات لاگین که مربوط به حریم خصوصی اعضای وب سایت می باشد.چگونه Access denied باید رفع کرد؟- ممکن است در فایل robots.txt دسترسی ربات های جستجو را برای برخی از صفحات وب سایت، به درستی محدود نکرده باشید. در این فایل تنظیمات لازم برای عدم دسترسی ربات ها به صفحات لاگین را انجام دهید.- با استفاده از ابزار fetch as google بررسی کنید که ربات های جستجو به چه شکلی صفحات وب سایت شما را Crawl می کنند.- با استفاده از ابزار Screaming frog تمام درخواست هایی که به وب سایت شما می شوند بررسی کنید و ایراد ها و خطا ها را رفع کنید.Not Followed Errorخطای Not followed به این دلیل بوجود می آید که ربات های گوگل نمی توانند بعضی از URLهای شما را دنبال کنند. معمولاً این خطا ها به دو دلیل به وجود می آیند:- کد های جاوا اسکریپت یا فایل های فلشبعضی از کد های جاوا اسکریپت و فلش می توانند عملیاتCrawlerهای گوگل را در وب سایت شما، با مشکلاتی مواجه کنند. با استفاده Fetch as Google در گوگل وبمستر یا یک مرورگر متنی مانند lynx وب سایت خود را برای یافتن این کد های جاوا اسکریپت یا فایل های فلش بررسی کنید. با حذف کردن یا تصحیح این کد ها و فایل های فلش می توانید خطای Not followed را نیز برطرف کنید.- ریدایرکت ها یا هدایت کردن صفحات۱. صفحات وب سایت را با یک روش کارآمد دوباره هدایت یا ریدایرکت کنید.۲. از لینک های دقیق و مطلق استفاده کنید. یعنی هر صفحه ای که ایجاد می کنید و می خواهید به آن لینک بدهید آدرس آن را به صورت نسبی وارد نکنید.۳. ریدایرکت هایی که انجام می دهید نباید به صفحات نامعتبر هدایت شوند.۴.بعد از آنکه ریدایرکت های لازم را انجام دادید، لازم نیست که لینک صفحات ریدایرکت شده را در سایت مپ قرار بدهید.Faulty redirect Errorوب سایت هایی وجود دارند که برای کاربران سیستم های کامپیوتر( لپتاپ و PC ) و موبایل از URLهای متفاوتی استفاده می کنند. یعنی یک نسخه از وب سایت برای کامپیوترها نمایش داده می شود و یک نسخه برای گوشی های موبایل. حال اگر جای این درخواست ها بر عکس شود، یعنی روی یک کامپویتر به جای صفحه اصلی وب سایت، نسخه ای از وب سایت مربوط به موبایل نمایش داده شود، خطای faulty redirect پیش می آید.اگر این اتفاق برای سایت شما افتاده باشد، می توانید آن را در وبمستر تولز در قسمت Crawl و سپس در قسمت Smart phones مشاهده کنید.برای رفع این ایراد می توانید تمام URLهای مربوط به هر دو نسخه وب سیات را بررسی کنید که به درستی ارجاع داده شده باشند. ولی بهترین کار این است که به جای دو نسخه، وب سایت شما تنها دارای یک نسخه ریسپانسیو باشد تا این مشکلات بوجود نیایند.URLS blocked for smartphones Errorاین خطاوقتی پیش می آید کهURL یک یا چند صفحه از وب سایت شما در گوشی های همراه برای ربات های جستجوی گوگل با استفاده از فایلrobots.txt بلاک شده باشند. خطا در گوگل وبمستر در قسمت Crawl و در بخشURL Errors قابل مشاهده است. البته از نظر گوگل این خطا تنها در گوشی های همراه اتفاق نمی افتد و ممکن است صفحات بر روی کامپیوتر ها هم بلاک شده باشند. حال اگر این خطا را در گوگل وبمستر مشاهده کردید باید فایل robots.txt را بررسی کرده و مطمئن شوید که دسترسی ربات ها را به صفحات سایت خود محدود یا بلاک نکرده باشید. Flash content Errorدر نسخه های جدید سیستم عامل های دسکتاپ و اندروید از فلش پشتیبانی نمی شود، الگوریتم های گوگل تعدادی از URLها که دارای فایل های فلش زیادی باشند را در گوگل وبمستر در قسمتCrawl و در تب Smartphones و با خطای flash content نمایش می دهد. بهترین کار این است که تجربه کاربری وب سایت خود را با یک طراحی ریسپانسیو بالا برده و این مشکلات را برطرف کنید.از هر طراحی برای وب سایت خود استفاده کردید باید توجه داشته باشید که ربات های جستجو باید بتوانند به تمام کد ها و قسمت های مختلف سایت شما دسترسی داشته باشند تا وب سایت شما را به بهترین شکل ممکن ایندکس کنند.Data too old Errorاین خطا نشان دهنده این است که تاریخ مطلبی که در صفحه مورد نظر منتشر شده است بسیار قدیمی می باشد. برای مثال Google news تنها مطالبی که دو روز از انتشار آن ها گذشته باشد را جمع آوری می کند بنابراین این خطا برای سایت های خبری اتفاق می افتد.جمع بندیهمان طور که مشاهده کردید، با استفاده از گوگل وبمستر تولز می توانید تمام مشکلات مربوط به وب سایت خود را بررسی کرده و حل کنید. توصیه ما به شما این است که بر اساس یک برنامه مستمر، گوگل وبمستر را چک کرده و از درستی عمل کرد وب سایت خود مطمئن شوید. بسیار احتمال دارد که با انباشته شدن خطا های وب سایت شما، رتبه شما نیز در گوگل افت کند، پس قبل از اینکه دیر شود با یک بررسی ساده، در هزینه خود صرفه جویی کنید.

مطلب با عنوان آموزش کار با Crawl Errors در وبمستر از وب سایت پونه مدیا poonehmedia با درج لینک اصلی خبر نمایش داده شده است و آپین در قبال محتوای اخبار هیچ مسئولیتی ندارد.

مطلب با عنوان آموزش کار با Crawl Errors در وبمستر از وب سایت پونه مدیا با درج لینک اصلی خبر نمایش داده شده است. جهت مشاهده جزئیات بیشتر به پونه مدیا poonehmedia مراجعه نمائید.

اخبار گوناگون