گوگل به لیست خود یک کرالر جدید اضافه کرده است، این کرالر برای ابزارهای تستی استفاده می شود که در کنسول جستجو یا دیگر ویژگی های گوگل استفاده می کنید.
گوگل یک کرالر جدید به نام گوگل ابزار بررسی را منتشر کرده است. این کرالر جدید، که به نام گوگل ابزار بررسی شناخته می شود، نحوه تشخیص فعالیت کرالینگ را برای کرالر مورد استفاده توسط ابزارهای تست گوگل جستجو، مانند تست نتایج غنی و ابزار برسی آدرس URL در کنسول جستجوی گوگل، تعیین می کند.
گوگل-ابزار بررسی. گوگل جزئیاتی درباره این کرالر جدید را در سند راهنمای خود منتشر کرده است. آنجا آمده است : گوگل-ابزار بررسی کرالری است که توسط ابزارهای تست جستجو مانند آزمون نتایج غنی و تفحص آدرس URL در کنسول جستجو استفاده می شود. به جز عامل کاربر و عامل کاربر، این کرالر شبیه به گوگلبات عمل میکند."
در زیر یک تصویر از این سند راهنما آمده است.
عامل کاربر. توکن عامل کاربر برای فعالیت کرال گوگل می تواند یا گوگل بات کلاسیک یا گوگل ابزار بررسی جدید باشد. گوگل نیز رشته های کامل عامل کاربر را برای کرال های موبایل و دسکتاپ آورده است :
موبایل
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Google-InspectionTool/1.0)
دسکتاپ
Mozilla/5.0 (compatible; Google-InspectionTool/1.0)
چرا باید توجه کنیم. اگر شما علاقمند به تجزیه و تحلیل فعالیت کرال و فعالیت ربات ها در فایل های لاگ خود هستید، ممکن است گوگل ابزار بررسی نمایش داده شود. این موضوع به ویژه در صورت استفاده از آزمون نتایج غنی و تفحص آدرس URL در کنسول جستجوی گوگل رخ می دهد.
اگر مشکلاتی در اجرای این ابزارها مشاهده می کنید، ممکن است عامل کاربر گوگل را از دسترسی به وب سایت خود محدود کرده باشید. لذا اطمینان حاصل کنید که اجازه دسترسی به گوگل - ابزار بررسی را به وب سایت خود می دهید، اگر قوانین سختگیرانه ای را رعایت می کنید.