در این مطلب از وب سایت مشاوران بازاریابی اینترنتی جَم قصد داریم به خطا Submitted URL blocked by robots.txt و بررسی علت و روش‌های رفع ارور Submitted url blocked by robots.txt بپردازیم. خطا Submitted URL blocked by robots.txt در سرچ کنسول به معنای آن است که URL ارسالی توسط فایل robots.txt مسدود شده است. معمولا حجم زیادی از کاربران در ایندکس کردن محتوای سایت خود و یا در ایجاد محدودیت ربات‌های موتورهای جستجوگر جهت خزیدن در قسمت‌های مختلف سایتشان با مشکلاتی مواجه می‌شوند. یکی از متداول‌ترین مشکلات، ارور submitted url blocked by robotstxt است. در واقع هنگامی‌که به بخش coverage گوگل می‌روید و با صفحات ایندکس گوگل نشده مواجه می‌شوید، باید فایل robots.txt را بررسی نمود.
در فایل robots.txt وردپرس شما قادر به ایجاد دسترسی‌های خودکار برای خزنده‌ها و ربات‌های موتور جستجوگر گوگل هستید. درصورتی که با خطا Submitted URL blocked by robots.txt در سرچ کنسول مواجه شدید، بدان معناست که در این فایل به درستی مجوزهای دسترسی تعریف نشده است و یا اینکه شما خود اقدام به محدود کردن این دسترسی‌ها نموده‌اید. به‌منظور رفع ارور Submitted url blocked by robots.txt باید ابتدا صفحه موردنظر را با robots.txt tester گوگل بررسی و تست نمایید و سپس فایل robots.txt را ویرایش کنید. در ادامه بیشتر به معرفی و رفع خطای Blocked by robots.txt خواهیم پرداخت.
چگونه بررسی می کنید که آیا URL توسط robots.txt مسدود شده است؟
برای نحوه تشخیص خطا Submitted URL blocked by robots.txt باید دو راه زیر را انجام داد. یکی از این روش‌های مراجعه به بخش robots.txt tester وب مستر گوگل می‌باشد. از دیگر روش‌های مشاهده گزارش وضعیت ایندکس بودن سایت و بررسی خطا Submitted URL blocked by robots.txt، گزارش وضعیت فهرست در Rank Math’s analytics است.
روش بررسی خطا Submitted URL blocked by robots.txt از طریق سرچ کنسول
به‌منظور بررسی خطا Submitted URL blocked by robots.txt در گوگل سرچ کنسول باید به تب pages همانند شکل زیر بروید:
روی گزینه Blocked by robots.txt کلیک کنید؛
درصورتی که روی خطا Submitted URL blocked by robots.txt کلیک کنید، فهرستی از صفحه‌هایی که بوسیله فایل robots.txt شما بسته شده است را مشاهده خواهید کرد:
روش بررسی ارور submitted url blocked by robotstxt از طریق Rank Math’s Analytics
با استفاده از گزارش وضعیت ایندکس شدن در Rank Math’s Analytics می‌توان صفحات مشکل‌دار را شناسایی نمود. بدین منظور باید در داشبور وردپرس به بخش Rank Math > Analytics بروید و در گام بعد روی تب Index Status بزنید. در این صفحه شما real data/status صفحه سایت و وجود آن‌ها در گوگل را بدست خواهید آورد.
علاوه‌بر اینکه شما می‌توانید با استفاده از منو کشویی، وضعیت فهرست پست‌ها را فیلتر نمایید. فیلتر نمودن وضعیت خاص بدان معناست که امکان مشاهده پست‌هایی با وضعیت یکسان را خواهید داشت.
بعد از اینکه لیست صفحات برگرداننده این وضعیت را دریافت کردید، می‌توانید اقدام به عیب‌یابی و رفع ارور Submitted url blocked by robots.txt نمایید.
رفع ارور Submitted url blocked by robots.txt
به منظور برطرف کردن خطا، باید در فایل robots.txt دستورات اضافه را که موجب بسته شدن دسترسی گوگل به سایت شده است را حذف نمایید. سپس در مجددا درخواست ایندکس کردن سایت از گوگل را ارسال کنید. بدین منظور باید بررسی کنید که پیکربندی فایل robots.txt سایت شما به درستی انجام شده است. با استفاده از ابزار تست فایل robots.txt گوگل می‌توان برای بررسی این فایل استفاده نمود و مطمئن شد هیچ دستورالعملی مانع از دسترسی گوگل بات به سایت شما نگردد.
در صورت مشاهده دستورالعملی که مانع از دسترسی گوگل بات به سایت شما شده، باید اقدام به حذف آن یا جایگزین موردی مجازتر نمایید. در ادامه به روش بررسی فایل robots.txt و رفع خطای آن با robots.txt tester می‌پردازیم:
رفع خطا Submitted URL blocked by robots.txt با robots.txt tester
بدین منظور باید مراحل زیر را طی کرد:
مرحله اول
در گام اول باید به robots.txt tester بروید. درصورتی که سرچ کنسول شما با بیشتر از یک سایت ارتباط داشته باشد، سایتتان را از لیست سایت‌های سمت چپ انتخاب نمایید. در این زمان گوگل اقدام به بارگذاری فایل robots.txt شما می‌کند.
مانند تصویر زیر در قسمت status وضعیت فایل Robots.txt شما نمایش داده خواهد شد. برای بررسی مجدد نیز کافیست تا بر روی سه نقطه در همان ردیف کلیک نمایید و گزینه Request a recrawl را انتخاب نمایید.
درصورتی که تست کننده فایل robots.txt دستورهایی را مبنی بر جلوگیری از دسترسی یافت، شما می‌توانید در ویرایشگر کد دستور را به صورت صحیح ویرایش نمایید و بار دیگر آزمایش را انجام دهید. اما باید توجه داشته باشید که هر تغییری که در اینجا لحاظ می‌کنید را باید در فایل ربات تکست سایت خود کپی و جایگذاری نمایید.
رفع خطا Submitted URL blocked by robots.txt با Rank Math
برای رفع ارور Submitted url blocked by robots.txt با روش Rank Math مراحل زیر را انجام دهید:
در ابتدا باید فایل ربات تکست خود را با Rank Math ویرایش نمایید. بدین منظور باید طبق مراحل شکل زیر به فایل ربات تکست در Rank Math بروید:
نکته مهم:نکته: درصورتی که این گزینه برای شما وجود ندارد باید اطمینان حاصل کنید که در Rank Math از حالت پیشرفته استفاده می‌کنید. در قسمت ویرایشگر کدی را که از فایل ربات تکست کپی کرده‌اید را جایگذاری نمایید. بعد از تست روی گزینه Save Changes بزنید تا تغییرات شما اعمال گردد.
آدرس وب سایت خود را برای انجام تست وارد نمایید.
سپس روی منو کشویی کلیک کرده و ابزار مدنظرتان برای شبیه سازی تست را انتخاب نمایید.
در آخر بر روی دکمه test کلیک کنید. در صورت دسترسی به url براساس پیکربندی robots.txt خزنده قادر است تا فورا اعتبارسنجی را انجام دهد و بعد از اتمام یک پیام موفقیت آمیز نمایش داده خواهد شد. در صورت وجود کدی برای مسدود سازی نیز آن را مانند تصویر زیر به شما نمایش خواهد داد.
در صورت یافتن قوانینی که از دسترسی جلوگیری میکنند شما می‌توانید آن قسمت از کد را بررسی نموده و پس از ویرایش مجدد تست را انجام دهید.
توجه داشته باشید بعد از انجام ویرایشات و صحیح بودن تست لازم است تا این کدها را به فایل اصلی robots.txt وب سایت خود منتقل نمایید.
علت ایندکس نشدن صفحات در گوگل
یکی از مهم‌ترین اقدامات برای سئو و بهینه سازی سایت، برطرف نمودن خطاهای سرچ کنسول است. اغلب سئوکاران و وب مستران حداقل یکبار با مشکلات و خطاهای سرچ کنسول روبرو شده‌اند. بررسی و برطرف نمودن این خطاها یکی از مواردی است که در طراحی وب سایت می‌بایست بدان توجه شود. یکی از قسمت‌های پرکاربرد سرچ کنسول، بخش Coverage می‌باشد.
در قسمت سمت راست Coverage گزارش وضعیت ایندکس شدن صفحه‌های سایت برای شما نمایش داده شده است. شما در این بخش با مشکلات فنی که مانع کسب رتبه‌های بالاتر در نتیجه‌های گوگل می‌شود آشنا خواهید شد.
Index Coverage به شما امکان مشاهده صفحاتی که گوگل سعی در ایندکس نمودن آن‌ها را دارد، خواهد داد. البته این بخش به شما خطاهای احتمالی که موجب ایندکس نشدن سایت شما شده‌اند را نیز نشان می‌دهد.
با استفاده از فایل robots.txt و کدهای موجود در آن، شما امکان تعیین کردن صفحاتی که می‌بایست توسط گوگل ایندکس شوند را خواهید داشت. حال آنکه اگر فایل robots.txt به درستی پیکربندی نشده باشد و یا شما خود اقدام به محدود نمودن دسترسی کرده باشید، صفحات شما ایندکس نخواهد شد. و شما با خطا Submitted URL blocked by robots.txt مواجه می‌شوید. همچنین درصورتی که شما بخواهید از ایندکس شدن صفحاتی از سایت خود جلوگیری کنید نیازی به قرار دادن فایل robots.txt در هاست خود نخواهید داشت.
زیرا به صورت دیفالت تمامی صفحات بوسیله ربات‌های گوگل بررسی می‌گردند و برای جلوگیری از ایندکس شدن صفحات باید آدرس صفحاتی که نمی‌خواهید ایندکس شود را در فایل robots.txt قرار دهید. مشاهده خطا Submitted URL blocked by robots.txt، به شما این اخطار را می‌دهد که صفحات شما ایندکس نشده است. در ادامه به معرفی و رفع خطای Blocked by robots.txt خواهیم پرداخت.
خطا Submitted URL blocked by robots.txt چیست؟
ارور submitted url blocked by robotstxt نشان دهنده آن است که آدرس صفحه مورد نظر شما URL صفحه، توسط robots.txt مسدود شده است. در این حالت ربات‌های گوگل امکان خزش در این صفحات را نخواهند داشت. خطا Submitted URL blocked by robots.txt بدین دلیل است که شما خود در فایل robots.txt برخی صفحات سایت را تعیین کرده‌اید که توسط ربات‌های گوگل خزش نشوند. درواقع در دو صورت خطا Submitted URL blocked by robots.txt رخ می‌دهد.
هنگامی که آدرس صفحه شما در نقشه سایت (سایت مپ) وجود نداشته باشد. یا زمانی که آدرس صفحه در سایت مپ وجود داشته باشد، اما توسط افزونه‌های وردپرس یا کدنویسی دستی و .. شما در robots.txt به گوگل اجازه بررسی صفحه را نداده باشید.
در این حالت آدرس صفحه شما بوسیله robots.txt محدود شده است و خطا Submitted URL blocked by robots.txt رخ می‌دهد. رایج‌ترین دلیل این خطا عدم پیکربندی درست فایل robots.txt می‌باشد.
