הבעיה היא בהגדרות התוכנה.
ככל שהשרת מוגן בצורה נכונה יותר הוא יקפיץ שגיאת 403 (חסימה) בארועים שנראים לו חשודים.
יש להוריד את מהירות הסריקה בתוכנה.
מצ"ב הסבר:
https://www.screamingfrog.co.uk/seo-spider/user-guide/configuration/#speed
הבעיה היא בהגדרות התוכנה.
ככל שהשרת מוגן בצורה נכונה יותר הוא יקפיץ שגיאת 403 (חסימה) בארועים שנראים לו חשודים.
יש להוריד את מהירות הסריקה בתוכנה.
מצ"ב הסבר:
https://www.screamingfrog.co.uk/seo-spider/user-guide/configuration/#speed