хз, за что минусят. Имхо, отличный пост)

я так понял, что требуется объяснение:

Disallow и Allow с пустым значением параметра
Этот случай является частой причиной не верной трактовки правил Disallow и Allow.
Дело в том, что директива
Disallow:
вопреки возможным предположениям наоборот разрешает индексацию всего сайта без ограничений, т.е. эквивалентна указанию
Allow: /

dimas (10:17), По факту, ты прав. Это как две урны, в одной все бюллетени "против всех", в другой "ни за кого". Только в этом и вся разница.
Но она есть.
Где-то очень глубоко.
...тебе не понять ))