User-agent : *

Disallow: index.php/
Disallow: /user/
Disallow: /cse/

User-agent: *
Crawl-delay: 2 # задает таймаут в 2 секунды