User-agent: *
allow: /
 
#######################################
################ PAGES ################
#######################################
 
#######################################
#### WORDPRESS DIRECTORIES & FILES ####
#######################################
 
Disallow: /wp-content/upgrade/
Disallow: /wp-admin/
Disallow: /wp-includes/

 
#######################################
############### SITEMAP ###############
#######################################
 
Sitemap: /sitemap_index.xml
 
 
#######################################
########### SCREAMING FROG ############
#######################################
 
User-agent: Screaming Frog SEO Spider
Allow: /
#Disallow: /*.gif$
#Disallow: /*.jpg$
#Disallow: /*.png$
#Disallow: /*.bmp$
#Disallow: /*.xml$
#Disallow: /*.css$
#Disallow: /*.js$

#######################################
############# WOOCOMMERCE #############
#######################################

Disallow: /date/
Disallow: /my-account/
Disallow: /basket/
Disallow: /checkout/