Reddit har börjat blockera sökmotorer från att indexera sajtens innehåll. Ändringen innebär att sökmotorer likt Bing numera visar tomma sökresultat för Reddit-relaterade sökningar. Microsoft har bekräftat att Bing inte längre indexerar Reddit eftersom Bing respekterar robots.txt-standarden.

Robots.txt är en liten textfil i roten av hemsidor som berättar vad sökmotorer får och inte får indexera. Standarden baseras på att företag frivilligt respekterar robots.txt eftersom filen inte blockerar indexering i praktiken.

Enligt Reddit blockeras alla sökmotorer som inte accepterat Reddits villkor gällande AI-träning: det vill säga att företagen inte får suga upp sajtens innehåll för att träna chattbottar. Företag kan dock börja betala Reddit för att få använda sajten som träningsdata, vilket Google gjorde i början av året.

We block all crawlers that are unwilling to commit to not using crawl data for AI training, which is in line with enforcing our Public Content Policy and updated robots.txt file.