Sebagaimana dilaporkan oleh TechCrunch, kekhawatiran para pemilik situs web terkait pengambilan data tanpa izin oleh bot AI akhirnya mulai menemukan titik terang. Google, sebagai langkah awal, memulai inisiatif melalui Bard AI. Dalam upaya untuk melindungi privasi pengguna, Google telah menggagas penambahan baris Disallow User-Agent: Google-Extended, pada file robots.txt. Langkah ini memastikan bahwa crawler Bard tidak akan merambah situs web tanpa izin eksplisit.
 |
| 📷 ilustrasi robot sedang melamun - via Flickr |
Berikut ini contoh baris yang dapat Anda tambahkan pada
robots.txt
Disallow: /
User-Agent: GPTBot
Disallow: /
Tindakan serupa juga diadopsi oleh sejumlah portal berita ternama seperti Medium, CNN, The New York Times, dan beberapa media lainnya. Mereka telah menambahkan aturan "Disallow: User-Agent: GPTBot" pada file robots.txt mereka. Tindakan ini diambil untuk mengontrol pengambilan data oleh bot AI seperti GPTBot, memberikan pemilik situs kendali lebih besar terhadap informasi yang mereka bagikan secara online.