「お前ら全部ゆるさん」Xのrobots.txtを覗いてみたけど、AI学習ふくめて汎用クローラー片っ端からはじいてるね – Togetter

「お前ら全部ゆるさん」Xのrobots.txtを覗いてみたけど、AI学習ふくめて汎用クローラー片っ端からはじいてるね – Togetter
「お前ら全部ゆるさん」Xのrobots.txtを覗いてみたけど、AI学習ふくめて汎用クローラー片っ端からはじいてるね - Togetter
«  まあ、そんなもん。「robots.txtはあくまでサイト側からの要請であって、必ずしもクローラーがこれを尊重するとは限らないことに留意が必要」。