当前位置： 首页 > news >正文

网站上的网页，无法通过百度和bing搜索引擎来搜索

news 2025/7/19 19:52:05

最近搜索某公司网站上的技术资料，百度/bing都不能工作，纳闷

看了下该网站的robots.txt 明白了

User-Agent: *
Disallow: /

参考：

网站 robots.txt 文件配置方法，如何禁止搜索引擎收录指定网页内容 - 知乎

http://www.lryc.cn/news/128197.html

相关文章：

  • Redis与MySQL的比较：什么情况下使用Redis更合适？什么情况下使用MySQL更合适？
  • 34_windows环境debug Nginx 源码-配置WSL和CLion
  • 单词倒排（C语言详解）
  • 一、数学建模之线性规划篇
  • 【推荐】深入浅出学习Spring框架【中】
  • 使用 HTML、CSS 和 JavaScript 创建多步骤表单
  • C语言笔试训练【第九天】
  • 左邻右舍裂差法求和 以及 连续自然数的立方和公式
  • 阿里云故障洞察提效 50%，全栈可观测建设有哪些技术要点？
  • docker run 命令30个常用参数详解
  • [kali]kali linux镜像下载地址
  • 考研408 | 【操作系统】操作系统的概述
  • VM部署CentOS并且设置网络
  • 多维时序 | MATLAB实现KOA-CNN-BiGRU-Attention多变量时间序列预测
  • 深入Redis线程模型
  • idea cannot download sources 解决方法
  • CS：GO升级 Linux不再是“法外之地”
  • 手写spring笔记
  • shell的两种属性: 交互(interactive)与登录(login)
  • 实现简单的element-table的拖拽效果
  • Web网页浏览器远程访问jupyter notebook服务器【内网穿透】
  • 干翻Dubbo系列第十一篇：Dubbo常见协议与通信效率对比
  • 春秋云镜 CVE-2020-17530
  • 【java毕业设计】基于Spring Boot+Vue+mysql的论坛管理系统设计与实现（程序源码）-论坛管理系统
  • 华为在ospf area 0单区域的情况下结合pbr对数据包的来回路径进行控制
  • PyQt5登录界面跳转
  • git add 用法
  • 系统架构设计师---2018年下午试题1分析与解答（试题三）
  • 面试时如何回答接口测试怎么进行
  • 【LeetCode】647.回文子串