<tfoot id="kyoiw"></tfoot>
  • <strike id="kyoiw"></strike>
  • <strike id="kyoiw"></strike>
  • 起重學(xué)院
    下載手機(jī)APP
    當(dāng)前位置: 首頁(yè) ? 起重學(xué)院 ? 電子商務(wù) ? 正文

    Robots.txt同樣有學(xué)問(wèn)

    ??來(lái)源:中國(guó)起重機(jī)械網(wǎng)??作者:admin
    |
    |
    |
     Robots.txt文件是一個(gè)簡(jiǎn)單的TXT文本,但是專(zhuān)注網(wǎng)站建設(shè)及網(wǎng)站優(yōu)化的Seoer們都清楚它的重要性,它的存在可以將不希望搜索引擎抓取的頁(yè)面屏蔽起來(lái),也可以像是一張地圖一樣為蜘蛛引路指航。當(dāng)蜘蛛爬行到一個(gè)站點(diǎn)時(shí),首先訪問(wèn)的便是是否存在Robots.txt文件,然后按照內(nèi)容中的指引來(lái)進(jìn)行索引訪問(wèn),如果文件不存在的話那么就按照頁(yè)面中的鏈接進(jìn)行順序的訪問(wèn)。因此我們可以利用它來(lái)屏蔽一些不需要搜索引擎要索引的目錄,或者將網(wǎng)站地圖在Robots.txt中描述引導(dǎo)蜘蛛爬行,這樣對(duì)于網(wǎng)站安全性上或者節(jié)省服務(wù)器帶寬以及引導(dǎo)索引都是非常給力的,可以說(shuō)是達(dá)到了揚(yáng)己之長(zhǎng)避己之短的效果,以下我們做以具體分析:

      一、利用Robots.txt節(jié)省服務(wù)器帶寬

      一般來(lái)說(shuō)站長(zhǎng)很少去做這樣一個(gè)設(shè)置,然而當(dāng)服務(wù)器訪問(wèn)量大內(nèi)容過(guò)于多的話就有必要做一個(gè)設(shè)置來(lái)節(jié)省服務(wù)器的帶寬,如屏蔽:image這樣的文件夾,對(duì)于搜索引擎索引來(lái)說(shuō)沒(méi)有什么實(shí)際性的意義還浪費(fèi)了大量的帶寬。如果對(duì)于一個(gè)圖片網(wǎng)站來(lái)說(shuō),消耗更是驚人的,所以利用Robots.txt可以充分解決這一點(diǎn)。

      二、保護(hù)網(wǎng)站安全目錄

      一般來(lái)說(shuō)在設(shè)置Robots.txt時(shí)都要把管理目錄以及數(shù)據(jù)庫(kù)、備份目錄設(shè)置進(jìn)去,進(jìn)制蜘蛛的爬行,否則容易造成數(shù)據(jù)的泄露影響網(wǎng)站的安全。當(dāng)然還有一些管理員不希望蜘蛛索引的其他目錄,同樣可以將其進(jìn)行設(shè)置,這樣來(lái)說(shuō)搜索引擎就可以嚴(yán)格的遵守這個(gè)規(guī)則來(lái)進(jìn)行索引。

      三、禁止搜索引擎索引頁(yè)面

      一個(gè)網(wǎng)站總有一些不希望公眾看到的頁(yè)面,這個(gè)時(shí)候我們可以用Robots.txt來(lái)進(jìn)行設(shè)置,避免蜘蛛對(duì)其索引,如前段日子筆者網(wǎng)速比較慢結(jié)果更新了一篇文章,導(dǎo)致連續(xù)重復(fù)發(fā)布了3次,結(jié)果全部被搜索引擎索引,怎么辦呢?重復(fù)的內(nèi)容必然對(duì)網(wǎng)站優(yōu)化是不好的,這時(shí)候便可以通過(guò)設(shè)置Robots.txt來(lái)將多余的頁(yè)面屏蔽掉。

      四、Robots.txt鏈接網(wǎng)站地圖

      由于蜘蛛訪問(wèn)網(wǎng)站首先查看的便是Robots.txt這個(gè)文件,那么我們可以將網(wǎng)站地圖設(shè)置進(jìn)去,更有利于蜘蛛索引最新的信息,而少走許多冤枉路。如顯示專(zhuān)業(yè)網(wǎng)站建設(shè)公司引航科技的地圖頁(yè):http://www.****.net.cn/ sitemap.xml這樣加到Robots.txt中更是有利于搜索引擎的索引。也不用每天麻煩的到搜索引擎提交地圖文件,不是很簡(jiǎn)便嗎?

      五、寫(xiě)法及注意事項(xiàng)

      對(duì)于Robots.txt寫(xiě)法一定要規(guī)范,寫(xiě)法上疏忽不注意的人并不在少數(shù)。首先來(lái)說(shuō):User-agent:*是必須要寫(xiě)的,*表示針對(duì)所有搜索引擎。Disallow:(文件目錄)不包括括號(hào),表示禁止搜索引擎索引的意思,一下舉個(gè)例子具體說(shuō)明:

        示例1:
      User-agent:*
        Disallow:/
        表示禁止任何搜索引擎索引訪問(wèn),

        示例2:

        User-agent:*
        Disallow:/seebk
        表示禁止搜索引擎索引訪問(wèn)seebk目錄

        示例3:

      User-agent:baiduspider
      User-agent:*
      Disallow:/

        表示只允許百度蜘蛛堆砌索引訪問(wèn):百度:baiduspider,谷歌:googlebot,搜搜:sosospider,alexa:ia_archiver,雅虎:Yahoo Slurp
        示例4:

        User-agent:*
        Disallow:.jpg$

        防止盜鏈jpg圖片,如果你的帶寬足夠的話可以不設(shè)置。

        后語(yǔ):優(yōu)化Robots.txt揚(yáng)己之長(zhǎng)避己之短,做好Robots.txt更易網(wǎng)站順暢優(yōu)化發(fā)展

    ?

    移動(dòng)版:Robots.txt同樣有學(xué)問(wèn)

    ?
    主站蜘蛛池模板: 国产一级精品高清一级毛片| 欧美日韩国产精品 | 午夜精品久久久内射近拍高清 | 亚洲精品自在在线观看| 99久久精品免费观看国产| 亚洲av午夜福利精品一区| 精品欧美激情在线看| 欧美日韩精品在线| 国产乱人伦偷精品视频AAA| 亚洲国产精品一区二区九九| 精品人妻伦一二三区久久| 9999国产精品欧美久久久久久| 国产精品v片在线观看不卡| 亚洲AV永久无码精品成人| 午夜成人精品福利网站在线观看 | 国产国拍亚洲精品mv在线观看| 亚洲精品线路一在线观看| 久久无码精品一区二区三区| 成人国内精品久久久久影院VR| laowang在线精品视频| 国产精品高清一区二区三区 | 亚洲国产精品久久久久久| WWW国产精品内射老师| 日本VA欧美VA欧美VA精品| 中文字幕日韩精品在线| 日韩精品欧美| 日韩精品一区二区三区在线观看 | 精品一区二区三区四区| 精品国产粉嫩内射白浆内射双马尾| 亚洲精品自产拍在线观看| 亚洲精品国产av成拍色拍| 污污网站国产精品白丝袜| 网友偷拍日韩精品| 亚洲精品尤物yw在线影院| 亚洲综合精品网站| 亚洲国产另类久久久精品| 亚洲国产精品无码久久98| 嫩草伊人久久精品少妇AV| 国产成人精品无码播放| 第一福利永久视频精品| 国内精品久久国产大陆|