Ib qho ntawm cov khoom siv rau kev tswj hwm qhov ntsuas qhov chaw ntawm cov tshawb pom los ntawm cov ntawv tshawb xyuas yog cov ntaub ntawv robots.txt. Nws yog tsuas yog siv los tiv thaiv txhua lossis tsuas yog qee tus robots los ntawm rub tawm cov ntsiab lus ntawm qee nplooj nplooj. Qhov no tso cai rau koj kom tshem tau "cov khib nyiab" hauv cov kev tshawb fawb ntawm cov txiaj ntsig thiab, hauv qee kis, txhim kho qhov kev ntaus nqi ntawm cov peev txheej. Nws yog ib qho tseem ceeb kom muaj cov ntaub ntawv robots.txt kom raug rau kev thov zoo.
Tsim nyog
cov ntawv nyeem editor
Cov Lus Qhia
Kauj ruam 1
Ua ib daim ntawv teev npe rau robots uas tshwj xeeb cov kev cai cais tawm yuav tau teeb tsa lossis cov lus qhia ntawm kev ncua robots.txt txuj, nrog rau cov uas tsis yog-tus qauv thiab cov lus qhia tshwj xeeb (txuas ntxiv ntawm lub tshuab tshawb nrhiav tshwj xeeb) yuav raug siv. Nkag mus rau hauv daim ntawv no tus nqi ntawm Tus Neeg Siv-Tus neeg sawv cev ntawm cov HTTP thov headers xa los ntawm xaiv cov neeg hlau mus rau lub site server. Cov npe ntawm tus neeg hlau kuj tseem tuaj yeem pom nyob hauv cov chaw siv ntawm kev tshawb nrhiav cov chaw.
Kauj ruam 2
Xaiv cov pab pawg ntawm URLs ntawm lub xaib cov khoom siv rau kev nkag mus uas yuav tsum raug tsis kam lees rau txhua tus neeg hlau hauv daim ntawv teev ua ntej thawj kauj ruam. Ua tib txoj haujlwm rau txhua lwm cov neeg hlau (ib txheej txheem ntawm lub cim luv luv ntawm bots). Hauv lwm lo lus, qhov txiaj ntsig yuav tsum muaj ntau cov npe uas muaj cov kab ntawv txuas rau ntu ntawm lub xaib, pawg ntawm nplooj ntawv lossis cov ntsiab lus ntawm cov ntsiab lus xov xwm uas raug txwv tsis pub dhau los. Txhua daim ntawv yuav tsum sib haum nrog tus neeg hlau sib txawv. Tseem yuav tsum muaj cov npe txwv tsis pub URLs rau txhua lwm cov bots. Ua cov npe raws li kev sib piv ntawm cov qauv pov thawj ntawm lub xaib nrog rau qhov chaw nyob ntawm cov ntaub ntawv ntawm lub server, nrog rau kev sib koom qhov URLs ntawm cov nplooj ntawv raws lawv cov yam ntxwv ua haujlwm. Piv txwv li, koj tuaj yeem suav rau hauv daim ntawv tsis kam lees sau cov ntsiab lus ntawm txhua qhov kev pabcuam cov phau ntawv teev lus (ua pawg ntawm qhov chaw) lossis txhua tus neeg siv cov ntaub ntawv nplooj ntawv (ua pawg los ntawm hom phiaj).
Kauj ruam 3
Xaiv cov paib URL rau txhua yam ntawm cov peev txheej muaj nyob hauv cov npe khaws cia hauv theem ob. Thaum ua cov npe teev kev zam rau cov neeg hlau siv tsuas txheem robots.txt cov lus qhia thiab cov neeg tsis muaj qhov tsis txaus, taw qhia cov kab URL tshwj xeeb ntawm qhov ntev tshaj plaws. Rau cov chaw nyob ntxiv, koj tuaj yeem tsim tus qauv tsim kom tau raws li qhov tshwj xeeb ntawm kev siv tshuab nrhiav tshwj xeeb.
Kauj ruam 4
Tsim cov ntaub ntawv robots.txt. Ntxiv cov pab pawg ntawm qhov kev coj ua rau nws, txhua tus ntawm no sib haum rau cov kev cai txwv kev txwv rau ib tus neeg hlau tshwj xeeb, cov npe uas tau muab tso ua ke rau hauv thawj kauj ruam. Cov tom kawg yuav tsum tau ua raws cov pab pawg tswj kev coj ua rau txhua lwm cov neeg hlau. Cais cov pawg muaj ib kab lus tsis txaus. Txhua kab kev cai yuav tsum pib nrog Tus Neeg Siv Tus Neeg Sawv Cev Txoj Cai taw qhia cov neeg hlau, tom qab ntawd Disallow cov lus qhia, uas txwv tsis pub muaj cov ntsiab lus URL. Ua cov kab tau los hauv theem thib peb nrog qhov muaj nuj nqis ntawm qhov qhia tau Disallow. Cais cov kev qhia thiab lawv lub ntsiab nrog rau qhov tsis txaus siab. Yandex tshawb xyuas cov tshuab tsis yog rau qhov ntsuas URL. uas muaj cov kab hauv qab / temp / cov ntaub ntawv / cov duab /. Nws tseem tiv thaiv tag nrho lwm cov robots los ntawm kev ntsuas URLs uas muaj / temp / data /.
Kauj ruam 5
Pab ntxiv Robot.txt nrog kev ncua ntev cov qauv tswj lossis cov kev teeb tsa kev tshawb nrhiav ntawm lub tshuab. Cov piv txwv ntawm cov lus qhia tseem ceeb yog: Tus tswv tsev, Sitemap, Thov-tus nqi, Mus ntsib-sijhawm, Cuam Tshuam-ncua sij hawm.
