手机浏览器扫描二维码访问
在大方向的理论上,周大老板比一些专业人士还强。
王小船深以为然,“是啊,大数据的处理。百度和谷歌的差距,微点和百度的差距,最主要的就是体现在我们在数据处理时的效率问题。按理来说,通过爬虫技术,可以抓取到互联网上所有信息。可相关信息太多了,数据量太大了。怎么才能在短时间内把想要的信息抓取并展示出来,是搜索引擎最大的技术难题。”
周不器打了个响指,笑道:“巧了,我这次过来,就是想问问你爬虫的事。”
王小船有些费解。
周大老板这个技术外行,怎么还关心起技术细节来了?
就缓缓的解释道:“爬虫是搜索的基础工具,爬虫搜信息……嗯,就跟使用浏览器上网差不多,都是先向服务器发送请求,获得返回的页面,然后筛选出有价值的内容。如果时间足够长计算量足够大,使用爬虫工具,就可以把互联网上的所有信息都搜索一遍。”
见周大老板似乎很感兴趣的样子。
王小船就拿过纸笔,很快速的写下了一行代码,“假如说我们要爬取微知网的信息,用这行代码就可以实现了。”
周不器拿过代码一看,嗯,是很简单。
headers={‘Use-Agent’:‘ChaiknowsThebot’,}
r=requests。gets(“
html=r。text
print(html)
难怪说3月份的时候,北科有两个计算机系的大学生被开除了。
这技术好像是不太难。
因为大四写论文,可用谷歌、百度、微点等搜索引擎,却搜不到别人写的相关论文。怎么办?就有计算机系的学生,自己写了段爬虫算法。
然后成功的爬取到了几百篇相关论文。
接下来就好办了,摘抄、重组、整合。
如果查重不过关,也简单,用谷歌翻译,先汉译英、再英译汉。再人工地把句子整理通顺,查重就顺利通过。
可能是北科的创业环境被周不器给带起来了,那俩大学生就有了通过技术牟利的心思,玩起了帮同学写论文的生意。
被发现后,俩人都被开除了。
要不是周不器出面力保,上缴了非法所得,并安排到了校内网工作,他俩说不定就要蹲监狱了,前程就全毁了。
王小船接着说:“这是静态网站的爬取,如果是优酷、朋友网的这种动态页面,算法会相对复杂。可不管怎样,这都是很基础的工具。我们做搜索引擎,难点已经从复杂性变为规模量了。”
周不器皱皱眉,“老马……就是阿里的那位。他跟我说,要屏蔽百度对淘宝的爬虫,怎么回事?”
王小船笑道:“这事也简单,爬虫和网站之间有一个爬取协议,业内叫Robot协议。这个协议会声明,该网站的哪些内容可以爬取,哪些内容不能爬取,并规定白名单里的爬虫可以爬取主页内容。淘宝如果要屏蔽百度,只需要把百度的爬虫加到黑名单里就行了。”
“嗯!”
周不器点了点头。
这就是他想要的答案。
爬虫黑名单!
江湖是一张珠帘。大人物小人物,是珠子,大故事小故事,是串线。情义二字,则是那些珠子的精气神。mdashmdashmdashmdash开始收官中。最终章将以...
化神境修士陈默,与小师妹双双陨落后,竟然重回地球的高三时代?!前世初恋,陈默不屑一顾。前世敌人,陈默一拳打爆。前世你看我不起?今世我让你望尘莫及!...
这个天下大大小小数百国,说到陆地武功宁国近乎无敌,有四疆四库的虎狼横扫六合,陆地延伸到哪儿,宁军就能把战旗插到哪儿,可是海疆之外虎狼不及之处总有些人不服气...
九天大陆,天穹之上有九条星河,亿万星辰,皆为武命星辰,武道之人,可沟通星辰,觉醒星魂,成武命修士。传说,九天大陆最为厉害的武修,每突破一个境界,便能开辟一...
阴阳分天地,五行定乾坤。 天穹之下岁月沧桑的中土神州,正是仙道昌盛的时代,亿万生灵欣欣向荣。 纵横千万里间,总有人间一幕幕悲欢离合,在恢弘长生的仙道中...
大墟的祖训说,天黑,别出门。 大墟残老村的老弱病残们从江边捡到了一个婴儿,取名秦牧,含辛茹苦将他养大。这一天夜幕降临,黑暗笼罩大墟,秦牧走出了家门 ...