我爱我家书院

手机浏览器扫描二维码访问

第17章 爬虫(第1页)

“接下来,就是试试获取小说的内容了。”

接下来,他开始编写程序以获取小说的详细信息和内容。

由于小说内容比较庞大,他决定把获取内容的频率放低。

毕竟是在奶茶店,店里面还有不少的人在使用着店里面提供的WIFI。

如果他瞬时间向服务器的请求量过大,其他人的网络,基本上就会陷入瘫痪的状态。

他现在只是手痒痒了,想试试手,真正要爬取到足够多的小说数据,至少需要好几天的时间。

“接下来,就是见证奇迹的时刻。”

他开始启动他的爬虫程序,程序开始在小说网站上爬取小说的内容。

无数本小说的内容文字一闪而过,便进入了数据库之中。

“哟,还有点意思。”

他发现,在爬取的过程中,点娘小说网站的反爬虫机制还算是不错,他的爬虫程序很快就被封禁了。

针对IP的。

不过,他快速升级了他的爬虫程序,加入了无数的IP池,以及强大的识别验证码能力,使其更难被网站检测到。

“咦,看来我这掌握的五级信息技术,比我想象之中的要强!”

经过一番小小的折腾,点娘都市小说分类下的数百万本小说,全部进入了他的数据库里面。

“最强的点娘的反爬虫机制也不过如此。看来获取数据集的过程,会比我想象的简单不少。“

”那现在就是时间的问题了,等我爬取到足够多的小说数据集,就可以开始训练我的写小说AI模型了!”他心中充满了自信。

现在,就让小说模型先跑着吧。

今天是周末,奶茶店的人比往常多上不少,等到了快要歇业的时间里,铺子里还有不少的人。

林小玲没办法,只好延长了奶茶店的营业时间。

连带的,王卿一遍看着AI模型的训练,一遍记着单词。

“喂,我要下班了,咱们一起走吧。”

王卿还沉迷于互联网世界的新奇时,林小玲的声音传了上来。

他抬头一看,“都已经十二点了啊。”

“等我一会儿。”

“好,我在门口等你。”

林小玲没有上楼去,今天太累了,她就在楼下等着王卿收拾东西。

“怎么还没出来呀。”

她在店门口等了两三分钟,王卿那边还没有动静,就想上楼去看看。

还没有走到门口,便看到他扛着一台巨大的电脑主机和一个显示器,不禁笑了起来。

王卿嘴里喘着粗气,额头上挂着一粒粒细密的汗珠,身上的衬衫湿漉漉的贴在了背上。

他双手抱着一台电脑主机和一个显示器,像只蚂蚁一样艰难地从二楼的楼梯上下了来。

电脑主机和显示器一字排开,整齐地被王卿抱在了怀里。

热门小说推荐
医品宗师

医品宗师

他是武林中最年轻的武学宗师,拥有神秘的绝对手感,可他现在却是一名普通的中医大学的大一新生,本想低调的学学医,看看病,恋恋爱,可在一次中秋晚会被迫表演中震惊...

神兵奶爸

神兵奶爸

啥,老子堂堂的漠北兵王,居然要当奶爸?好吧,看在孩子他妈貌若天仙的份儿上,老子勉强答应了...

牧神记

牧神记

大墟的祖训说,天黑,别出门。  大墟残老村的老弱病残们从江边捡到了一个婴儿,取名秦牧,含辛茹苦将他养大。这一天夜幕降临,黑暗笼罩大墟,秦牧走出了家门 ...

天神诀

天神诀

火爆玄幻一滴魔血,照破山河万朵。一卷古经,湮灭日月轮回。一部神诀,埋葬诸天至尊。杨青玄得天命传承,修无敌之法,开启了一场碾压当世无数天才,通往万古不朽...

医门宗师

医门宗师

从高山晕倒的那一刻开始,世间多了一个医门传人。...

武道宗师

武道宗师

在这里,武道不再是虚无缥缈的传说,而是切切实实的传承,经过与科技的对抗后,彻底融入了社会,有了各种各样的武道比赛,文无第一,武无第二!  楼成得到武道一大...