您的位置: 德阳资讯网 > 游戏

网络数据挖掘程序的设计

发布时间:2019-09-13 20:56:48

对于一些内部网站,往往使用一些数字作为查询数据的key

对此,我们可以开发一些软件,用以获得包含在其中的数据。由于这些都是在内部使用的,因此其数据将有很重要的实用价值,当然,对于无法直接获得数据源的我们而言如此,但有时,也可以发掘一些连系统管理员也没有的数据,比如内部BBS的注册情况等。

言归正传,来讲这个程序。

语言选择了JAVA,因为对网络的支持比较好,而且主要原因是有可以直接使用的Http客户端,Apache的httpclient项目。

如何获得数据:这个问题的关键在于如何确定key的范围,对于查询网页,他的key往往拥有某种规律,怎么获得,问相关人士是最快的方式,当然也有逼不得已暴力尝试的时候。一旦确定范围,就可以用来组装客户端。就我个人来讲,我是使用了一个XML文件来描述这个request,其action,method,paramter等等。

获得数据如何处理:这个问题其实很重要,效率以及性能就是在这里体现的。最简单的,使用字符串匹配,比如,全文的第34个字符到65个字符是数据。这种方法速度快,但是适用性不强,换了页面就要重新计算。稍微好一点,使用正则表达式。这种方法的问题在于,很难获得不同的数据,比如对于一个页面,包含了姓名,id,ip,房间号码等数据,需要写不同的表达式,有的时候会比较麻烦,尤其是出现两个相同的数据,比如两个日期。

个人使用的方法倾向于XML,当然,也使用过正则。

XML的方式就是先使用JTidy对页面进行格式化,之后再使用JAXEN的XPath引擎进行XPath匹配。对于以表格方式出现的数据,XPath具有极大的优势。而且对于程序开发来讲,对于不同的页面,只用修改XPath语句以及数据存储的一部分,弄的好的话,可以极大降低开发成本,甚至完全可以用配置文件的方式对其进行配置。

数据的存储:数据库是很好的选择,但是有没有试过XML数据库?尤其是写小型的查询程序,把数据写入XML文件,之后使用XPath或者XQuery进行查询都是很好的选择。10万之内的纪录数都可以比较轻松的查询完。

事实上,相信大家都用过这样的软件,它的数据量大概是40万,他就是将数据存储到压缩过的XML文件中,使用时经过或者不经过压缩来获取。这个软件,叫做金山词霸.....

关于JTidy的使用,可以查看网上的文章,很简单,基本上照着例子就可以了。

对于XML和XPath的知识,IBM的开发者论坛是非常好的资料来源。

写这种程序的时候,希望不要以恶意的出发点来挖掘数据......

薏芽健脾凝胶怎么吃
孩子发烧不退怎么办
宝宝反复发烧怎么回事
小孩健脾怎么调理
猜你会喜欢的
猜你会喜欢的