账号注册找回密码
  微信登录

奇瑰网社区

采集程序设计经验交流(一) 前言

[复制链接]

0

主题

0

帖子

9

积分

普通会员

Rank: 1

G币
0
信用
0
体力
6
发表于 2020-7-22 20:38:59 | 显示全部楼层 |阅读模式
"小网站本不需要维护,只是因为你的程序太笨了,所以你成了无休止的网站维护者。"沉默的海?
?
  前言?
?
  经常有朋友在Q群(75604923)里问起采集的相关问题,每次针对个人回答的时候,总是无法说得很全面,很多朋友表示不满意,今天发表此文,详细介绍一下采集程序的设计思路。其实"沉默的海"本是一名业余ASP爱好者,ASP综合技术水平应该说是一个"二把刀"。但对于采集程序的编写,应该说还有点研究,因为我是因为采集程序才迷上编程、迷上ASP,也是从这里开始了自己的编程之路。?
?
  一、 采集程序的作用。?
?
  这个问题也许不用多说,每个站长可能都感觉特别的需要,因为我们精力必竟有限,不象那些大的网络公司,有专门的新闻记者和网络写手。这样以来,要想使自己的网站内容丰富起来,借签别的网站上的内容无疑成了一个最好的办法,也就是这个原因,数以千计的站长不知不觉中成了"复制粘贴"的操作手,在和站长朋友的聊天中得知,多数站长每天做的工作就是"复制粘贴"。这是一个多么枯燥的工作啊,但,为了自己的希望也不得不去做这些最让人讨厌的事情。

  这样以来,采集程序成为站长们必不可少的一个工具,给站长们带来了很多的便利,即使我们的网站内容得到了丰富,又节省了很多的精力和时间。(

  但,有多站长却又不会自己设计采集程序,从网上下载的程序要么是收费的,要么是功能不全的,往往不能让人满意。即便是收费的,用起来也不是十分方便,因为需要很多手工的操作。

  "沉默的海"认为:采集程序要想真正发挥其方便快捷的优势,最好的一个办法是针对自己的网站量身设计,而后和网站集成在一起,成为网站的一部分,只有这样,才能算是一个成功的采集程序。

  可是,采集程序怎么做呢?难吗?

  二、 采集程序怎么做。

  "沉默的海"认为,采集程序设计一点都不难,只要有一些ASP编程常识,我觉得一天之内学会它,是没有问题的。(相信我的话,你就把文章看完,我保证不会让你失望;不相信我的话也请你看完,我保证看完后你会相信我的话。)?
?
  采集程序的基本原理其实很简单:包括两个步骤:?
?
  1、 下载目标网页;?
?
  大家知道,采集程序帮我们做的工作其实就是"复制和粘贴",那么要把一个网站复制下来,首页你需要把网页打开啊,这个过程其实就是下载目标网页,只不过我们不是人工下载,而是利用程序来完成它。?
?
  这里有"核心技术":XMLHTTP,它可以把网页下载以备下一步的使用。?
?
  2、 提取网页中我们需要的内容;?
?
  上一步我们完成了第一步:下载网页。?
?
  但并不是所有下载的内容都是我们需要的,所以还要做的工作就是,提取我们需要的内容,去除不需要的,存入数据库。这一步的主要技术是:正则表达式。?
?
  三、 做什么样的采集程序。?
?
  做了以上两步,应该说一个完整的采集程序已经完成了。它可以采集到我们需要的内容,而后存入数据库,供我们使用。可是,这是我们真正需要的吗?显然不是,因为我们既然要用采集程序来支持我们的网站,那就要用它来完成几乎所以的工作。我认为:如果你的网站加了采集程序,那么即使长年不维护,网站依然是新的,这样才算是成功的。?
?
  上面的采集程序显然做不到,因为你还得启动采集程序,然后把数据导入网站的数据库,然后生成,等等等等,还有很多工作需要我们来做。我们理想中的采集程序是不需要人工来做任何工作的,所以在完成采集程序之后我们还要做一些配套的程序,以保证采集程序的运行,和与网站的完美集成。?
?
  1、 自动启动采集程序;?
?
  2、 将采集数据直接写入网站数据库;?
?
  3、 配套生成等后续工作。?
?
  做了以上三点,我们才可以说自己做了一套还算可以的采集程序,那么我们具体应该怎么做呢,请看《采集程序设计经验交流(二)下载网页》。




上一篇:学会分析对手网站
下一篇:外链适可而止,效果更明显
使用高级回帖 (可批量传图、插入视频等)

发表回复

您需要登录后才可以回帖 登录 | 账号注册   微信登录

本版积分规则   Ctrl + Enter 快速发布  

发帖时请遵守我国法律,网站会将有关你发帖内容、时间以及发帖IP地址等记录保留,只要接到合法请求,即会将信息提供给有关政府机构。
Powered by Discuz! X3.4 ( 粤ICP备20013252号-1  
Copyright © 2014-2020 奇瑰网 All Rights Reserved.
快速回复 返回顶部 返回列表