五月下旬到现在的一系列事情,突然打乱了我的工作和生活节奏,开发进度明显慢了许多。由于不加班,那时候上班都是比较紧凑,尽量把事情做完的。回到家,更是没有时间进行开发和调试了。难得这两天上班比较闲,利用上班时间写好了一个APP,准备为《实况炒股》加上一个新的功能——大概相当于一个新闻发布台吧,弄点股票的新闻和新手入门上去。为了不惹事,就不让人发帖了,还增加了“本站所有内容均转载自互联网,登载文章出于传递更多信息之目的,并不意味着赞同其观点或证实其描述。文章内容仅供参考,不构成投资建议。投资者据此操作,风险自担。股市有风险,入市需谨慎。"。

     目前所有信息都是通过定时从互联网上抓取过来的,主要使用了GAE最新的功能Cron和Task Queue。细节我就不多谈了,Google的文档写得很清楚。

1、必要性
     时间有限,我对股市不是很感兴趣了,所以当然不能自己每天去指定网站去看文章,然后粘帖发布到自己网站上去了。所以,必须要用到Cron,让程序自动定时去执行,让它勤快它就有多勤快。

     我要先解析一个页面,获得n个链接,然后再去这n个链接中解析以获得内容。单纯一个urlfetch的话,肯定是超时的,所以这时就必须要用到Task Queue,把n个链接要做的工作依次添加到Task Queue里去,让Task Queue依次去运行。

2、我这个APP的实现思路:
(1)配置好Cron.yaml,写好相关的handler,定时去触发一个cron。在Cron的处理Handler中,将n个要处理的函数放入Task Queue里,让工作在后台执行。
(2)每次Cron时只增加最新的文章,旧的就不更新了,所以,我定义了一个标志位保存了最近一篇文章的url或者时间,早于这个标志位的旧文章,就直接被Cron Handler过滤掉,不会添加到Task Queue里去。

网站地址:http://thegupiao.appspot.com/