2014年12月20日 星期六 晴
今天宅了一天,逼着自己写下去。写程序跟写小说估计差不多,或许有个大概的提纲,但关键的小细节会纠结半天。有时候根本就写不下去。
下面是笔记,写下来真的是可以帮助自己思考和规划的。
今天的主要进展:
- 数据呈现方面:写了模拟的数据方面的,用Highcharts画的图,细节可以再扣一下,比如要呈现多少行多少列的数据,要呈现哪个纬度的数据(比如交易额排序还是涨幅排序,我想还是交易额的涨环比幅或者在总交易额的百分比会比比较说明问题 ,这个还得细想)。
我也比较重视在手机方面的效果,对比如下:QQ自带的浏览器 > Android原生浏览器 > 微信自带浏览器,没试过其他浏览器。要是微信采用QQ的浏览器就好了。
- 行业数据的抓取和存储方面 我可以抓任意指定股票的实时数据,但考虑到流量和CPU费用问题,觉得在交易时间里每15~20分钟抓一次就好,不做实时更新。 我本地抓取的程序没问题,但如果不是多线程的话,比如抓49个行业的数据再解析统计,会比较耗费时间的,或许运行的时候就在云里挂掉了。在网络上,应该cron和taskqueque的形式来更新数据。
或者我一次性把2500~2600只A股和B股的数据分成50或100个并行task去干活,都抓取出来,存在数据库里,行业/地区等不同纬度等用数据统计的地方直接读数据库就好。
明天目标:
- 想清楚在云里怎么组织数据,并把本地的数据模拟解析上传一部分(比如30个交易日的)。
- 写好定时解析存储网络数据的接口。
这个周末只是demo,回头会清空数据。下个周末就要把所有数据都传上去了。在元旦前把所有数据都传上去,流量就只算这个月的。
...