数据抓取工作 ODDS.500.COM 新版网页版程序演示
数据抓取工作 ODDS.500.COM 新版网页版程序演示
举例你想取日职联赛的数据,看到网址是http://liansai.500.com/zuqiu-3748/
这时你只需要记下 3748这个编号,就可以了
之后再浏览器只需要输入网址即可,例如, http://www.inhhh.com/odds502.php?c=match&a=getmatch&sid=3748&roun=12,13&cid=1,2
解释下:3748就是你刚才记下的数字,需要下哪场就改哪个数据
12,13 这个数字代表第12至第13轮的范围,当然如果填1,13也是可以的
1,2 代表公司编号,这个必须用逗号分隔,不能用范围表示,例如1,2,3,
公司代码表如下:
最后出来结果如下:
数据抓取工作 ODDS.500.COM 程序演示
首先,程序列表中有下列文件
1. 爬虫odds.500.com.exe
2.setting.txt
3.所有公司.txt
4. mfc100.dll
第一步打开《setting.txt》, 第一行是要查询的网址(需要是修改),第二行是固定的跳板(不能修改)第三行是下载的数据存放的文件(可以修改)
后面的是各个公司的名称,这些数据可以从《所有公司.txt》中获取
第二步,打开程序,在右下角的图标或者右上角的透明图标上可以右键,测水一次。完成会有提示。
最后自动在生成d:\my.csv数据。
。完。
数据抓取工作 ODDS.500.COM
今天收到朋友要求,做一个工作,做一个件软件 ,关于数据抓取 ODDS.500.COM
先来说说如果手工操作是这样的,打开网址 http://liansai.500.com/zuqiu-3748/ 点击分析,进去百家欧赔,再点一个公司,就看到这个公司历史的赔率。
抓取各公司赔率的历史变化
下面开始工作,
第一个界面很简单
随便一个浏览器输入网址得到HTML代取,截取就可以了。得到关键信息,{开场时间,主队名称,客队名称,这场比赛的ID号}
网址 http://odds.500.com/fenxi/ouzhi-这场比赛的ID号.shtml 就是第二页了。
第二个界面就难多了,进去后,发现动条,往下走,数据才加载出来吧,好吧,我认为打开打开,并不会得到全部的数据,必须发送数据过去。打开跟踪后发现果然如此
发送了这个数据包。
而很不幸运的时,返回来的数据包,压缩过的,估计是没有 加密的。
看来下一步要先研究出解压,并且加载后面部分的数据的方法先。
后来还是浏览器的F12方便,直接看到请求,
http://odds.500.com/fenxi1/json/ouzhi.php?_=1466871817505&fid=559387&cid=1&r=1&time=2016-06-25+16%3A36%3A36&type=europe
获取到最后的明细了,这就是点击出来的历史赔率
未完, 待续,。
绝对的BS, 李易峰肇事被扣24分罚款2000
BS的重点是,跑了,就什么都查不到了,有没有酒驾自己说了算,以后会有更多人撞了,或者酒驾撞了就跑,因为酒驾/醉驾撞了,被查到,要进去的,高晓松就是这样。就应该从严处理,特别是所谓的名人。
虽然我有面盲症,记不住,这猪的样子,但是会记得这样的名子,
如果我是导演,绝不用这样的人,作为一个观众,他拍的电影,也要三思,如果还要给钱进场的更三思。
新闻连接:http://news.qq.com/a/20160616/002625.htm
Tushare的数据来源
因为Tushare的数据来源是
聚合数据 最重要免费的
接口这次换成聚合数据,
参考资料我从这里拿 的,https://www.juhe.cn/docs/api/id/21
不过由于没有C++ 的代码,我们先看C#的可以拿 过来改一下。
将python运行结果读取到vc中
//将python运行结果读取到vc中
char *cstr;
PyObject *pstr;
PyObject *main_dict;
Py_Initialize();
PyObject* main_module = PyImport_AddModule(“tushare”);
main_dict = PyModule_GetDict(main_module);
PyRun_SimpleString(“x=tushare.get_hist_data(‘600848′,start=’2016-01-05′,end=’2016-01-09’)”); //这里是获取600848 2016-1-05 到2016-1-9后的日线。
pstr = PyRun_String(“x”, Py_eval_input, main_dict, main_dict);
PyArg_Parse(pstr,”s”,&cstr); //转换
tDebug(cstr);
Py_Finalize();
总结:这种方法,不太好,太慢了。只适后盘点慢慢下载数据。
C++ 调用 Python 代码测试 二 解决不能运行问题
网上查了很久,不知道为什么出问题,无法解析的外部符号 _PyString_FromString
原来我用的是Python3.x 版,
函数都变了
PyString_* 改为PyUnicode_*,
Pyint_*改为PyLong_*,
程序回复正常,版的问题一定要注意。
PHP源代码生成 main/config.w32.h
PHP源代码生成 main/config.w32.h
准备好PHP源代码,假设解压到 D:\phpsrc
下载2个必要的包
http://inhhh.com/download/bindlib_w32.zip
http://inhhh.com/download/win32build.zip
把这2个包的内容放一起,例如解压缩到 D:\win32build
请使用 Visual Studio Tools 下的 Visual Studio 命令提示 操作
进入D:\php-src\
执行buildconf.bat
建立一个临时环境变量,执行set path=%path%;D:\win32build\bin
执行 cscript /nologo configure.js –with-php-build=”../win32build” –without-libxml –disable-odbc
如果想要No Thread Safe 模式就在上面的命令最后加上参数 –disable-zts
然后看看是不是main下面多了一个 config.w32.h~
还有一点,config.w32.h 里面 #define PHP_COMPILER_ID 改成和你正在用的 PHP 编译版本相同的编译器ID,例如VC6或者VC9,不然编译出来的扩展没法载入,说实话,这个ID的判断真的很傻很天真….
注:以上过程在PHP5.3.5 + VS2010 下测试通过
安装linux Gentoo全程
我写的这些文章,都是边做,边截图,做写文章的,所以之后还会更新。
安装linux Gentoo的原因很多,因为需要这样一个环境,去试东西,
准备工作
- 我把stage3-i486-20140318.tar.bz2和portage-latest.tar.bz2包添加到镜像install-x86-minimal-20140318.iso中 这样只需要在CD中引一个ISO文件即可
-
配置VM
开始安装
- 输入检查网卡,发现我的网卡叫eno16777736, IP是192.168.128.136
- 分区
- 格式化分区 & 挂载分区
- 解压文件
- 修改配置
- 安装
- 进入新的系统环境
mount -t proc none /mnt/gentoo/proc
-
chroot /mnt/gentoo /bin/bash env-update source /etc/profile
- 更新Portage树
emerge --sync --quiet # 验证系统profile eselect profile list
- 更新时区
ls /usr/share/zoneinfo #查看时区 cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime #我使用的是上海
- 安装内核。
emerge gentoo-sources #安装内核源码 ls -l /usr/src/linux #查看内核连接
- 手动配置
- 我是32位系统。所以64-bit kernel 前边的*一定要去掉
需配置,按↓到File System回车进入,因为我用的ext4,所以把EXt4 debugging support选上
然后Tab选择到save 回车,然后选OK,Exit回车,然后在选Exit推出 - 编译内核
- 安装内核
- 配置文件系统
- 修改主机名称
- 配置网络
- 配置root密码
- 安装系统工具
- 最后阶段