Python抓取网页中的websocket数据 原理通过Python的selenium模块,加上phantomjs这个服务端浏览器工具,模拟用户请求网页数据,等数据都加载完成后,解析html提取数据。 代码12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152#-*-coding:utf-8-*-#抓取网页数据 2017-11-13 #HTTP #Python
修改文件创建时间 123456789101112131415161718192021222324252627282930313233343536373839404142434445$configs = array( '/var/www/html/adsour/zhongtai' => '20161227', '/var/www/html/adsour/zhon 2017-10-30 #PHP
cobra使用笔记 cobra是什么这是一个开源的代码静态扫描工具,可以扫描PHP等语言,是用Python写的。 安装python依赖包1/usr/local/python3/bin/pip3.5 install --trusted-host mirrors.aliyun.com -i http://mirrors.aliyun.com/pypi/simple Flask==0.10.1 Flask-RESTful 2017-10-17 #安全
面试的反面案例 最近面试了一个人,我感觉还不错,然后主管看了后觉得问题很多,这里记录下。 我的面试印象123456789毕业至今做的工作内容比较多,整体能力在一年工作经验的应聘者中算是不错的。技术方面,经验比较丰富,技术深度一般。沟通能力良好,能够将自己负责的内容描述清晰。可能潜在的风险点:1.他已经在南京结婚、买房,今后可能面临来自家庭方面的阻力。2.他期望能从事纯技术方面的内容,希望在一个技术氛围浓厚的团队工 2017-08-31 #面试
Apache日志配置 常用的几种日志格式HTTP请求日志 LogFormat “%h %l %u %t "%r" %m %>s %D %b "%{Referer}i" "%{User-Agent}i" "%{X-FORWARDED-FOR}i"“ common CustomLog “| /usr/local 2017-06-13 #HTTP #Linux
nginx+php-fpm和nginx+lua的性能对比 采用WPP的测试结果,这里记录下,今后可以作为参考。 测试环境 4核8G 测试逻辑 简单的redis的key/value读写 测试结果 10W请求,100并发,读操作 nginx+php-fpm nginx+lua Load Average(1分钟) 57.52 0.21 Requests per second 615.89 5366.76 10W请 2017-05-26 #PHP #性能
kill -USR2平滑重启php-fpm的案例 需求之前给部分服务器增加了logrotate日志分割功能,但是因为没有重启php-fpm,导致php-fpm的日志文件引用的仍然是分割前的老文件,达不到日志分割的效果。因此准备在/etc/logrotate.d/nginx中,postrotate之后,通过kill -USR2 `cat path_of_pid_file` 平滑重启php-fpm 问题做测试的时候,发 2017-04-18 #Linux #PHP
服务器IO统计脚本 1iostat -x 1|grep "sda3" > ~/iostat.3.28.log 1234567891011121314151617181920#!/bin/shlogFile="/home/thsweb/iostat.3.28.log"echo "Total Number Avg"echo "await:&qu 2017-03-28 #Linux
关于2016年终考核的一些感想 在人员考核和评价方面缺乏可量化的标准现在的问题: 1.现在个人主观感受会在评价时占据很大一部分比重,这其实对于组员是不公平的,可能前面 11 个月干得很好,最后一个月干得很烂,那这个人的年终考核就会比实际低(虽然今年的考核我在通过各种方法极力避免这种情况的发生,但是很可能还是有误伤的情况;而且今年评定组员的考核,花费了我非常多的时间,这说明了我自身的标准是模糊的);另外在人员招聘的时候,也是需要一 2017-02-08 #随想