如何实现微信公众号历史消息数据抓取并整理为excel表格

一、应用场景

作为新媒体运营人员或者数据分析人员,获取并分析自营公众号的营销数据与竞品公众号的营销数据可以为当前绩效与未来决策提供数据支持。

微信公众号作为主流新媒体平台之一,被专业新媒体人与各企业新媒体运营人员所重视。本文就是针对“如何实现微信公众号历史数据抓取并整理为excel表格”的问题,提出初步解决方案与改良方案。

二、难点分析

微信公众号历史消息数据是基于html5+ajax方式进行加载的。不过与普通微网站不同的是:微信公众号历史消息页只能在微信中打开,在其他浏览器中无法打开。所以,不能用普通爬虫工具直接爬取数据,如何爬取数据成为一个难题。

三、解决方案

注意:此教程不是小白教程,只是提供解决思路。欢迎与博主沟通探讨。 继续阅读如何实现微信公众号历史消息数据抓取并整理为excel表格

低成本搭建网站生产环境-反向代理

由于工作需要,本人除了开发还要做些必要的运维工作,因此积累了些生产环境搭建与优化的经验。本人还是个人站长,所以又对低成本运营网站十分关注。本文正是结合两者,试图通过技术解决运维成本的问题,而提出的设想。——目前已经在公司做产品展示环境搭建,进行了初步验证。

本文主要提供解决思路,不会提供大篇幅代码。本文适合具有一定技术基础的朋友,而且文中涉及的技术有不少同类替代方案,请因地制宜的实施。有需要或者感兴趣的博友请关注公众号“李德涛博客”或者邮件联系“ldt#lidetao.com(#换成@)

一、一个正常网站的成本分析

a) 域名

域名是网站的名字,一般注册个新域名的成本在20-100元左右。优秀的域名大都被米农收购,需要用较高成本获取,价格有行情确定,极其优秀的域名可价值几百万甚至几千万(当然你要是有能力购买这类域名,就不会看本文章了)。

b) 网站服务器

网站是程序,程序需要运行在计算机上。网站服务器就是运行网站程序的物理(或者虚拟)计算设备资源。这类计算设备资源有物理服务器、虚拟服务器(也叫vps或者ecs)、虚拟空间等,成本依次往下降低。一般使用phpasp或者jspcms进行建站的一般使用虚拟空间就够了,成本在每年几十到几千不等(主要与配置有关,也有免费的低配)。本文构思是由于网站使用了新的技术,传统虚拟空间无法满足要求,但虚拟服务器价格相对较高(对于一个穷酸秀才来说),此方案的核心思想是尽可能少的使用收费的计算资源,而只使用其网络资源。

c) 公网环境

网站需要被访问,需要发布到Internet上,稳定的公网ip与网络服务是必不可少的。对于企业来说,有的会自建机房,拉专线并买独立IP;也有的把服务器托管到运营商的机房里,这对于一个小站长来说都是不可想象的。一般会使用IDC服务商提供的虚拟空间或者虚拟服务器等计算资源,他们一般会绑定网络资源一同销售。

d) 运营成本

对于个人站长来说,运营成本可大可小,主要是花费些时间充实网站内容,做SEO,做产品或者服务营销。

二、反向代理降低成本的解决方案

a) 方案核心思想 继续阅读低成本搭建网站生产环境-反向代理

netdata-linux服务器运维与性能监控的神器

用于工作原因,服务器监控的事时不时的发生(要么cpu过高、要么内存不足、要么流量异常、要么某个服务死了,你懂得~)。

一直需要一个能进行一个监控的工具,但绝大部分部分的监控平台,都是通过服务器上的脚本插件把数据传输到第三方平台,总感觉这样不好~自己用python或者shell开发一个呢,功能又没这么全。

终于等到你,还好没放弃!意外发现了开源的netdata,这是一个在服务器端安装服务器监控工具。报表结果通过web页面的形式进行查看。

监控的内部有很多:

服务器基本的cpu、io、内存等;

apache、tomcat、mysql等服务的性能(需要单独配置下,还没进行操作);

硬件温度,电压等参数;

等等…..

访问端口为19999,没有登录账号一说。为了安全起见,建议安装一个vpn,并设置为vpn内网访问。

阿里云主机发布wordpress网站

一、登陆阿里云主机后台,获取主机信息并修改主机的环境参数

a) 获取阿里云主机的ftp账号与数据库账号

b) 修改云主机的php版本

c) 启动云主机的php的模块

二、通过ftp工具把wordpress程序进行上传

a) 通过ftp工具(我用的flashfxp连接云主机 继续阅读阿里云主机发布wordpress网站

吓死宝宝了,网站莫名其妙的转入国内了

下午还好好,突然收到通知,服务器违规被关了。想想最近也没做啥额,就升级了下程序,备了个案。

好吧,能得到源程序就好,正好备案刚下来,那就转到国内吧~

后台编辑终于快了,就是不知谷歌收录情况会如何……