由于一些数据采集任务需要访问外网API接口，在服务器没有配置代理的情况下无法正常采集。同时，由于我买的服务器内存只有2G，服务部署多了以后服务器资源压力比较大。所以将一部分数据采集和Web接口服务迁移到腾讯云函数进行部署，使用了半年多以后感觉还是挺不错的。

  数据源为研究生院官网公布的复试名单及拟录取名单，因此统计范围为上线同学成绩。
  学校公布的原文件都为PDF，需要将其转换为Excel表格，去除多余的表头。其中部分数据表字段不完整，仅使用单张数据表难以完成分析，需要使用python代码将多张表进行键值连接来联合查询。由于18、19年的数据相较20年以后差距较大，参考意义不大，本文仅对20年及以后的数据进行统计。
  完整的数据表已经整理好放到了我的知识星球中，需要的同学可以加入星球获取下载。欢迎大家一起来讨论交流，了解更多关于重邮考研的信息！

  Switch是我目前的主力游戏平台，在实现了Steam游戏数据采集以后，一直有实现Switch数据采集的执念。相较于可以使用Steam官方的API接口，任天堂官方并没有向普通用户开放接口，使得Switch游戏数据的获取极为困难。但因为Jump等一些应用平台上都上线了Switch账户绑定与游戏时长统计的功能，使我相信一定是有办法可以实现Switch数据采集的。
  起初想在任天堂官网找到相关的开发文档，但是并没有收获，反倒是发现目前网上的一些可行方案都是社区通过逆向工程解析出的Web API，不过流程相当复杂。好在最终找到了一篇基于python实现的文章，得以将流程跑通。
  因为我都是使用日服账号进行游戏，并开通了任天堂会员以同步游戏数据到云服务器，所以我的所有游玩记录都集中在日服账号上。本文计划获取自己Switch日服账户中所有游戏的信息以及各时段的游玩时长记录，并存储到个人数据中心当中。

  由于Steam官方提供了Web API接口和文档，因此我们可以很方便的获取自己的游戏记录，并存储到个人数据中心当中。
  本文计划获取自己Steam游戏库中所有游戏的信息以及各时段的游玩时长记录。

  最近一年花了很多时间来搭建自己的数据体系，正好看到少数派推的一篇关于年末数据报告的文章，于是也统计回顾一下我过去一年的数据。 影视  今年观看电影、动漫明显下降，电视剧上升较多，番剧大多都是看的以前老番的续集。 今年最喜欢的电影： 入殓师 子弹列车 ...

  本文承接个人数据中心解决方案，补全系统架构中的最后一个重要模块——数据备份模块。   即使再稳定的服务器也难免会遇到出问题的时候，所以异地容灾备份不可或缺。我的备份方案是每天将数据库中的重要数据表全量导出，然后备份到坚果云上。同样的思路也可以备份到不同的云 ...

  相信大多数热爱阅读的人也会喜欢将读过的书以及读书的记录保存下来，我也不例外。最开始我尝试过使用最原始的文本的方式进行记录，后来又使用了阅读记录这款app。   一年多的使用下来，我感觉阅读记录app确实是一个挺不错的应用，但是不适合我。作为一个免费用户， ...

  本文承接个人数据中心解决方案，实现系统架构中的数据应用模块，详细讲解企业微信机器人的申请配置以及后端系统框架的开发。 企业微信机器人  首先需要在企业微信官网注册一个个人的企业微信账号，并将该企业微信账号于自己的微信绑定，跟着引导流程填写相应的信息即可完成 ...

  本文承接个人数据中心解决方案，实现系统架构中的数据采集模块，详细讲解数据的采集以及调度方案。 数据采集项目结构data_acquisition├── LeanCloudAPI.py├── LeanCloudDA_SiriBlog.py├── NotionAPI.py├── N ...

阅读本文前需要先准备base_centos镜像：Docker：基于CentOS8的基础镜像制作 创建容器基于base_centos创建容器 端口规划： 内部端口 外部端口 22 10024 8787 8787 创建容器docker run -d -p 10024:22 ...