关于我

个人介绍

单位:网易游戏 | 伏羲实验室 | 高级数据挖掘工程师
Github:https://github.com/kingname
学校:电子科技大学
联系方式:[email protected]
微信公众号:

出版作品

技术背景

  • Python/Golang/Java/JavaScript
  • Scrapy/Pandas/Flask/Django/Tkinter
  • ELK/MaxCompute/Kafka/Linux
  • MongoDB/Redis/MySQL
  • Uiautomator/Android自动化测试
  • Scrum
  • 运营商数据清洗提取与分析/银行卡数据清洗提取与分析/APP数据清洗提取与分析/卫星数据识别与分析

工作经历

网易游戏

  • 2018.05 - 至今
  • 高级数据挖掘工程师
  • 负责舆情机器人项目/舆情监控系统项目的开发

连尚网络

  • 2017.12 - 2018.04
  • 资深爬虫工程师
  • 爬虫系统开发/可视化爬虫管理系统开发

BigOne Lab

  • 2017.02 - 2017.12
  • 数据工程师
  • 负责爬虫开发/数据采集/数据清洗/数据处理/架构设计

MediaTek.Inc

  • 2015.03 - 2017.02
  • 软件工程师
  • 负责自动化测试框架开发/自然语言处理

项目经历

直播平台舆情监控系统

  • 实时监控各大直播平台视频与弹幕舆情
  • 实现分布式爬虫调度系统(600台服务器)
  • 基于Django与Vue实现舆情可视化分析系统

舆情机器人

  • 对各大游戏论坛的舆论引导与干预
  • 实现自动发帖、点赞、踩、评论、回复评论
  • 基于Django与Vue实现机器人轨迹可视化监控与定制

信息流爬虫

  • 基于中间人攻击与Android自动化测试技术
  • 实现日均20万新闻入库
  • 使用Kafka做数据转发

Scrapy可视化管理系统

  • 在网页中监控并管理Scrapy爬虫
  • 自动批量化部署Scrapy爬虫

通用爬虫系统

  • 自动对网页聚类与分类
  • 自动抽取并格式化网页内容
  • 自动探测与突破反爬虫机制

脱敏系统

  • 对银行卡数据/运营商数据脱敏
  • 自动清除姓名/地址/电话号码
  • 100万+条秒每分

定向爬虫开发课程

  • 在极客学院讲授定向爬虫开发课程
  • 课程访问量大于十万

基于自然语言的自动化测试案例开发系统

  • 使QA可以通过英语开发自动化测试案例并立刻进行测试
  • 实现完全自然的英语语法
  • 已在美国和中国申请专利

自动化测试系统维护

  • 新功能开发
  • 技术支持
  • 这个项目为公司节约了很多QA的成本

开发匿名聊天网站——未知道

  • 上线第一天访问量破2000
  • 上线第二天,访问量破10000
  • 基于Flask与Bootstrap开发

数据挖掘

  • 百度贴吧、百度榜单、百度用户资料
  • 淘宝店铺信息及商品评论
  • 全国各大视频网站评论
  • 众多小网站
  • 使用Scrapy+Redis+MongoDB制作分布式爬虫

卖肉漫画下载器

  • 分析目标网站漏洞
  • 编写爬虫
  • 多线程下载
  • wxPython编写图形界面

选课辅助软件

  • 需求分析
  • 设计数据库
  • 使用Python完成软件,使用wxPython制作图形界面,使用MySQL储存课程
  • 通过学校创新训练项目答辩

Python的游戏开发

  • Coursera课程项目——RiceRock
  • 设计游戏数据结构
  • 使用面向对象编程设计游戏底层代码
  • 使用SimpleGui图形库完成游戏编写
  • 通过Rice大学项目课程审核

主要证书

  • 全国计算机等级考试三级网络技术证书
  • 全国计算机等级考试二级C证书
  • 大学英语六级证书
  • 大学英语四级证书

我的课程

分布式爬虫专项课程

Python利器,超凡蜘蛛带你“爬”世界

定向爬虫系列课程:

  1. 基本的正则表达式
  2. 单线程爬虫
  3. Xpath与多线程爬虫
  4. 简单的模拟登录
  5. Scrapy初探
  6. MongoDB与Scrapy
  7. Scrapy与Redis入门
  8. 定向爬虫:动态加载网页的爬取

远控软件系列课程:

  1. 微信远控:Python 控制电脑的两种方法
  2. 微信远控:让微信控制电脑
  3. Flask 快速搭建网站
  4. 网页遥控电脑
  5. 编写图形界面的远程控制程序
  6. 开发远程控制程序高级功能

关于本站

若无特殊说明,主站所有文章均为原创文章,并遵循 CC BY-SA 4.0 协议发布。

你可以自由地对博客中内容进行分享和创作演绎,但必须在文章末尾或参考文献处注明文章的出处(文章链接)。完整的协议可以参看这里