谢乾坤 | Kingname

给时光以生命。

关于我

个人介绍

单位:红杉中国 | 高级数据分析师
Github:https://github.com/kingname
学校:电子科技大学
联系方式:[email protected]
微信公众号:

出版作品

个人专利

一种验证码的处理方法、装置、终端及存储介质

微软 MVP

2020-2023年度微软最有价值专家。

MVP ID:5003916

技术背景

  • Python/Golang/Java/JavaScript
  • Scrapy/Pandas/Flask/Django/Tkinter
  • ELK/MaxCompute/Kafka/Linux
  • MongoDB/Redis/MySQL
  • Uiautomator/Android自动化测试
  • Scrum
  • 运营商数据清洗提取与分析/银行卡数据清洗提取与分析/APP数据清洗提取与分析/卫星数据识别与分析

工作经历

红杉中国

  • 2023.05 - 至今
  • 高级数据分析师
  • 投资人背后的工程团队,负责数据抓取、投资标的调研、尽职调查等事项。

字节跳动

  • 2022.07 - 2023.05
  • 高级后端工程师
  • 负责通用BI系统风神的开发维护和调优。

NewsBreak

  • 2020.09 - 2022.07
  • 高级研发工程师
  • 负责新闻类通用爬虫的开发和维护。实现了23个国家,日均近百万篇新闻入库

网易游戏

  • 2018.05 - 2021.09
  • 高级数据挖掘工程师、爬虫组组长、风言舆情项目技术负责人
  • 负责舆情干预项目/舆情监控系统项目的开发

连尚网络

  • 2017.12 - 2018.04
  • 资深爬虫工程师
  • 爬虫系统开发/可视化爬虫管理系统开发

BigOne Lab

  • 2017.02 - 2017.12
  • 数据工程师
  • 负责爬虫开发/数据采集/数据清洗/数据处理/架构设计

MediaTek.Inc

  • 2015.03 - 2017.02
  • 软件工程师
  • 负责自动化测试框架开发/自然语言处理

项目经历

直播平台舆情监控系统

  • 实时监控各大直播平台视频与弹幕舆情
  • 实现分布式爬虫调度系统(600台服务器)
  • 基于Django与Vue实现舆情可视化分析系统

舆情机器人

  • 对各大游戏论坛的舆论引导与干预
  • 实现自动发帖、点赞、踩、评论、回复评论
  • 基于Django与Vue实现机器人轨迹可视化监控与定制

信息流爬虫

  • 基于中间人攻击与Android自动化测试技术
  • 实现日均20万新闻入库
  • 使用Kafka做数据转发

Scrapy可视化管理系统

  • 在网页中监控并管理Scrapy爬虫
  • 自动批量化部署Scrapy爬虫

通用爬虫系统

  • 自动对网页聚类与分类
  • 自动抽取并格式化网页内容
  • 自动探测与突破反爬虫机制

脱敏系统

  • 对银行卡数据/运营商数据脱敏
  • 自动清除姓名/地址/电话号码
  • 100万+条秒每分

定向爬虫开发课程

  • 在极客学院讲授定向爬虫开发课程
  • 课程访问量大于十万

基于自然语言的自动化测试案例开发系统

  • 使QA可以通过英语开发自动化测试案例并立刻进行测试
  • 实现完全自然的英语语法
  • 已在美国和中国申请专利

自动化测试系统维护

  • 新功能开发
  • 技术支持
  • 这个项目为公司节约了很多QA的成本

开发匿名聊天网站——未知道

  • 上线第一天访问量破2000
  • 上线第二天,访问量破10000
  • 基于Flask与Bootstrap开发

数据挖掘

  • 百度贴吧、百度榜单、百度用户资料
  • 淘宝店铺信息及商品评论
  • 全国各大视频网站评论
  • 众多小网站
  • 使用Scrapy+Redis+MongoDB制作分布式爬虫

卖肉漫画下载器

  • 分析目标网站漏洞
  • 编写爬虫
  • 多线程下载
  • wxPython编写图形界面

选课辅助软件

  • 需求分析
  • 设计数据库
  • 使用Python完成软件,使用wxPython制作图形界面,使用MySQL储存课程
  • 通过学校创新训练项目答辩

Python的游戏开发

  • Coursera课程项目——RiceRock
  • 设计游戏数据结构
  • 使用面向对象编程设计游戏底层代码
  • 使用SimpleGui图形库完成游戏编写
  • 通过Rice大学项目课程审核

主要证书

  • 全国计算机等级考试三级网络技术证书
  • 全国计算机等级考试二级C证书
  • 大学英语六级证书
  • 大学英语四级证书

我的课程

分布式爬虫专项课程

Python利器,超凡蜘蛛带你“爬”世界

定向爬虫系列课程:

  1. 基本的正则表达式
  2. 单线程爬虫
  3. Xpath与多线程爬虫
  4. 简单的模拟登录
  5. Scrapy初探
  6. MongoDB与Scrapy
  7. Scrapy与Redis入门
  8. 定向爬虫:动态加载网页的爬取

远控软件系列课程:

  1. 微信远控:Python 控制电脑的两种方法
  2. 微信远控:让微信控制电脑
  3. Flask 快速搭建网站
  4. 网页遥控电脑
  5. 编写图形界面的远程控制程序
  6. 开发远程控制程序高级功能

RSA 公钥

如果你需要给我发送任何不希望被监控的消息,你可以使用如下 RSA 公钥加密信息以后通过邮箱发送给我。

1
2
3
4
5
6
7
8
-----BEGIN RSA PUBLIC KEY-----
MIIBCgKCAQEApQSWvu/C5NH3aEGMqFTeiJrXbOM2Qi+uXc+FiApEWDYdyEMPQWKH
exJiFoyAa+JJ8OfmkTIVktkx0VqEcvfjfKxrGPk9JuQ6WL4/UUYs8/F+2ArDnMyR
lWcqaf1658QjrWYbFHxQ0eEOZ6RcRKME3p431mDMqeDpQtqlDyeMKGp7hSv5gnpd
Qjlyl1Jgoa4lAzyPv66IM1PD207qjLFCTY0udiWSFDiUlvgXcBHDypUqWGOUUSLE
vVXIE+KYNbR2g23iRa1IJGSCEz1xllt7QpygCwwd+vVGD8zaCHOEE7Fex0K/ybhi
Nvdt19qgxE8aIwGt0ln71DNpn+yZsq4fIwIDAQAB
-----END RSA PUBLIC KEY-----

关于本站

若无特殊说明,主站所有文章均为原创文章,并遵循 CC BY-SA 4.0 协议发布。

你可以自由地对博客中内容进行分享和创作演绎,但必须在文章末尾或参考文献处注明文章的出处(文章链接)。完整的协议可以参看这里

0%