爬虫工程师的主要工作内容包括：

参与爬虫系统的架构设计与开发：

设计并实现高效、可扩展的爬虫系统架构，确保系统稳定运行并满足业务需求。

实际爬虫开发及内容提取：

具备至少1年以上的实际爬虫开发经验，能够编写和优化爬虫程序，从网页或API接口中提取所需数据。

分布式网络爬虫系统设计与开发：

负责设计和开发能够同时在多个平台进行信息抓取和分析的分布式网络爬虫系统。

设计爬虫策略和防屏蔽规则：

制定有效的爬虫策略和防屏蔽规则，以提高网页抓取的效率和质量，应对目标网站的反爬机制。

数据处理与清洗：

对抓取到的数据进行整理、清洗、分类和筛选，确保数据的质量和准确性，便于后续的数据分析和使用。

系统维护与改进：

负责现有爬虫系统的日常运维和代码维护，及时解决运行过程中出现的技术问题，并根据需求进行系统优化。

团队协作与技术提升：

与团队成员紧密合作，共同完成爬虫项目的开发和优化，并保持对新技术和新趋势的敏感度，不断提升个人技能水平。

编写技术文档：

负责编写和整理爬虫相关技术文档，包括系统架构设计、开发文档、用户手册等，以便于团队内部和外部人员的理解和维护。

大数据产品支持：

为大数据产品提供所需的信息抓取、解析和清洗等研发与优化工作，支持业务分析和决策。

抗封技能研究：

研究各种反爬虫技术，设计有效的防屏蔽规则，提高爬虫的抓取效率和成功率。

这些职责要求爬虫工程师具备扎实的技术基础、良好的问题解决能力、以及优秀的团队协作和沟通能力。掌握Python、Java等编程语言，以及Scrapy、Beautiful Soup等爬虫框架和工具，是这一岗位的重要技能要求。