《“十四五”数字经济发展规划》（国发[2021]29号）文件指出支持市场主体依法合规开展数据采集，聚焦数据清洗、分析等环节，提升数据资源处理能力，培育壮大数据服务产业。网络爬虫是目前互联网数据采集的主流技术之一。
       《网络爬虫开发》是我校大数据技术专业的一门专业核心课程，课程总学时60课时，前导课程为《Python程序设计》《数据库原理及应用》。以爬虫技术三大业务序列一发送请求、页面解析和数据存储的业务流程及考核标准为基础，确定教学内容以Python程序和网页设计与制作为理论和实践基础，通过学习语法，使用软件分析网页结构、编写程序爬取网页中的信息，并将爬取到的信息存储为一定格式的文件，最后对信息进行提取分析和挖掘。
       立足岗课赛证、紧贴数字产业化和产业数字化发展需求，在“知法守法、培养数字人才”的思政理念指导下，该课程旨在培养学生对互联网数据采集、数据处理、存储能力及实现数据可视化的综合能力。