![Python网络爬虫从入门到精通](https://wfqqreader-1252317822.image.myqcloud.com/cover/915/44509915/b_44509915.jpg)
1.4 搭建开发环境
1.4.1 安装Anaconda
Anaconda是一个完全免费的大规模数据处理、预测分析和科学计算工具。该工具中不仅集成了Python解析器,还有很多用于数据处理和科学计算的第三方模块,其中也包含许多网络爬虫所需要使用的模块,如requests模块、Beautiful Soup模块、lxml模块等。
在Windows系统下的浏览器中打开Anaconda的官方地址(https://www.anaconda.com/distribution/)下载对应的安装文件,如图1.2所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P16_52455.jpg?sign=1739393553-6HxKBVtUKf8jAo1uE2VcUbDCLFEaaxiD-0-68a139b8d0473fd8ba1e37506a11312e)
图1.2 下载Anaconda
这里笔者所选择的是Windows(64-Bit Graphical Installer为当时的最新版本),下载完成后直接双击运行下载的文件,在Welcome to Anaconda3(自己下载的版本)窗口中直接单击Next按钮,如图1.3所示。
在License Agreement窗口中直接单击I Agree按钮,如图1.4所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P17_52456.jpg?sign=1739393553-ltXZ3nckWqlcnxX35C3aml1OqNJkE6Qd-0-aa3ac164d55dee01e3a7682229dad7b4)
图1.3 Welcome to Anaconda3窗口
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P17_52457.jpg?sign=1739393553-pn3CIi40cVdaEyGodEXt50pFTU3OFiUW-0-36d1ac9d208591ced3dafa772b265198)
图1.4 License Agreement窗口
在Select Installation Type窗口内选中All Users(requires admin privileges)单选按钮,然后单击Next按钮,如图1.5所示。
在Choose Install Location窗口中选择自己的安装路径(建议不要使用中文路径),这里笔者选择一个自定义的安装路径,然后单击Next按钮,如图1.6所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P17_52458.jpg?sign=1739393553-hhIu6K46zCRlImzCABVLvAIXEeRYJJhf-0-f940bcbfe94fbde70dad3482ee4d5a86)
图1.5 选中All Users(requires admin privileges)单选按钮
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P17_52459.jpg?sign=1739393553-wWmmZb6hS5SzXQvl7mf1ZbGPEQdxOCti-0-aac03d65154b462b9fd2ba4e8c6deebd)
图1.6 选择安装路径
在Advanced Installation Options窗口中,选中第一个复选框,将Anaconda加入环境变量,然后单击Install按钮进行安装,如图1.7所示。
由于Anaconda中包含的模块较多,所以在安装过程中需要等待的时间较长,安装进度如图1.8所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P18_52462.jpg?sign=1739393553-tRhBNhtocXA6kA1Xat0x2TK0yiTMQdAU-0-e4fbf090f31fc9c63b743a70fadb1d00)
图1.7 将Anaconda加入环境变量
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P18_4507.jpg?sign=1739393553-JdNplvcM0wofztEmSQbP5wUFSQAtispG-0-6b6fc8695d0defe5add10e86429205e2)
图1.8 安装进度
安装进度完成以后,将进入Installation Complete窗口中,在该窗口中直接单击Next按钮,如图1.9所示。
由于Anaconda与JetBrains为合作关系,所以官方推荐使用PyCharm开发工具,在该窗口中直接单击Next按钮,如图1.10所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P18_52463.jpg?sign=1739393553-KSN9AcTCj53wASCF7LIpC0hpFEiZ7Sdp-0-3d42712d49d65a6dab456466a64ee5df)
图1.9 安装完成
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P18_52464.jpg?sign=1739393553-FPBGE07Aa9LN5w1UMJXvTnXC1AqK2LqZ-0-be88f4d3f24cfc160aa1a85ec928fb1d)
图1.10 PyCharm开发工具提示
最后在“Thanks for installing Anaconda3!”窗口中根据个人需求,选中或取消选中(笔者选择取消选中)两个复选框,再单击Finish按钮,如图1.11所示。
将Anaconda安装完成以后并保证已经添加系统环境变量的情况下,打开“命令提示符”窗口,然后输入“conda list”后按Enter键,即可查看当前Anaconda已经安装好的所有模块,如图1.12所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P19_52465.jpg?sign=1739393553-5DkeKoRxpDwhmvAd7TqKfBYg4mLVsXip-0-289bbfc7fac69bbd925fb4f9a5d399be)
图1.11 安装结束
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P19_4598.jpg?sign=1739393553-NCK5oigusOCqQPjbrn6XLxPjBXN88QEd-0-b882a66fd0441d1b58b3a4795c8ab8a8)
图1.12 查看当前Anaconda已经安装好的所有模块
1.4.2 PyCharm的下载与安装
PyCharm是由JetBrains公司开发的Python集成开发环境,由于其具有智能代码编辑器,可实现自动代码格式化、代码完成、智能提示、重构、单元测试、自动导入和一键代码导航等功能,目前已成为Python专业开发人员和初学者使用的有力工具。
打开PyCharm官网的下载地址(https://www.jetbrains.com/pycharm/download/),然后选择下载PyCharm的操作系统平台为Windows,单击开始下载社区版PyCharm(Community),如图1.13所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P19_52466.jpg?sign=1739393553-dfBSifikp3GpFa2cvttbHL3tNc9VCaf9-0-f360d5a9f124795bc9042ae2c9e36dfd)
图1.13 PyCharm环境与版本下载选择页面
双击PyCharm安装包进行安装,在欢迎界面单击Next按钮进入软件安装路径设置界面,如图1.14所示。
在Choose Install Location窗口中选择一个需要安装的路径,这里不建议将安装路径设置在默认的C盘中,笔者选择自定义安装路径,确认安装路径后单击Next按钮,如图1.15所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P20_52467.jpg?sign=1739393553-dLhfutTEgYlaHDYcGsNJlYoElJqNpeTU-0-6b9a91e7c01d0c9955117a34e0311e68)
图1.14 PyCharm欢迎界面
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P20_52468.jpg?sign=1739393553-ThoyzeI6CpT1VltuAgpyyMTlCGGOxMBs-0-720fae0a0a013ff0c1120c6b600884e2)
图1.15 设置PyCharm安装路径
在Installation Options窗口中首先在桌面快捷方式(Create Desktop Shortcut)中设置PyCharm程序的快捷方式,笔者系统为64位,所以选中64-bit launcher复选框,然后设置关联文件(Create Associations),选中“.py”复选框,这样以后再打开.py(.py文件是Python脚本文件,接下来编写的很多程序都是后缀名为.py的文件)文件时,会默认调用PyCharm打开,如图1.16所示。
在Choose Start Menu Folder窗口中直接单击Install按钮,如图1.17所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P20_52469.jpg?sign=1739393553-4PgQjRxvUggfZDybZD549S8iBb0CKHI9-0-ae45140ec24b4185f9811f49dd9e7a75)
图1.16 设置快捷方式和关联
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P20_52470.jpg?sign=1739393553-Rk1juvgYBEV8Bwct8AJJLVMakrfg7LRb-0-dd3352b3fd0f003881bcd80a9b7dbefc)
图1.17 选择开始菜单文件夹窗口
安装进度完成以后,在Completing PyCharm Community Edition Setup窗口中,在不直接运行PyCharm开发工具的情况下,单击Finish按钮即可,如图1.18所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P21_52471.jpg?sign=1739393553-DHR03J8hPwdnUCglKKADugl9ZHD2y2ky-0-2f9256733add76b64e90913b70006990)
图1.18 完成安装
1.4.3 配置PyCharm
双击PyCharm桌面快捷方式,启动PyCharm程序。选择是否导入开发环境配置文件,这里选择不导入,单击OK按钮,进入阅读协议页,如图1.19所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P21_52472.jpg?sign=1739393553-VKSgTxQPgR3GbAOtW1tFt75PAICEEN8B-0-5270674301668ff083e628a8e834cbd2)
图1.19 环境配置文件窗口
在Set UI theme窗口中可以根据个人需求选择开发工具的主题样式,笔者这里选中Light,使用白色的主题颜色,然后单击Next:Featured plugins按钮,如图1.20所示。
在Download featured plugins窗口中,直接单击Start using PyCharm按钮,如图1.21所示,此时程序将进入欢迎界面。
进入PyCharm欢迎页,单击Create New Project,创建一个新工程文件,如图1.22所示。
在New Project窗口中,首先选择工程文件保存的路径,然后单击Create按钮,如图1.23所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P22_52473.jpg?sign=1739393553-B7jIroYM2pB4WXySYsZEOtXTcBnfyyem-0-f3032d9ad8b2d8c4fd0810be4aaf43ab)
图1.20 选择主题颜色
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P22_52474.jpg?sign=1739393553-NlNGJJrOslKTeoQSCazM9RxbcEHOcrW4-0-50f15f739f4f6f4553f7979f499949a3)
图1.21 下载特色插件
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P23_52475.jpg?sign=1739393553-buiwvXRluUbabmSlyXIGUhXge8p6G6Cv-0-5f692fa6adf730b1eaf6e8002431f38a)
图1.22 PyCharm欢迎界面
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P23_52476.jpg?sign=1739393553-xaKOL4qsMs0vRz9MbqEbW1U9unbdBWaC-0-80cdeef5cccb54ff2693ba73d14f0d41)
图1.23 设置Python存储路径
工程创建完成以后,关闭Tip of the Day窗口,然后依次选择File→Settings选项,如图1.24所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P23_52477.jpg?sign=1739393553-y27TH6GftrTI4MrjSzrF6I50nxBcydrO-0-1886217bcf99c277e88367c8337aa17c)
图1.24 打开设置窗口
在Settings窗口中依次选择Project:demo(demo为自己编写的工程名称)→Project Interpreter,然后在右侧的下拉列表中选择Show All…,将打开Project Interpreters窗口,如图1.25所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P24_52478.jpg?sign=1739393553-FAEZ1oFvcJKysQ8aYDVVdE56KmQY4oQz-0-bdfc6732b78aec5d184223f1ebbf5329)
图1.25 进入设置窗口
在Project Interpreters窗口中,单击右侧的“+”按钮,如图1.26所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P24_52479.jpg?sign=1739393553-d0AUKI5RcDRRCvjchWw6ICVJMkyHb4av-0-38a1e841f62715b0db1bd73986d09ca1)
图1.26 单击按钮
在Add Python Interpreter窗口中,首先单击左侧的System Interpreter选项,然后在右侧的下拉列表中选择Anaconda中的python.exe,最后单击OK按钮,如图1.27所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P24_52480.jpg?sign=1739393553-u6WJTqffeIlex2omDJNuDu6lBmitbueA-0-7a74ac2c530f2863f88bd9e22551ef76)
图1.27 添加Python编译器
返回Project Interpreters窗口后,选择新添加的Anaconda中的python.exe编译器,然后单击OK按钮,如图1.28所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P25_52481.jpg?sign=1739393553-opUAMKS8CfyhA5l3FcRyi1gl5BXe6n3H-0-505118af01b7a0f9efcb7a5e0ed45478)
图1.28 选择Anaconda中的Python编译器
返回Settings窗口,此时窗口中将自动显示出Anaconda内已经安装的所有Python模块,然后单击OK按钮,如图1.29所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P25_52482.jpg?sign=1739393553-SWa1M8rzKNFStwpjLAtGDAA9OxJ1Gt9s-0-04b8730bd90aff0cd4e31ed8707bf4e3)
图1.29 显示Anaconda内已经安装的Python模块
1.4.4 测试PyCharm
右击新建好的demo项目,在弹出的快捷菜单中选择New→Python File命令(一定要选择Python File项,这个至关重要,否则无法后续学习),如图1.30所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P26_52483.jpg?sign=1739393553-uS6vpCyXrNOrq4p0rJxPO7ToCg1UJQo8-0-8e0d54c02242dfbf31daef3a1524e257)
图1.30 新建Python文件
在新建文件对话框输入要建立的Python文件名hello world,如图1.31所示。随后按Enter键,即可完成新建Python文件工作。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P26_52484.jpg?sign=1739393553-zMFFB5AMfh7bYL6Peshwd6n1fbyMF14Z-0-739a8fb68f68034277fcfb6fe3c372c9)
图1.31 输入新建的Python文件名称
在新建文件的代码编辑区输入代码“print ("hello world!")”,如图1.32所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P26_52485.jpg?sign=1739393553-OY0Oj6A9lZ3dzpvlMhg7v0RFoLpyMed6-0-15ddf7fb6fb1efb1f0440746239681cc)
图1.32 输入代码
在编写代码的区域右击,在弹出的快捷菜单中选择Run 'hello world'命令,运行测试代码,如图1.33所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P27_52486.jpg?sign=1739393553-up0ou5nq0Lrnj99SalmNp3VeG5dC28jj-0-173c1085f0bbe78b2958747388839c5c)
图1.33 运行Python测试代码
如果程序代码没有错误,那么将显示运行结果,如图1.34所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P27_52487.jpg?sign=1739393553-0dFyGGqX9GGCrt5DcCfoCf0MfAmmtI5D-0-0c60bb64d907ba758f68ed55a1ee2076)
图1.34 显示程序运行结果