最近发现一些快手的作者，作品还不错，出于学习研究的目的，决定看一下怎么爬取数据。现在网上有一些爬虫工具，不过大部分都失效了，或者不开源。于是自己就写了一个小工具。先看一下成果：


软件只需要填写作者uid以及网页版的请求Cookie，即可实现自动下载，下载目录在程序根目录下的Download文件夹。
由于快手的风控比较厉害，软件也做了应对措施。不过需要用户点击软件中的提示文字，复制粘贴到浏览器，把请求的json保存到本地文件。使用软件提供的解析本地json按钮解析下载即可。如果返回的json文件很短或者没有数据，需要在快手的任意一个页面刷新一下，也就是告诉快手风控，现在是正常浏览，没有机器人的行为。

下面说一下构建整个App的思路。

1. 快手网页端准备

1. 打开https://live.kuaishou.com/ ，在顶部搜索你要爬取的作者昵称，进入作者主页。也可以从App端分享作者的主页链接，粘贴进来。作者主页加载完成后，地址栏的地址一定要是类似：https://live.kuaishou.com/profile/xxxxxx。 后面的xxxxxx就是作者的user id。这个记住，复制出来，后面会用到。
2. 按F12打开浏览器的开发者工具（我之前就说过开发者工具是好东西，研究爬虫必备，一定要好好学习）。
3. 选择开发者工具顶部的“网络”，“全部”，如图所示。在请求列表中找到user id，点击它，右面就会出来请求的标头。里面有个Cookie，需要记住，复制出来。如果没有的话，记得刷新页面。
   
4. 在列表里面可以看到很多请求，我们需要从中找到网页端展示作品列表的那条请求，即public开头的，或者直接在左上角搜索public，即可过滤绝大部分无关请求。这个请求的响应数据里面有作者作品的完整json响应。
   

你可以右击它，在新标签页面打开，打开后地址栏会显示完成的浏览器请求地址。这个网址需要记住，后续会用到。那个count默认是12或者20，我们用到时候，直接拉满，9999即可。

2. Postman拦截请求，模拟请求，并生成C#请求代码

1. 安装postman interceptor拦截器，安装地址https://chromewebstore.google.com/detail/postman-interceptor/aicmkgpgakddgnaphhhpliifpcfhicfo 不得不说，这又是一个神器，搭配开发者工具，理论上可以搞定几乎所有的爬虫需求了。
2. 打开Postman，点击右下角的Start Proxy，
   
   开启拦截后，重新回到网页版作者主页，刷新一下页面，等页面加载完成后，点击停止拦截。否则列表会一直增多，因为他会拦截电脑的所有网络请求。这时Postman拦截器就会拦截到一大堆请求，同理，找到public请求，或者在左上角输入public，即可过滤出来我们需要的。
   
   点击这个请求链接
   
   这是Postman会打开一个新的窗口，包含了请求这个链接的所有参数以及标头信息。
   
   点击Postman最右面的代码工具即可生成我们需要的代码。你可以选择C#、python、js、curl等等。
   

3. 使用WPF写界面以及下载逻辑

1. 新建WPF工程，为了界面好看，这次我用了开源的WPF UI，之前用过HandyControl、MicaWPF，这些都是不错的UI控件库。
   下载使用了开源的Downloader，请求使用了RestSharp，解析Json使用NewtonsoftJson，另外推荐一个免费的图标库FlatIcon。
   界面如下：

2. 后台逻辑没有使用MVVM，就是图方便。

3. 下载类，下载完文件后，将文件的日志修改为发表日志，方便排序以及数据分析。

4. 源码分享
   完整版代码已上传到Github https://github.com/hupo376787/KuaishouDownloader ，喜欢的点一下Star谢谢。

4. 下载使用

打开https://github.com/hupo376787/KuaishouDownloader/releases/tag/1.0，点击下载zip文件，解压缩后，就可以像开头那样使用了。