如何使用网页抓取工具抓取APP数据
如果用前嗅的ForeSpider数据采集软件就可以的。但是需要知道app的协议是什么。如果是http，https的，就可以直接采集。
实时更新也是可以做到的，软件支持定时采集、一定间隔时间采集，设置好间隔时间，就相当于是在实时更新了。
ForeSpider直接连接数据库，数据入库有多种策略，而且入库前会有两次自动排重，以保证只插入更新后的数据。
有免费版可以下载，不限制功能。
fiddler怎么抓取app数据包怎么用
Fiddler基本原理
Fiddler数据包的原理是Fiddler将自己设置为一个代理服务器，默认监听127.0.0.1：8888端口同时将浏览器的HTTP、HTTPS协议设置为使用代理服务器也就是使用自己作为浏览器的代理服务器；
打开Fiddler后Fiddler自动为你设置的HTTP代理：
抓取Andriod与IOS数据包的原理也是一样，在Andriod上设置Http代理为Fiddler代理服务器；
Fiddler初步使用
安装Fiddler，这里使用的是v4.6.1.5版本；
设置Fiddler：Tools菜单下Fiddler Options选项，选择Connections，勾选Allow romte computers to connect；
该设置是指Fiddler允许远程电脑连接，设置好后重启Fiddler；
在命令行下使用ipconfig查看本机地址，如：192.168.1.104；
注意Andriod与IOS设备必须与PC在一个局域网中；
Andriod设置
设置-WLAN，找到当前正在使用的Wifi，长按该连接，弹出选项后选择 “修改网络” ，然后勾选实现高级选项
在代理选择框中选手动，在代理服务器主机名中填入刚刚在电脑上看到的地址：192.168.1.104，端口填8888，然后点击保存；
IOS设置
这里使用的是IOS 9，点击设置图标，选择无线局域网，找到当前连接的wifi点击后面的！号图标，在HTTP代理中选择手动，
服务器地址填，电脑的地址：192.168.1.104，端口填8888，然后即可，IOS中设置好后自动保存；
证书安装
由于有些App有使用了HTTPS证书，所以在Andriod、IOS上没有安装Fiddler证书就可以回出现App无法使用的情况；
安装证书，在浏览器中输入：192.168.1.104:8888（你电脑的IP地址），点击FiddlerRoot certificate，然后安装证书；
设置好后就可以在电脑上使用Fiddler对Andriod或IOS上的App进行抓包
安卓app 需要用什么工具抓包 怎么抓包
两种方式，各有优劣且互补，一般第一种即可，对于不走代理的 App 选择第二种方式
第一种 Fiddler：
利用 Fiddler 抓包，适合大多数走代理的应用，优点 (1) 无需 root (2) 对 Android 和 Iphone 同样适用 (3) 操作更简单方便(第一次安装配置，第二次只需设置代理即可) (4) 数据包的查看更清晰易懂,Fiddler 的 UI 更简单明了 。
Mac 下可以使用 Charles。
第二种 Tcpdump：
对于不走代理的 App 可以利用 tcpdump 抓取 andorid 手机上网络数据请求，利用 Wireshark 查看，可见：如何利用Tcpdump抓取andorid网络数据请求，Wireshark查看
app数据统计分析工具有哪些?
①友盟+
友盟+是2016年初由友盟、CNZZ、缔元信.网络数据三家阿里巴巴旗下的大数据公司合并而成。平台拥有大而全的产品线，是专注用户行为统计的综合性平台，主要涵盖移动应用、游戏、广告、网站等领域。
在App统计方面，友盟提供了移动统计、游戏统计、移动广告监测三个细分产品，可以根据需求选择对应的产品类型，游戏统计维度齐全，除了常规渠道指标外，还自带关卡、等级、付费等特色场景分析;广告监测主要提供短链和信息流广告的数据分析，也能自主制定推广计划。接下来主要介绍其移动应用统计方面的优势。
②Talking Data 移动统计分析
Talking Data 早期主要在游戏以及互联网金融等垂直领域耕耘，在这些方面拥有比较完整的指标和维度，同样划分游戏运营分析、应用统计分析、移动广告监测等应用统计服务。移动统计分析(App Analytics)是Talking Data 2012年2月上线的产品，目前该产品提供包括App以及小程序的相关数据统计服务。
Talking Data 的移动统计分析功能把应用分析、推送营销、开发助手、应用管理分成导航入口，并设计邀请协作功能，偏向于数据共享，能将领导、开发和运营人员纳入到一张办公桌上。
③openinstall App渠道统计
openinstall 是一种不需要制作渠道包，也不需要填写渠道识别码即可识别App安装渠道来源的渠道统计工具。因此，openinstall能够实现仅凭App安装渠道链接就能统计渠道效果的功能，摆脱了人工制作渠道包和填写渠道识别码，使用openinstall 程序化自动生成的渠道链接，可以实现(数量级为亿的)海量用户在免填邀请码的情况下开展的有奖拉新活动(本质上是视每个用户为一个渠道，并自动为每个用户生成一个渠道链接进行渠道效果统计)。
openinstall 的统计后台分三个模块：应用信息、应用集成、渠道统计。与其他综合性应用统计工具相比，openinstall 主要在渠道统计这一领域的需求进行细化深挖，集成使用上十分简单，基本沿着开发者的操作顺序进行：集成开发—渠道统计—渠道管理—查看报表，基本上一眼就能看懂。另外用户自定义方面也比较方便灵活，可以通过api 获取渠道参数，用户可以根据推广需求来定制自己的推广页，数据的统计也可以对接到自己的后台。
如何进行手机APP的数据爬取？
Python爬虫手机的步骤：
1. 下载fiddler抓包工具
2. 设置fiddler
这里有两点需要说明一下。
设置允许抓取HTTPS信息包
操作很简单，打开下载好的fiddler，找到 Tools - Options，然后再HTTPS的工具栏下勾选Decrpt HTTPS traffic，在新弹出的选项栏下勾选Ignore server certificate errors。
设置允许外部设备发送HTTP/HTTPS到fiddler
相同的，在Connections选项栏下勾选Allow remote computers to connect，并记住上面的端口号8888，后面会使用到。
好了，需要的fiddler设置就配置完成了。
3. 设置手机端
设置手机端之前，我们需要记住一点：电脑和手机需要在同一个网络下进行操作。
可以使用wifi或者手机热点等来完成。
假如你已经让电脑和手机处于同一个网络下了，这时候我们需要知道此网络的ip地址，可以在命令行输入ipconfig简单的获得，如图。
好了，下面我们开始手机端的设置。
手机APP的抓取操作对于Android和Apple系统都可用，博主使用的苹果系统，在此以苹果系统为例。
进入到手机wifi的设置界面，选择当前连接网络的更多信息，在苹果中是一个叹号。然后在最下面你会看到HTTP代理的选项，点击进入。
进入后，填写上面记住的ip地址和端口号，确定保存。
4. 下载fiddler安全证书
在手机上打开浏览器输入一个上面ip地址和端口号组成的url：http://192.168.43.38:8888，然后点击FiddlerRoot certificate下载fiddler证书。
以上就简单完成了所有的操作，最后我们测试一下是否好用。
5. 手机端测试
就以知乎APP为例，在手机上打开 知乎APP。下面是电脑上fiddler的抓包结果。
结果没有问题，抓到信息包。然后就可以使用我们分析网页的方法来进行后续的操作了。
App中的数据可以用网络爬虫抓取么
可以，你可以用抓包，然后通过代理ip的方式，让你的手机和电脑处在一个网络，然后通过发送请求的方式去获取
如何使用Burpsuite抓取手机APP的HTTPS数据
1.所需条件
· 手机已经获取root权限
· 手机已经成功安装xposed框架
· 电脑一台
2.详细步骤
2.1 在手机上面安装xposed JustTrustMe
JustTrustMe是一个去掉https证书校验的xposed hook插件，去掉之后就可以抓取做了证书校验的app的数据包。JustTrustMe在github的地址位： https://github.com/Fuzion24/JustTrustMe
安装好模块之后勾选JustTrustMe模块，然后重启手机
2.2 配置burpsuite
打开burpsuite，切换到Proxy，然后切换到下面的Options选项，然后点击add，然后配置好端口，ip选择本机的ip地址，然后点击ok添加
将running框勾选上
2.3 导入burpsuite证书
在电脑端使用Firefox浏览器访问设置的代理ip:端口，下载burpsuite证书，比如我上面的ip为192.168.1.105，端口为8080，就访问http://192.168.1.105:8080/然后去下载证书
点击CA certificate下载burpsuite的证书，保存证书文件
进入Firefox的设置里面，选择高级，然后选择证书，点击查看证书
然后选择服务器，点击导入，导入刚刚下载的cacert.der证书，导入之后会多一个PortSwigger的证书，选中它，然后点击导出,选择X.509证书，然后重新命名导出,这里之所以要这样导出证书，是因为手机上面识别不了burpsuite默认导出的证书格式，要转换一下。
导出之后，将证书放到手机的sd卡中，然后进入手机设置，安全，从sd卡安装，然后选择放到手机的证书文件，如果手机没有设置锁屏密码，这里会要求设置手机锁屏密码。不同的手机导入略微有些不同，但是都是在设置，安全设置里面去导入证书。
点击从sd卡安装就可以选择sd卡中的证书文件，然后安装了。
2.4 在手机上配置代理服务器
进入手机设置，WLAN，将手机和wifi连接到同一个路由器上面，然后设置wifi，有些手机是长按当前连接的wifi进行设置，有些是点击向右的箭头进行设置，这里两中都说一下
第一种：
进入设置，点击wlan，然后长按当前连接的wifi，选择修改网络，滑到最下面，勾选显示高级选项，然后选择代理设置为手动代理服务器主机名字填电脑ip，端口填你刚刚设置的端口。然后确定，就设置成功了。
第二种：
进入设置，wlan，点击当前连接的wifi最右边的向右详情图标，打开编辑当前连接的wifi，然后将代理设置选择为手动，主机名填电脑ip地址，端口填刚刚在burpsuite里面设置的地址，然后点击确定保存，就设置成功了。
设置好之后便可以抓取https的数据包了，带证书校验的也可以正常抓取，如果不装JustTrusMe插件，就不能抓带证书校验的app的https数据包。
使用burpsuite抓取https的教程到这里就结束了。