Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

请教 #6

Open
EmperG opened this issue Sep 4, 2019 · 15 comments
Open

请教 #6

EmperG opened this issue Sep 4, 2019 · 15 comments

Comments

@EmperG
Copy link

EmperG commented Sep 4, 2019

您好，能请问您这是具体怎样实现的么,是通过代码模拟淘宝app的请求吗？之前淘宝网页搜索被封的差不多了，我现在是通过xposed框架hook 淘宝app的方式来爬数据，麻烦得很。如果您能指点下不胜感激。
@moonlighf
Copy link

您好，能请问您这是具体怎样实现的么,是通过代码模拟淘宝app的请求吗？之前淘宝网页搜索被封的差不多了，我现在是通过xposed框架hook 淘宝app的方式来爬数据，麻烦得很。如果您能指点下不胜感激。

老哥请教下你现在是怎么抓的，我也想学习下来着。

@EmperG
Copy link
Author

EmperG commented Sep 8, 2019

您好，能请问您这是具体怎样实现的么,是通过代码模拟淘宝app的请求吗？之前淘宝网页搜索被封的差不多了，我现在是通过xposed框架hook 淘宝app的方式来爬数据，麻烦得很。如果您能指点下不胜感激。

老哥请教下你现在是怎么抓的，我也想学习下来着。

大体思路就是开发一个pc端程序A和xposed框架程序B，两个程序使用socket通讯，然后真机连接电脑，A使用adb控制淘宝app搜索，B不断地hook淘宝app搜索页面的方法截取数据，然后发送回A，就得到了搜索数据。不过这样太慢了，比直接API要慢10倍

@moonlighf
Copy link

您好，能请问您这是具体怎样实现的么,是通过代码模拟淘宝app的请求吗？之前淘宝网页搜索被封的差不多了，我现在是通过xposed框架hook 淘宝app的方式来爬数据，麻烦得很。如果您能指点下不胜感激。

老哥请教下你现在是怎么抓的，我也想学习下来着。

大体思路就是开发一个pc端程序A和xposed框架程序B，两个程序使用socket通讯，然后真机连接电脑，A使用adb控制淘宝app搜索，B不断地hook淘宝app搜索页面的方法截取数据，然后发送回A，就得到了搜索数据。不过这样太慢了，比直接API要慢10倍

的确，不过你这样，直接调response的网页响应不可以吗？

@EmperG
Copy link
Author

EmperG commented Sep 8, 2019

您好，能请问您这是具体怎样实现的么,是通过代码模拟淘宝app的请求吗？之前淘宝网页搜索被封的差不多了，我现在是通过xposed框架hook 淘宝app的方式来爬数据，麻烦得很。如果您能指点下不胜感激。

老哥请教下你现在是怎么抓的，我也想学习下来着。

大体思路就是开发一个pc端程序A和xposed框架程序B，两个程序使用socket通讯，然后真机连接电脑，A使用adb控制淘宝app搜索，B不断地hook淘宝app搜索页面的方法截取数据，然后发送回A，就得到了搜索数据。不过这样太慢了，比直接API要慢10倍

的确，不过你这样，直接调response的网页响应不可以吗？

网页现在不稳定，经常会触发反爬虫，继续研究网页的话太复杂了，所以我把方向转到app上，虽然慢，但是很稳定

@moonlighf
Copy link

您好，能请问您这是具体怎样实现的么,是通过代码模拟淘宝app的请求吗？之前淘宝网页搜索被封的差不多了，我现在是通过xposed框架hook 淘宝app的方式来爬数据，麻烦得很。如果您能指点下不胜感激。

老哥请教下你现在是怎么抓的，我也想学习下来着。

大体思路就是开发一个pc端程序A和xposed框架程序B，两个程序使用socket通讯，然后真机连接电脑，A使用adb控制淘宝app搜索，B不断地hook淘宝app搜索页面的方法截取数据，然后发送回A，就得到了搜索数据。不过这样太慢了，比直接API要慢10倍

的确，不过你这样，直接调response的网页响应不可以吗？

网页现在不稳定，经常会触发反爬虫，继续研究网页的话太复杂了，所以我把方向转到app上，虽然慢，但是很稳定

能留个联系方式交流下吗？我Q254983303

@Kkwoai
Copy link

Kkwoai commented Sep 18, 2019

您好，能请问您这是具体怎样实现的么,是通过代码模拟淘宝app的请求吗？之前淘宝网页搜索被封的差不多了，我现在是通过xposed框架hook 淘宝app的方式来爬数据，麻烦得很。如果您能指点下不胜感激。

老哥请教下你现在是怎么抓的，我也想学习下来着。

大体思路就是开发一个pc端程序A和xposed框架程序B，两个程序使用socket通讯，然后真机连接电脑，A使用adb控制淘宝app搜索，B不断地hook淘宝app搜索页面的方法截取数据，然后发送回A，就得到了搜索数据。不过这样太慢了，比直接API要慢10倍

的确，不过你这样，直接调response的网页响应不可以吗？

网页现在不稳定，经常会触发反爬虫，继续研究网页的话太复杂了，所以我把方向转到app上，虽然慢，但是很稳定

hook x-sign 主动调用 最后直接调api

@EmperG
Copy link
Author

EmperG commented Sep 18, 2019 via email

@ColgateKas
Copy link

@EmperG 大哥 能给个教程吗

@junges521
Copy link

qq 1570207752，大家联系我可以搞定淘宝api

@V-I-C-T-O-R
Copy link

@EmperG @ColgateKas @junges521 @moonlighf @kabasijiniu 请问有遇到请求数据翻页后重复的问题么？

@moonlighf
Copy link

@EmperG @ColgateKas @junges521 @moonlighf @kabasijiniu 请问有遇到请求数据翻页后重复的问题么？

还是没有解决如何抓取，请教你是如何请求的？

@V-I-C-T-O-R
Copy link

@moonlighf 根据目测，当前这个库的可执行文件接收到请求后会访问到腾讯云上海区域的服务器上，然后调用app签名算法提交访问咸鱼的请求。获得请求后解析数据就可以了，现在关键是它只能后台提交第一页的数据

@EmperG
Copy link
Author

EmperG commented Oct 11, 2019

想要用什么接口就用frida hook 淘宝app，抓包后观察数据再自己构造就行了。其中x-sign算法用xposed框架hook淘宝app的方法进行调用。思路已经讲出来了，还不懂就多学习相关知识再来搞

@V-I-C-T-O-R
Copy link

@EmperG @moonlighf 调用接口也发现，只要能构造出signToken就能构造出请求了。可惜逆向工程博大精深啊，慢慢摸索或者等大佬吧

@Colinlyj210
Copy link

@V-I-C-T-O-R @moonlighf 联系qq951263019可以帮你搞定

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees
No one assigned
Labels
None yet
Projects
None yet
Milestone
No milestone
Development

No branches or pull requests
7 participants
@ColgateKas @V-I-C-T-O-R @junges521 @Colinlyj210 @moonlighf @Kkwoai @EmperG