【论文分享】An Extensive Study of Residential Proxies in China

渗透技巧 1年前 (2022) admin
543 0 0

今天分享的论文主题为住宅型网络代理(Residential Proxy)。该工作由来自山东大学、中国科学技术大学以及奇安信技术研究院等的研究人员共同完成。该论文首次深入研究了中国境内的住宅网络代理(RESIP),作者设计了自动捕获RESIP服务的分类器,并提出一种基于流量标记的代理节点识别方法,研究人员收集了迄今为止规模最为庞大的RESIP数据集。在此基础上,作者研究了住宅网络代理的生态以及安全风险。该论文已被网络安全领域顶级会议ACM CCS 2022录用(录用率58/324=17.9%)。

【论文分享】An Extensive Study of Residential Proxies in China

全文共2300字,阅读时间约6分钟。


01

【背景介绍】


住宅网络代理(RESIP)指的是基于互联网服务提供商(ISP)的真实IP主机地址组成的大规模代理网络,其节点广泛分布于家庭网络或蜂窝网络中。与VPN和Tor等传统网络代理相比,住宅网络代理节点具有更好的声誉,通过代理中继的网络流量可疑性更低,因此更容易绕过封锁限制。此外,RESIP通常提供公开服务,购买方便,且很少甚至不需要对购买者进行身份检查。因此,这一特性也被攻击者所滥用,攻击者可将恶意流量通过住宅代理伪装成良性流量,从而规避基于IP地址信誉度的安全检测手段。


2019年,Xianghang Mi等人的研究工作选取了5个具有代表性的RESIP服务,在测试期间累计收集到超过600万个住宅网络代理的IP地址,研究人员通过分析这些IP地址发现了部分RESIP服务可能运行在受恶意软件感染的设备上。部分攻击者正在利用RESIP网络代理实现非法推广、Fast fluxing、钓鱼攻击以及传播恶意软件等目的。

【论文分享】An Extensive Study of Residential Proxies in China

图表 1 BrightData,RESIP服务代表厂商之一


随着RESIP生态系统的迅速发展,服务商之间的竞争愈发激烈,2019年研究中的38个RESIP服务提供商目前已有7个不再提供服务。因此,以往研究工作中的发现和结论对当下的RESIP生态可能已不再适用。


此外,以往工作主要通过手工方式收集网络代理节点,效率和覆盖率均不高,尤其是针对中国境内的RESIP服务提供商涉及甚少。因此,该研究工作旨在提出一种自动化识别RESIP服务的方法,实现对新涌现的RESIP服务提供商进行持续检测。论文还针对中国目前的RESIP生态系统进行深入研究,关注其分布及演变状况,分析安全影响以及相关的供应链

02

【数据收集】


1. 收集RESIP服务提供商

研究人员首先选取了住宅代理相关的中文和英文关键词,并通过搜索引擎进行检索,最终找到了12519个种子数据集。

【论文分享】An Extensive Study of Residential Proxies in China

图表 2 输入搜索引擎的关键词


随后,研究人员以人工分析等方式确认了110个RESIP服务网站和1073个非RESIP网站。该数据集作为后续研究的ground truth(标记数据)。作者爬取相应网站首页、获取文本信息,并基于TF-IDF获取了12个能有效区分RESIP服务和非RESIP服务的关键词。


接着,作者以这些关键词作为特征,训练出一个基于随机森林的分类器。该分类器可达到F1值为98.66%的分类效果。最终,研究人员通过预测和人工过滤,累计找到了289个活跃的RESIP服务提供商,并进一步选取了64个中文站点作为研究对象。


2. 收集RESIP网络代理节点地址

在获得RESIP服务商信息后,接下来就要收集这些服务商的RESIP网络代理节点地址。


大多数住宅网络代理的工作模式为Backconnect RESIP(BC-RESIP),如下图所示。在BC-RESIP模式下,住宅代理隐藏在RESIP服务商的网关之后,服务使用者需要首先连接网关,进而将请求中继到住宅代理。

【论文分享】An Extensive Study of Residential Proxies in China

图表 3 BC-RESIP的工作模式


基于上述发现,研究人员设计了一套BC-RESIP节点地址收集框架,借助受控的Web客户端主机,通过其购买的RESIP服务网关向受控的Web服务器连续发起访问请求,从而持续地收集RESIP 网络代理节点的IP地址。

【论文分享】An Extensive Study of Residential Proxies in China

图表 4 BC-RESIP节点地址收集框架


研究人员选取了5个具有代表性的中国RESIP服务商。在2021年3月至10月期间,基于上述实验框架共采集到来自5个RESIP服务商的818万个代理节点主机地址。


此外,中国的RESIP服务还提供Direct RESIP类型的代理,即由住宅代理直接监听代理端口转发流量,免去了网关中继的环节。由于多数Direct RESIP通过注册子域名提供服务,研究人员从Passive DNS数据中获取了相应的IP地址(DP-RESIP)。部分RESIP服务商还提供可查询代理地址的 API接口,可查询RESIP的IP和端口信息(DA-RESIP)。


总之,在上述过程中,研究人员共获得了42个服务商的147万个DP-RESIP和3个服务商的228万个DA-RESIP。


03

【主要发现】


基于收集到的RESIP IP信息,结合WHOIS,IPINFO,威胁情报信息等安全数据,研究人员首先对RESIP的分布和使用情况进行分析,主要结论包括:

1. 900多万个RESIP分布在超过两百个国家和地区,覆盖了5万多个自治系统。

2. 相比于以往研究中收集的RESIP数据集,这项工作中发现96.7%的RESIP节点均为首次出现。

3. RESIP节点的存活时间通常非常短暂,53%的RESIP会24小时内消失。


【论文分享】An Extensive Study of Residential Proxies in China

图表 5 不同类RESIP的数量分布

【论文分享】An Extensive Study of Residential Proxies in China

图表 6 RESIP的地理分布

【论文分享】An Extensive Study of Residential Proxies in China

图表 7 和之前RESIP数据集:RESIP-2017,RESIP-2019的对比

【论文分享】An Extensive Study of Residential Proxies in China

图表 8 RESIP生存时间的CDF图


在安全问题方面,研究人员通过交叉比对威胁情报数据,最终发现:

1. 至少80%中国境内RESIP节点曾经发出过恶意流量,总计5200万条;而中国境外的RESIP节点,这一比例仅有0.28%;

2. 在所有恶意行为中,63%中国境内RESIP节点曾经发出过非法挖矿流量,57%存在与远控木马关联的行为,21%曾经参与僵尸网络活动;

3. 3129个中国RESIP曾经为IoT僵尸网络家族Mozi提供托管服务;

4. 在包括政府机构以及高等院校在内的559个重要组织机构网络环境中,研究人员也发现了住宅代理节点存在的迹象。


04

【结论】

这项研究工作对中国境内的RESIP生态系统进行了深入研究,收集了迄今为止规模最大的RESIP数据集,并揭示了该生态系统的活跃情况以及相关安全风险。文章中提出了一个自动化的RESIP服务分类器,并识别出399个RESIP服务提供商。文章中提出的数据收集方法和生成的相关数据集,将有助于促进后续的相关研究工作。



原文链接preprint,会议版本暂未放出):

https://arxiv.org/pdf/2209.06056.pdf



参考文献:

[1]We were luminati. now we’re bright data. http://web.archive.org/web/ 20220114011818/https://brightdata.com/luminati, 2021.

[2] Xianghang Mi, Xuan Feng, Xiaojing Liao, Baojun Liu, XiaoFeng Wang, Feng Qian, Zhou Li, Sumayah Alrwais, Limin Sun, and Ying Liu. Resident evil: Understanding residential ip proxy as a dark service. In 2019 IEEE Symposium on Security and Privacy (SP), pages 1185–1201. IEEE, 2019.

[3] History datasets: RESIP-2017 and RESIP-2019.https://rpaas.site/

[4] 糜相行:针对大规模住宅网络代理的安全研究. https://www.inforsec.org/wp/?p=5353


编辑&审校|张一铭、刘保君



原文始发于微信公众号(NISL实验室):【论文分享】An Extensive Study of Residential Proxies in China

版权声明:admin 发表于 2022年10月10日 下午5:26。
转载请注明:【论文分享】An Extensive Study of Residential Proxies in China | CTF导航

相关文章

暂无评论

您必须登录才能参与评论!
立即登录
暂无评论...