virushuo.github.io

提起暗网,中文的读者对它的印象一般不太好,觉得里面充满了罪恶和犯罪。这些印象基本来自几篇热文,追根溯源,这几篇文章又是一两篇英文文章的改头换面和重新拼接。但是大概因为内容过于猎奇黑暗,给人留下的印象根深蒂固,以至于我在之前的文章提到“暗网更接近于互联网创始者们创造的那个网络”的时候,很多人留言骂我给犯罪分子洗地…看起来暗网在中文里面已经被默认等于罪恶了。

除此之外,也有很多人读过那些文章之后觉得疑点众多,也问过我这些文章可信度如何,以及暗网到底是什么。

要回答这个问题,不需要背景知识,只需要逻辑推理即可。总结那些文章的要点,大致是:

  1. 我们使用互联网只是表层网络,暗网的规模远远大于表层网络,甚至有几倍大。
  2. 暗网充满了恶性犯罪,贩卖军火、雇佣杀手、贩卖人口…
  3. 暗网隐藏的很深,普通人难以访问它。

这些观点本身就是矛盾的。如果3是真的,普通人难以访问它,那么这极少数人如何能创造一个规模更大的网络的?这是不合逻辑的。

如果去掉3,只留下1,2两条,那么就意味着暗网充满了恶性犯罪,并且有如此巨大的规模,岂不是说明我们身边危机四伏,每个人都在干着非法的事情,那么普通人遭遇恶性犯罪的数量岂不是比在朋友圈刷到猫照片的机会还大?这也不符合我们正常的生活体验。

为什么会出现这些矛盾?答案很简单。作者搞错了。

从第一篇持这种论调专心猎奇的英文文章开始,作者就搞混了好几个概念,没弄清楚 Darknet、Deep web、Dark web之间的区别。英文这几个词的样子非常相似,一不小心就会写错,混淆不意外。等变成了中文,情况就更糟糕了,Darknet和Dark web如果按照字面直译,都会被翻译成暗网,没法区分。那些四处抄袭和搬运的作者不知道历史渊源,很容易就把它们当作同一种东西,拼拼凑凑放到同一篇文章里面,这样混淆了之后倒是显得更加骇人听闻,阅读量自然不少,除了并不真实之外几乎没有缺点了。

在这篇文章里,我来从历史开始,试着来把这些名词的区别、存在的意义、风险说清楚。

一 Darknet 暗网

Darknet是这三个概念中最广泛一个,历史也最长。它的历史比我们今天使用的商用互联网还长远的多。众所周知,ARPANET是我们今天使用的互联网的前身,1969年开通的ARPANET实验网络,只是连接了西部的四个大学,见下图:

随后1970年东西海岸网络连通,一直到1975年,才把美国东西南北各家大学和研究机构连起来。在这个过程中,和ARPANET并行发展的网络还有很多,这个联网过程实际上是把各个已经存在的局域网按照固定协议连接到一起的过程。有一些没有来得及接入或者因为各种原因不想接入的现存网络,就被人们称作Darknet,也就是暗网。它最早的含义应该是在ARPANET这个主干网络上看不到它们,也连接不到它们。相当于在明面上的主干网络,它就显得“暗”了一些,这里面并无贬义。

图:ARPANET联网过程,左上角是1969年的状态,右下角是1975年的状态。

随着时间的发展,我们现在使用的互联网席卷世界。全球联网人数逐渐增加,人们开始利用电话线或者有线网络,通过一家商用互联网运营商接入互联网。但在这之外,仍然有很多其他网络存在,比如公司为了降低成本(早期的互联网服务费极其昂贵),自己建立局域网,供公司员工使用。为了方便员工在公司之外使用公司网上的资源,一些公司还设置了基于电话的拨号链接方式。这一样被算作暗网的一部分。

互联网继续发展,联网成本逐渐下降,永不断网成为可能。这时候设置一个自己的拨号接入系统就不那么必要了,拨号也很麻烦。于是大家开始把公司局域网也链接到了商用互联网上,让员工通过VPN等等方式连接到公司内部。基于VPN链接起来的虚拟网络,仍然被算作暗网。到今天,一些更小规模的公司已经不再维护自己的办公网络,也不再使用VPN。他们的办公系统都通过公开的互联网服务组件搭建,比如文档放在网盘,代码放在Github,沟通使用Slack或者干脆省事用微信…到这个阶段,企业应用和个人应用的界限变得模糊,这时候这种企业就不再依赖自己的局域网或者虚拟网了,他们脱离了暗网(Darknet)。

在办公需求之外,还有很多人不满意于目前商用互联网的发展模式,现在互联网的模式中有两个关键角色,一个是运营商负责网络接入(联通、电信…),另一个是服务商负责提供服务(微信、微博)。这两类关键角色构成了普通人使用互联网的路径,通过接入商联网,然后使用某个服务商提供的服务。 按照几十年前互联网创建时期的观念,现在这种模式是有问题的。它让本来是分布式的互联网变成了集中式。人们最早创建互联网,创建TCP/IP,是为了创建一种高稳定性系统,当年的说法是“就算部分节点被核打击摧毁,其余的节点仍然可以交换数据”。今天的商用互联网背道而驰,干掉接入商,大部分人就不再能联网,干掉服务商,大部分人就不知道能在网上做什么。

经典的互联网模式是每一台设备上都有自己的数据,联网的目的是交换数据,而不是到一个中心去发送和接受数据。用更形象一点的说法,联网的目的是我可以给你发送消息,但不是联网之后到微信发一条消息给你。于是世界各地都有人在号召建立所谓的DIY网络,就是临近的社区居民通过自己架设线路,或者使用无线中继的方式,大家自主联网,不通过运营商接入,也不接入互联网。这样的网络社区曾经在世界各大城市都存在过,但随着互联网的发展,越来越少的人愿意接受这么麻烦的方式,所以这样的社区一个个消亡了。到今天只在很少的几个城市还存在,比如旧金山,多伦多,蒙特利尔…都还存在小规模的“混合网络”,即互联网和私人网络混合接入的模式。

早期DIY网络的拥护者中很多是因为上网费用过于昂贵,现在参与者则很多是为了“网络中立”,网络中立是另外一个话题,这次先不展开讨论,只说一个案例。2005年,加拿大三大运营商之一的Telus封杀了加拿大电信行业工会下属的一个网站,理由是对方号召罢工,会影响用户的电信使用。这个事件引起了强烈的社会反映,人们关心于运营商是否可以按照自己的好恶封杀网站,如果可以的话,运营商岂不是成了互联网世界权力最大的公司?这个事件最终成为了奠定加拿大网络中立原则的里程碑之一,但它带来的额外思考是依赖运营商联网的模式是不是正确的,人们是不是应该维护一个完全不依赖运营商的自建网络。基于类似的担心,无数小规模的自建网络仍然存在和活跃,这些网络也都是暗网的一部分(Darknet)。

在运营商这个层面之上,人们还有更多的担心。比如,离开网盘我们是否还可以交换文件,离开微信我们是否还可以发送消息,离开几大搜索引擎我们是否还可以检索信息?按照现在商用互联网席卷一切的状态看,答案很可能是“不能”,至少对大多数人是不能。另外一些人为了避免对几大互联网服务商的依赖,开始寻找其他去中心网络的解决方案。比如在自己家里的NAS上搭建owncloud来代替网盘,用BT软件来和朋友分享大文件(注意BT是合法软件,它可以传递任何文件,而不是仅仅能用来下载盗版电影),自建聊天服务器…这些服务通常也建立在VPN连接的虚拟网络上。还有更高级的应用,一些朋友甚至通过VPN把自己家里的局域网和朋友家的连起来,互相利用对方的计算机做数据备份,访问对方局域网上的资源和协作。这个过程有点像过去ARPANET建立的过程,只不过没有物理联网的麻烦,而是在普通商用互联网上再建立一层虚拟网络完成的。在这些网络里面,服务提供者也是参与网络建设的成员,最理想的情况是所有参与者都负担一部分流量和存储,这样就形成了真正的去中心网络,不用担心一个中心被破坏之后损失数据或者导致服务停止。这是更符合最初互联网设计的模型。

今天还在使用和建立Darknet的人,大多数是极客。他们只是为了自己的方便和防备不时之需而架设这些网络,比如在我自己的案例里,商业服务很少能提供我需要的ZFS快照备份,我只能把我家的局域网和朋友家的连起来,使用各自局域网上运行的FreeBSD服务器互相保存快照备份。考虑到所有自建网络、基于VPN的应用,各种P2P文件分享应用,都算作Darknet的一部分,它承载的流量巨大并不奇怪,但这个流量巨大和犯罪活动没有关系。如果追究的细致一点的话,Darknet上最大的违法活动应该是下载盗版影视和软件,但这种活动在中文互联网太普遍了。

二 Deep web 深网

Deep web是另外一种划分方式。它跟Darknet有一部分重合,但关注的方向不一样。Deep web指那些不能被搜索引擎直接检索到的页面,这个词出现的比较晚,是通用搜索引擎普及之后的年代才有的。移动互联网发展之前,搜索引擎是最大的流量入口,在那个时代,人们甚至认为“在搜索引擎里面搜索不到的网页,就几乎可以被认为不存在了”。没有搜索引擎的指引,人们无法从天文数字的网页中找到自己所需的那个。于是因为各种原因无法被搜索引擎索引的页面,就构成了另外一个隐藏的世界。如果把被搜索引擎索引的页面看作表层网络,那么不能被检索的就是水面之下的深层网络,Deep web(深网)这个概念就来自这个意义。

就算在搜索引擎是最大的流量入口的年代,仍然有很多网站不愿意被搜索。有的是小型私人兴趣社区,不愿意被外人干扰,有的是技术原因,比如内容放在Flash里面或者完全用Javascript渲染,搜索引擎的爬虫无法解析,但站长也不想改版。另外一些是因为权限、安全、法律、利益等原因。比如前面说的那种运行在互联网上的办公系统,这种内容是需要对应的权限才能访问的,不该被无权限的人看到,也就不能被搜索引擎收录。如果真的不小心被收录了,那就是权限系统出漏洞了,匿名用户也可以浏览,这是重大安全事故。

出于利益的争端更有趣, 比如几乎所有的SNS系统都不愿意让搜索引擎检索,他们希望把用户留在自己的生态圈之内, 如果要检索内容,他们希望用户通过自己的站内搜索代替。Facebook通过设置默认权限来禁止Google检索它的大部分页面,twitter曾经和Google有协议,允许google索引它,但是到期之后协议就不再继续了。淘宝和天猫几年前禁止百度索引,一直到最近才开放了一小部分页面给百度…这些内容都没法被通用搜索引擎索引,都算是深网的一部分。

在搜索引擎发展的年代,网页逐渐替代了软件占有了更多内容,必须使用软件客户端访问的服务只占了很少一部分,搜索引擎没法索引这些软件中的内容,也不是太大问题。但在移动互联网之后,整个形势发生了变化,越来越多的内容被封闭在App之内,搜索引擎无法检索,这些App形成了一块块互相不连接的领地,传统的互联网Web的“页面-链接”体系完全崩溃了。最典型的例子比如微信朋友圈,上面的照片和文字都没法被搜索引擎检索,即使当事人希望其他人可以搜索到,也无能为力。这些内容也沉积在了深网中。

当然,前面所说的Darknet包含的绝大多数内容也同时属于深网,Darknet中很多内容甚至和互联网都是隔绝的,自然不可能被搜索引擎索引。

可见,搜索引擎能检索的内容,只是人类创造出来内容中很少的一部分。很多年前搜索引擎索引量一直在上升,越来越多的页面被搜索引擎收录。但是移动互联网发展起来之后,页面已经被App替代,这种索引量上升的势头明显放缓了。人们对搜索引擎使用的频率也在下降,到目前为止,搜索引擎还是检索信息和知识的重要方式,但未来会发展成什么样,很难预测。

三 Dark web

这个词在中文也被翻译做暗网,这是造成混淆的原因,所以关于Dark web,在本文中直接使用原词,不翻译 Dark web 和 Darknet 以及 Deep web都有一点点关联。但是也一样是完全不同的东西。它指的是那些通过特殊协议或者特殊授权才能访问的应用。这个范围相当大,它包括各种P2P服务,从BT到电驴甚至比特币之类的加密货币,又包括需要授权的VPN虚拟网络上的内容,还包括特殊的P2P服务建立的网站,比如洋葱路由或者Zeronet,几乎所有没法拿浏览器直接访问的东西都可以算进去。

Darknet这个概念主要强调网络层,Dark web指的是网络之上的应用。如果Dark net对应运营商,Dark web可以对应成互联网服务商。运行在Darknet上的服务,哪怕是一个普通页面,也可以算作Dark web。除此之外,Deep web里面很大一部分服务,也算Dark web,这三者的关系错综复杂又互相重叠。

Dark web的概念可以指很小的应用,小到在自己的VPS上装一个gitlab服务,和几个朋友共同开发一个业余项目,大到遍布全球的Tor洋葱路由,都可以算作Dark web。更有意思的是人们发明这个概念的时候,从来没想到全球互联网会被切分成几个部分这件事,按照今天的形式看,Dark web的概念已经超过了发明这个词时候的预期。比如中国大陆用户必须通过某些特殊软件才能访问Facebook之类的国外互联网服务,这些服务对于中国用户也可以算作Dark web。反过来,中国大量服务必须使用手机号注册不允许匿名访问,手机号又必须实名购买,对于其他国家的人来说,没办法用普通方法直接使用这些服务,于是这些服务也可以算Dark web…

Dark web如此庞大,足以证明中文中所有关于暗网的妖魔化,对应的都只是Dark web中极小的一部分。准确的说,是Dark web上的Tor洋葱路由这个协议下面的运行的几个网站。在Dark web所有运转的服务里,所占流量最大的仍然是P2P下载服务,就算在使用Tor洋葱路由建立的站点,最知名的应该是盗版种子发源地海盗湾,虽然在一些国家法律里面这也是违法的,但是终究不算太大危害,更谈不上什么黑暗世界。除此之外还有一些赌博服务,以及各大媒体的匿名爆料通道。存在非法交易的网站也存在,通常被叫做“Dark web market”,暗网市场。总体来说,长期使用Tor的人数并不多,因为它的速度很慢。除了一些社会活动家和记者,还有一些追求匿名和隐私的普通用户,这些人不是违法服务的提供者也不是受众,这些人是Tor更常见的使用者。

图:纽约时报在今年10月已经正式开通了官方洋葱网络版本 https://www.nytimes3xbfgragh.onion/

虽然大部分Dark web服务并不追求匿名性,但其中确实有一些专门为在互联网上匿名而设计的工具,Tor是其中最著名的一个。但是就算如此,装一个Tor在计算机上开始使用,如果真去进行严重犯罪活动,被执法部门抓获仍然是轻而易举的。要想真正达到匿名,就需要学习专门的用法和一系列严格的规范和设备条件,才有可能做到“相对可靠的匿名”。对于大部分普通用户,仅靠使用Tor是几乎不可能真正隐藏身份的。所以就算是暗网市场,上面最常见的交易也就是毒品相关,属于违法活动中比较轻的,交易的产品还以在很多国家已经合法的大麻为主。对于儿童色情这种被西方各国执法机关严厉打击的内容,大部分暗网市场也禁止它存在,这个道理很好理解,毕竟大家都是为了做生意,能做低风险的生意,何必做这种最高风险的生意呢?

至于暗网上雇佣杀手、绑架贩卖人口之类事情更是都市传说,至今也没什么证据证明他们真的存在。最大的暗网市场“丝绸之路”的创始人已经被美国执法机构抓获,他的罪名里面也没包含这几项。这些犯罪行为在现实世界长期存在,被各种帮派控制,早就有固定的网络和渠道,想来也没必要花这么大力气用这么极客的办法招揽客户和宣传。如果说暗网上的非法生意,除了贩卖毒品、赌博、假证件,比较常见的是欺诈。也就是号称自己拥有杀手或者色情内容,骗人来买。等真有人通过比特币转账了,他们就再也不认账。毕竟大家都是匿名的,谁也找不到谁,骗了对方也没办法,只能自认倒霉,甚至没法跟别人说。谁会跟朋友诉苦说自己在暗网上雇凶杀人结果被骗了?相比起来冒着巨大风险的真去做违法生意,这种骗局赚钱轻而易举还没风险。

互联网上存在不存在真正的犯罪交易?当然存在。但这些交易一般在普通人可以访问的互联网上,在各种论坛,SNS都存在,通常用各种暗号交易,就和他们在现实世界中的做法一样。很多媒体报道过伊斯兰国如何招募圣战分子和进行宣传战,他们最常用也是最有效的平台,是Facebook、Twitter、Whatsapp和Telegram的群组,以及制作各种虚假内容网页等着被Google检索到骗人上钩。俄罗斯干扰各国政治靠什么?靠Twitter假帐号、Facebook投广告和水军。犯罪活动也需要客户和目标,要到人最多的地方才容易进行。网络犯罪最常用的平台,肯定是普通人用的最多的那些,而不是暗网这种小众应用。

就算是各大媒体在Tor洋葱网络上提供的爆料投件箱,实际上也没收到过什么重要线索。美国各大媒体收到的重量级匿名爆料,基本上都是有人悄悄把一个大信封扔进某位著名记者的邮箱里面,是真实世界的实体邮箱,不是网上的邮箱。对于普通人,带上个棒球帽换一件衣服,把信封扔到一个信箱里面,比在网上匿名简单多了。

图:华尔街日报WSJ网站给出的“匿名提供信息方式”,第一个渠道就是传统邮件,对普通人来说这个方式最可靠。第三个才是通过Tor洋葱网络投递。

对于非法内容和交易,在暗网上交易往往不如利用各国司法制度的差异。比如盗版一般在俄罗斯交易,因为那里最宽松。用来下载盗版电影的服务,一般在北欧或者瑞士,因为那里的法律对隐私保护更严格,法律不要求服务商保留访问日志。北美近年来最严重的毒品危机,芬太尼类药物的泛滥,是通过电话向中国的小化工厂订购,货物通过邮政服务进入北美,因为在中国这只是普通化工品… 一些在中国合法的生意,在美国不合法,反之亦然,这些方法都是长期存在、稳定可靠又易于使用。

解释完了这些概念,就可以理解暗网和暗网上犯罪的关系了。暗网规模很大,但这个暗并不是“暗无天日”的意思,也不是为了犯罪行为创建的。深网很深,但这个深是针对搜索引擎的深,不是对普通人的“深无底限”的意思。Dark web包含了各种服务,其中有一些确实是犯罪行为,但是比例和真实世界的犯罪比例哪个更高也很难说。我们的真实世界也有犯罪,总不能因此就把所有人都关进监狱,而且,就算是监狱里也存在暴力行为和非法交易。在未来某一天给每个人脑子里面装一块芯片之前,犯罪无法禁绝,自然也没法苛求暗网或者互联网消灭犯罪。

暗网存在的意义是什么?无论是Darknet或是Deep web还是Dark web,它们的存在有一个共同之处,即人们总希望有一个后备方案。如果运营商封锁我怎么办?如果我跟运营商冲突从此我再也没法上网怎么办?在Facebook发表的内容,帐号被禁用就消失了,在微博微信发的内容,随时都可以被删掉,在自己的VPS上架设的Blog,仍然有可能被关掉。一个网页如何才能不被外力消灭?只有让参与者每个人都持有一份,放在自己的硬盘上,同时提供给其他人访问,即每个人都负担流量,每个人都提供服务的分布式网络系统,这就是暗网。我之前曾经提到过我在Zeronet上有一个站点做文章备份,Zeronet就是基于这种逻辑的产物。你在Zeronet上浏览一个站点,实际上是从其他拥有者手里复制一个站点的副本到自己计算机上看,在这种系统上,只要有人还愿意保存这份内容,它就不会消失。

在这一次网络中立遭受挑战之前,互联网最接近毁灭的时刻,是2012年美国的SOPA法案。它本来是一个反盗版法案,但实际上赋予了网络服务提供者之外的第三方审查和删除内容的权力,咦这好像有一点眼熟…不管它,总之这个法案被业界认为严重威胁互联网自由,最终被奥巴马政府否决,互联网得救了。不过威胁并没有结束,下个月(2017.12),美国联邦通信委员会就要最终表决是否废除网络中立原则。这等于给了网络运营商任意限速和封杀的权力,进而威胁互联网自由。现在各大互联网公司和组织正在激烈反对它,但结果难以预测。

废除网络中立还意味着运营商将来可以对不同的公司设置速度限制。花钱多的大公司,用户访问起来更快,花钱少的小公司用户访问起来更慢,想和大公司竞争更加困难。如何对抗这种不平等?IPFS之类的分布式文件存储方案有可能是一种解决方案,这也是所谓暗网的一部分。

考虑到这些确实正在发生的变化,暗网的存在就更显得意义重大,人们最终还能拥有一个可以不被审查,不被删除,不被随意限制速度和阻挡访问的平行网络空间。这恰好就是互联网的创始者们试图创造的东西,也是互联网曾经的样子。

最近这些日子里,大家都发现了,朋友圈很多文章点开的时候已经被删除了。你有没有想过,如果每个在朋友圈分享文章的人,能自己在手机保存一个副本,他的朋友圈好友访问这篇文章的时候,可以访问分享者保存的那个副本,而不是腾讯服务器上的那个原始版,岂不是就不会“一转就看不到”了?没错,这就是一个P2P的分布式内容网络,这也属于暗网。

所以,到底为什么会存在暗网?

为了自由。


参考备注: