透析垃圾邮件问题　找到根治其最终办法

　　据国际电信联盟发表公报称，约80％的电子邮件是垃圾邮件。在这些垃圾邮件当中，有21％是产品广告，16％是有关投资理财的信息，14％是诈骗或者不实的信息，14％包含色情内容，其他35％为各种各样的无益信息。垃圾邮件让人感到厌烦，每年给世界经济造成的损失高达250亿美元，不仅影响了信息业的发展，而且损害了人们对于网络交流的信心。
　　从整个互联网的资源利用来看，垃圾邮件里的信息几乎没有什么价值，每次发送上百万，甚至上亿份，占用大量的网络资源，严重时甚至拥塞整个互联网链路，中断互联网部分线路的运营。垃圾邮件正以爆炸性的速度增长，最终将超过网路的承受能力。据预测，目前全世界的垃圾邮件数量以每5个月翻一番的速度高速增长，2005年垃圾邮件比例将上升至90％。如果不能尽快遏制病毒和垃圾邮件，全球互联网系统有可能不堪重负而在两年内崩溃。这是因为在互联网上传输的垃圾邮件占用了大量的传输、存储和运算资源，不但造成网络资源浪费，且一旦垃圾邮件占到互联网总数据流量的1/3，就会造成巨大的存储需求，这对信息安全系统的有效性形成重大挑战。说垃圾邮件是网络的第一大杀手一点也不为过。虽然垃圾邮件与反垃圾邮件的斗争已经有了多年的历史，但是垃圾邮件的问题好象是愈演愈烈，垃圾邮件也越来越多。这固然有个人的因素，但是网络架构的开发性和不可管理性，是造成垃圾邮件日益严重的根源。
　　法律之痛
　　垃圾邮件首先是一个社会问题。大量垃圾邮件都是人为产生的，是某些个人或单位出于商业目的，发送大量广告性质的邮件。而这类邮件虽然可以通过一些技术的方法进行识别和过滤，但它必竟是一种正常的邮件格式，想要完全过滤和识别，还存在着一定的困难。
　　因此，扼制住垃圾邮件源就成了一种想当然的解决办法。但是，网络是一个开放的系统，是一个灵活交互的扁平结构，这种开放的灵活性使得网络成为一个不可控的事物。在这种情况下，采用法律管制无疑是一个可以很好地扼制垃圾邮件源头的方法。因为网络是开放的，那么网络上的安全问题就成了一个开放的问题，我们只要能做到安全问题收敛，那么就能很好地控制不安全事件的发生，法律约束无疑是一个好办法，至少可以有效减缓垃圾邮件滋长的势头。
　　尽管全世界都在呼吁出台一些反垃圾邮件的相关立法，一些国家也出台了一些政策。但是由于技术上的原因，目前这方面的法律还都不够完善，一些国家也只是采取用户上报再封堵的流程，这种方法并不能有效地减少垃圾邮件的流量。而就目前情形来看，即使出台相关反垃圾邮件的立法，也极有可能是一些管理办法，不大可能会上升到刑罚的高度，即使能上升到刑罚的高度，那么真正执行起来还是有一定的难度。
 
　　技术之痛
 　 基于对病毒的识别的基础上的清除病毒垃圾邮件的功能，对于那些商业垃圾邮件的过滤和识别就显得无能为力了。
　　既然无法从法律的角度进行解决，那么就谋求技术上的突破，这是信息安全行业生存的法则，正是这样的法则，才滋生了大量的反垃圾邮件技术。
　　目前，任何一款反病毒软件都提供了清除病毒垃圾邮件的功能。但是，这种功能是基于对病毒的识别的基础上的，对于那些商业垃圾邮件的过滤和识别就显得无能为力了。于是就出现了商业垃圾邮件过滤技术。
　　其实，在垃圾邮件出现的早期，也出现了一种相对简单的垃圾邮件过滤技术-规则过滤。这种技术是基于关键词匹配的，就是把一些垃圾邮件中常用的关键字提取出来，形成一个规则库，然后对垃圾邮件的邮件标题和内容进行垃圾关键字的匹配，一旦发现符合垃圾邮件过滤条件的，就直接进行删除。
　　这种方法实现简单，因此目前大部分网站的邮箱系统都是基于这种技术，但是由于规则是基于纯的字符串匹配，这种方法过滤的灵敏度不高，不但会漏掉一些垃圾邮件，还会把一些有用的邮件当作垃圾邮件给处理掉，而且，这些过滤规则还需要用户经常维护，不断地添加新的关键字，这无论是对个人用户还是企业用户来说都是不人性化的。

    随着垃圾邮件过滤技术的发展，最近几年又出现一种算法过滤技术，常用的就是贝叶斯算法。贝叶斯算法是一种利用概率和人工智能原理对垃圾邮件进行分析，通过学习得出垃圾邮件的统计规律，从而对垃圾邮件进行识别和过滤的技术，这种算法最早的商业化的应用大概要数Foxmail，在它的5.0版本中我们第一次看到了这一技术的应用。这种技术是一种动态过滤的方法，本身虽然已经有了很强的垃圾邮件过滤能力，但是有时也会漏掉一些垃圾邮件，或者"误杀"某些正常的垃圾邮件。这时，我们只要把一些没有判断出来的垃圾邮件和被误判的垃圾邮件拿来给这种算法学习，它就可以不断调整自己对垃圾邮件识别的准确程度，从而拥有更强的垃圾邮件处理能力。
　　不过，这种技术需要算法本身通过长时间的学习，因此初期的过滤精度并不高，而且还需要用户把它认为不是垃圾邮件的邮件收集起来，让算法进行统一学习，初级用户往往难以掌握。
 
 　　产品之痛
　　 硬件的成本占了整个成本的大部分。因此，反垃圾邮件的硬件设备便成了鸡肋，很少会被列入企业采购的名录中去。
　　反垃圾邮件的技术只是提供一种实现的可能，最终还是要依附于某种产品，才能最终发挥它的作用。目前反垃圾邮件产品家族也已经壮大，产生了一系列的产品，按照产品形态来分，可分为软件和硬件两种形态。
　　其实，软件和硬件之间的根本区别就是性能和价格，硬件产品能够提供比软件产品更高的性能，但是价格相对较高。因此，对于稳定重于一切的企业来说，硬件产品就成了第一选择。而软件产品虽然在性能上不及硬件，但是价格却很便宜，逐渐成了个人用户的首选。
　　反垃圾邮件产品也大致分为软件和硬件两种。企业级反垃圾邮件设备一般都是放置在邮件服务器的外围，先于邮件服务器对网络中的垃圾邮件流进行过滤，这样能够大大减少邮件服务器的压力。但是，就目前的情况来看，反垃圾邮件产品的应用情况并不乐观，大部分企业并没有采用这种方式来处理垃圾邮件。这与反垃圾邮件产品的功能单一化是分不开的。目前虽然在硬件业出现了胖型与瘦型的分歧，胖型设备具有更多的功能，瘦型具有更高的性能。
　　但是对于一个企业网络的管理者来说，同样价格的设备，当然是提供的功能越多越好，而事实上，硬件的成本占了整个成本的大部分，在此基础上增大软件或者功能的数量，并不会使整个设备的价格变得更高，在这种思路指导下，反垃圾邮件的硬件设备便成了鸡肋，很少会被列入企业采购的名录中去。
　　另外，反病毒行业无疑是信息安全行业中最活跃的一枝力量，反病毒行业的发展使得反病毒厂商开始试图整合整个信息安全市场，把一切与病毒相关的因素全部归纳进来，形成了大而全的反病毒软件。如今反病毒软件不再是原先那个只会杀毒的小孩子了，它们已经成长为不但可以杀毒，还可以清除木马、蠕虫、后门的大人，而且还是集防黑客、防垃圾邮件、防入侵于一身的多面手，已经成了一个动辄占上百兆的庞大系统。由于病毒也产生垃圾邮件，于是反垃圾邮件就顺理成章地成了反病毒软件的一个子功能。
　　认知之痛
　　对于垃圾邮件与反垃圾邮件的认识，目前也还处在一个初级阶段，虽然有些勇士人也在使用相关产品，但是整体的理解还没有成熟。
　　对于垃圾邮件的认知，还没有达到"苛政猛于虎"的境地，其实，在信息安全领域，新技术和新产品要想拥有市场，就必须获得大家对它的认知。而对于垃圾邮件与反垃圾邮件的认识，目前也还处在一个初级阶段，虽然有一些敢吃螃蟹的勇士在使用着不同的反垃圾邮件产品，但是整体的理解还没有成熟。而在这个媒体信息爆炸的年代，人们已经习惯了媒体宣传的夸大其辞，已经形成了凡事往小处看的逻辑，这种全民逆反心理阻碍着人们对反垃圾邮件的正确理解。
　　另外，垃圾邮件本身也没有出现一些能够在人们心中产生阴影的致命因素。PC硬件最革命性的突破是32位计算机的出现;操作系统最革命的突破是Windows 95的出现，那么对于病毒来说，最革命的突破就是CIH病毒的出现了。这个由国人编写的病毒在潜伏了长达一年之后，全世界都爆发了，格式化硬盘、破坏主板BIOS，在连续打破了硬件不可摧毁、Windows 95系统保护机制不可攻破这两个神话后，在人们心中产生了无法泯灭阴影，于是，杀毒软件的第一地位便被迅速确立起来。
尽管很多用户中病毒的概率还是不大，经常是安装、升级了半年杀毒软件却没有发现一个病毒，但是人们却早已养成在机器中安装一个杀毒软件的习惯。
　　也就是说，很多时候对一个东西的认知，往往不取决于理性的思考，而是取决于感性的力量。因此，防毒有多重要、反垃圾邮件有多重要并不重要，重要的是大家认为它们有多重要。在这里笔者想提醒的是，垃圾邮件虽然不会对用户造成短期伤害，但是他却会对用户进行长期骚扰，而这种骚扰如果不加控制，慢慢就会演变成真正的伤害，最终产生严重的后果。
　　企业反垃圾邮件也是如此，当一个企业的网管不能认识到垃圾邮件所产生的后果时，反垃圾邮件设备很难会被网管做为一种防护设备同防火墙、防毒墙、入侵检测等设备放置在一起，可能网管更希望的是某款防火墙产品、或者防毒墙设备本身能够集成一个反垃圾邮件的模块。另一方面，如果反垃圾邮件的重要性没有得到全民共识的话，企业的网管也很难说服企业决策者来增加反垃圾邮件方面的投入。事实上，企业级反垃圾邮件产品也正是处在这样的境地。
　　所以，尽管我们已经进入了一个垃圾邮件的时代，但是，反垃圾邮件的时代还没有来临，这就像64位软件时代的来临一样，还需要时间。
　　如何判断垃圾邮件
· 收件人事先没有提出要求或者同意接收的广告邮件、电子刊物和各种形式的宣传性邮件;
· 收件人无法主动拒收的电子邮件;
· 隐藏发件人身份、发信地址、标题等信息的电子邮件;
· 含有虚假的发信地址、发件人、信件路由等信息的电子邮件;
· 含有病毒、恶意代码、色情、反动等不良信息或有害信息的邮件。
    一般针对垃圾邮件的七种基本方法
　　一、传输层拦截
　　由于目前邮件协议比较"简单"，所以电子邮件地址很容易伪造。但我们可以通过用户认证的方式，禁止从某一个邮件服务器发出的伪造邮件。但是这种方法不能避免已经通过认证的用户向外发送垃圾邮件。邮件服务器还可以提供Open Relay服务：无条件转发属于其他域的邮件。所以，关闭互联网上一切邮件服务器Open Relay的功能，对减少垃圾邮件的传播非常重要。
　　当一台开启了Open Relay的邮件服务器被垃圾邮件发送者发现时，它也会被加入一些公开的RBL（实时黑洞名单）当中，邮件服务器接受邮件时，可以检查这些邮件的发信地址和域是否在这些RBL当中。但是RBL有时也会包含一些合法的邮件服务器。因此，使用RBL的同时把常用的一些合法的邮件服务器加入到白名单当中。
　　二、指纹分析
　　从理论上来说，如果一个收件人收到垃圾邮件之后，提取其中的指纹特征并分享给其他收件人，那么其他收件人就可以根据这些数字指纹拒绝接收具有同样指纹特征的邮件。不幸的是，这些大批量发送的邮件也会包含细微的变化。例如，垃圾邮件一般都包括一个"退订（Unsubscribe）"链接。另外，收集指纹特征是一项极其耗费资源的工作，尤其是在邮件流量巨大的企业环境当中。
经过认真细致的分析，找到这些邮件当中共同的特征点，就可以把这些指纹特征收集整理成一个规模化的垃圾邮件特征库。

　三、语义分析
　　垃圾邮件制造者的另一种办法就是使用以往常用的词汇。语义分析会根据这些词语出现的位置和环境分配一个权重。一旦整封邮件的内容分析完毕，这些权重将会相加得到一个最终的分值，如果这个分值超过某一个预设的阈值，这封邮件将被判断为垃圾邮件。
　　四、人工智能
　　神经网络是人工智能技术在软件中的实现，用来识别变化模式匹配。一个神经网络存在输入、输出和两者之间的连接。输入/输入节点代表那些需要分析的源数据。输入是邮件当中的所有词语，输出是电子邮件的分类。神经网络的准确性依赖于它是如何被"训练"的。在"训练"过程中，会有大量的输入/输出被送入网络，网络通过持续调整节点之间的连接权重来增加准确性。
　　五、统计分析
　　统计分析是通过分析大量已经正确分类的垃圾邮件和正常邮件，统计其中词语出现的频率从而生成一个关于可能性的权重数据库。通过分析累加一封邮件中出现的所有的词语的权重值，可以得到这封邮件的权重值，从而判断这封邮件是垃圾邮件的可能性有多大。尽管统计数据库中可能不会包含所有的词语，但是经过精确的"训练"，贝叶斯算法可以得到相当的准确率。
　　六、启发式分析
启发式分析是对邮件进行一系列的测试分析，然后将这些测试分析的结果综合和一个阈值比较，超过这个阈值就判断为垃圾邮件。启发式分析可以包括上面提到的所有方法，也会检查邮件的内容和属性。垃圾邮件也是不断变化的，需要更多的分析判断方法结合起来。因此执行多个分析过程对提高准确率非常重要。整个启发式分析的准确性依赖于组成它的多个分析过程的权重打分有效性和阈值机制。

七、中文的特殊性
　　由于中文的特殊性，使得邮件是由多个汉字而不是"词语+空格"组成的，在中文邮件的处理上，需要对这些方法做一些改革。首先，需要一个非常高效的机制对词语进行分隔和识别；其次，还需要有一个能够理解中文的辞典；同时，汉字还存在"简体"和"繁体"，存在GB2312、GB18030等多种编码方式。最好的办法就是把这些编码统一转换到一个统一的格式，然后进行统一处理。