Knowledge based Antispam Gateway
中文全称为“海量垃圾邮件分析及处理系统”,简称“KBAS”。


   它是一套跨平台,分布式的垃圾邮件过滤及投诉管理系统。能够高效精确的过滤垃圾邮件,并提供完整的投诉管理、统计及自动化处理平台,使邮件用户和服务商实现良性的互动。最终实现减少垃圾邮件,降低运营成本和提高用户满意度的三重效果。

在iGENUS V5中已经集成KBAS。iGENUS邮件系统做到了和KBAS防垃圾网关的无缝结合,非常有效的过滤和拦截了大量的垃圾邮件,并且保证不丢信。

功能:

  • 垃圾邮件过滤
  • 过滤结果统计及分析
  • 过滤规则管理
  • 配置管理和用户管理
  • 垃圾漏报投诉及管理系统
  • 误拦截申诉与管理系统

产品构成:

软件包部分:
  • 垃圾邮件过滤引擎
  • 扩展型RBL和知识库
  • Web界面管理系统
  • 投诉分析管理系统
外围支持系统(由汉启维护):
  • 垃圾邮件采集网络
  • 垃圾邮件特征提取实时更新系统

技术原理:

采取内容过滤为主,信头分析为辅的过滤方式。引入了“知识库”的概念,辅以独有的启发式算法和优越的抗干扰技术,能够高效精确的对邮件内容进行分析并判断,开创性的实现了“基于内容分析的实时过滤”。

辅1:内容分析和行为分析

垃圾邮件分析手法存在两种思路,分别是内容分析和行为分析。内容分析是通过对邮件正文的分析来识别垃圾邮件。优点是准确度高;缺点是容易被干扰,消耗资源多。行为分析是通过分析邮件的发送行为来识别,例如SMTP并发数,出错频率等等。优点是系统资源占用少;缺点是漏判,误拦截较多。另外,识别对外发送的垃圾邮件只能采用内容分析手段实现。


辅2:实时过滤和存储转发

垃圾邮件过滤机制,也存在两种策略,分别是:实时过滤和存贮转发。实时过滤就是在SMTP层通话时,做出判断;存储转发是先将所有邮件收取,再做出判断。由于存储转发模式对资源消耗大,无法产生退信,所以不适合大规模运营商采用。一般来说,基于内容过滤分析手法的系统,因为消耗资源多,分析数据量大,所以无法实现实时过滤,被迫采用存储转发模式。基于行为过滤的系统占用资源少,能够实现实时过滤;但是过滤效果不理想,造成较多误拦截和漏过。

基于内容分析的实时过滤:

KBAS在SMTP会话阶段对邮件内容进行流式分析,一方面确保精确识别;另一方面,高效的过滤能力适合大规模运营商的使用。

八大优点:

运行效率高,能够以软件形式实现。

过往的反垃圾邮件产品身上往往存在一种悖论:为了减少垃圾邮件所占用的系统资源而过滤垃圾邮件,但过滤行为本身消耗的资源大于其过滤的垃圾邮件所消耗的资源。简单来说,就是吃的粮食比干的活多。

KBAS的实际应用结果表明:以软件方式部署该系统的邮件服务器,在整体系统负载方面,少于部署之前。这一点证明了:以软件方式部署在邮件服务器上的KBAS系统,不会增加服务器的负载。因为这一点,KBAS能够以软件形式安装在原有的邮件服务器上。

使用软件解决方案有以下几个优点:
    • 降低成本。采用KBAS无需额外购买硬件,大大降低采购成本和使用成本。
    • 扩充简便。用户仅需要获得授权就可以随时扩大使用范围,不需要购买硬件和改变网络结构。同时,授权的价格当然远远低于硬件的价格。
    • 服务更稳定。由于软件分布式的部署在所有邮件服务器上,不存在服务商最担心的单点故障,即使某台服务器发生异常,导致崩溃,其它服务器也能立即自动的分担其工作,不会对整体服务有任何影响。
    • 升级迅捷。垃圾邮件的迅速变化注定反垃圾邮件系统需要频繁的升级,硬件需要到站的升级,执行较慢而且可能影响使用。软件能够通过网络做到透明在线实时升级,不会影响使用。
精确

真实环境测试结果表明,KBAS过滤率高于97%,误报率低于0.01%,过滤准确性达到目前业内最高水平。

兼容性强,适应各种邮件系统,操作系统和其他周边支持系统

KBAS采用汇编语言和C语言编写,能够在包括Linux, Unix, Windows在内的多种操作系统下运行。能够兼容所有邮件系统。

不丢信的过滤系统(误报通知与申诉系统)

采用存储转发机制的过滤系统,无法对发件人提供退信,仅提供过滤邮件列表供收件人确认,而实际情况是收件人极少确认过滤列表。这就是说,当误判发生的时候,发件人和收件人双发都不知道邮件被过滤了,造成了信息断层。该机制存在严重的安全隐患——丢信。
KBAS的设计特点决定它能够实现“实时过滤”策略,即在SMTP会话结束前,做出判断,对垃圾邮件拒收并返回可自定义的错误代码和错误信息。该策略的优势是:即使发生了误拦截,发件人也能够收到退信而得知这一情况。避免了收发双发不知情的丢信发生。
   发件人收到退信后,得知该邮件被拦截,并了解部分拦截原因,通过浏览器访问退信上指示的地址,只要简单的申诉即可获得放行。
KBAS有效规避了“丢信”这一巨大风险,是“不丢信”的垃圾邮件过滤系统。对运营商来说,是保证服务质量,提高客户满意度的有效工具。

强大的外发垃圾拦截功能

SPAMER利用运营商提供的免费/付费服务外发垃圾邮件,不仅浪费了运营商大量网络资源,破坏运营商的企业形象,甚至有可能导致运营商被公共RBL组织加入黑名单而影响正常用户的正常使用。
   垃圾邮件的发送行为特征不明显,仅能通过内容分析来判断,而且需要实时的判断。因为这些因素,拦截外发垃圾邮件一直是反垃圾邮件行业的难题。
KBAS的设计决定它能够实时的分析邮件内容并做出判断,在拦截外发垃圾邮件这个问题上,KBAS提供了有效的解决方案,这是同行所不能比拟的。

垃圾邮件投诉功能

任何垃圾邮件系统都会漏过少量垃圾邮件,而用户收到垃圾邮件的反应如何呢?
   垃圾邮件对用户的不良影响不仅仅是直接骚扰了用户,更让用户感到气愤的是,他们对这种骚扰毫无办法。有些垃圾邮件过滤系统提供了投诉和处理功能,但由于过滤算法的原因,用户的投诉基本不能对垃圾邮件造成影响,用户的投诉也就变成无用功——投诉无用,用户也就逐渐失去了投诉的热情,这样的功能对提高用户满意度毫无帮助。
   由于其独特设计,KBAS只需要很少的垃圾样本就可以提取垃圾邮件的关键信息,并可识别其他具有相同核心信息的垃圾邮件(不同于需要大量样本不断训练的贝叶斯算法)。而且,KBAS可以自动对投诉的垃圾进行启发式分析,得出候选规则和知识点供管理员审核决策。提高了投诉处理效率。KBAS能够提供完善的用户互动体系:
用户投诉->系统自动提取->管理员审核->封杀垃圾->答复用户
   该互动体系一方面有效利用客户的投诉自我进化,另一方面,给用户提供了投诉平台,用户投诉后,能获得肯定答复,并感受到投诉的实际效果。这一体系的应用,能够有效提高客户满意度。

误报即时调整

目前大多数垃圾邮件过滤系统,由于采取了几率算法,当误报出现时,无法作出相应调整来避免误报再次发生,只能听之任之。

KBAS出现误报时,管理员可以查看引起误报的规则并修正,确保该类误报不再出现。而且这种修正,不会增加漏报的可能。
   从用户角度来说:某用户的邮件被误拦截,他投诉到运营商客户服务部,如果运营商采用上述第一类的过滤系统,运营商也无法确保该类误判不再出现,一而再,再而三的同类误报,将严重降低客户满意度。如果运营商采用的是KBAS,收到用户投诉后,能够迅速找到原因并修正,并保证这类误判不会再次发生。

客户个性化控制

垃圾邮件存在灰色地带,这一点众所周知。情况往往是,最终用户的垃圾邮件标准和过滤系统的垃圾邮件标准不相符,造成一些有争议的误报。而对于大多数过滤系统来说,这种认知上的差异只能强迫用户接受。

KBAS的启发式算法对邮件提取上百个向量进行分析,所以过滤阀值的调节粒度非常细,管理员能够参考用户的垃圾邮件定义来定制KBAS,减少有争议的误报情况。

使用价值:

  • 杜绝垃圾邮件,确保不丢信,提供垃圾投诉,保障邮件外发成功率,实现提高客户满意度的作用。
  • 减少带宽的占用,降低服务器负载,降低管理维护成本,实现降低运营成本的作用。

附表1:能够有效过滤的垃圾邮件

 

垃圾邮件发送方式 说明
僵尸电脑发送

利用木马控制用户PC发送的垃圾邮件

利用低防护邮件服务器发送

某些服务器未做SMTP认证,被利用转发垃圾

自动回复和自动转发功能反弹式发送

利用某些服务商的自动回复/退信功能发送垃圾邮件

动态IP发送

利用花生壳等DDNS技术发送垃圾邮件

 

附表2:本系统和以往垃圾邮件过滤技术比较:

  理想状态*

本系统

贝叶斯等内容过滤

行为模式

垃圾识别率

100%

97% - 99%

80%-90% 依赖训练

60%依赖管理员

误判率

0%

0.1%

1%-%5伐值设定

1%-5%伐值设定

过滤能力可持续

自动维持高水平

自动维持

依赖管理员维护

依赖管理员维护

维护成本

集中管理

减少磁盘I/O

减少内存和CPU占用

增加内存和CPU占用

减少带宽占用

退信模式

返回错误码

返回错误码

无或占用资源过大

返回错误码

误判纠正机制

N/A

漏判纠正机制

N/A

用户参与机制

N/A

网络协同

单兵作战

本地用户外发控制

*理想状态指的是:垃圾判断率100%,0%误判,不消耗系统资源的绝对理想状态。

蓝色代表最佳或接近最佳;黑色代表正常;红色代表不足。