服务器应用:用NTOP精确监控网络(上)

如果说让网络管理员最头疼的问题，恐怕大家都会回答是网络带宽匮乏了，实际情况确实如此，随着网络应用与网络软件的越来越多，占用带宽资源的服务也越来越多。我们究竟应该怎么管理网络成为一个非常严肃的问题。BT，P2P等软件吞噬着网络带宽，蠕虫等网络病毒也使网络应用变得枯竭。从某种意义上讲带宽就是钱，那么我们这些网络管理员如何有效的从监视到控制公司的网络流量呢？笔者为各位读者介绍一个不可多得的监控网络流量的工具:NTOP。
 
一 .为什么需要对流量监控？

    如果作为一名普通网络用户，在浩瀚的互联网畅游之时，没有人会注意到平静的海面下其实暗流汹涌。一般来说，网络管理者所需要了解的是各个网段的使用情形，频宽的使用率，网络问题的瓶颈发生于何处。当网络问题发生时，必须能够很快地区隔出问题的发生原因，迅速定位到线路问题、网络设备问题、或者是路由和放火墙的设定问题。在一个稍微较小的网络中，一个有经验的管理者要回答这些问题并不难，但是如果其所管理的网络范围过于庞大，那么就可能需要一个有效率的网管系统了。在业务繁忙的工作网络中，网络突然缓慢，在重要数据往来的工作时间段，留给系统管理员的响应时间只有宝贵的十几分钟、甚至几分钟。如果你不能回答网络为什么缓慢？必须在经过科学合理的计算和统计，并且在预先建立的流量分析系统中才能找到答案。
 
    P2P（Peer-to-Peer）是一种用于文件交换的新技术，通过Internet允许建立分散的、动态的、匿名的逻辑网络。P2P为对等连接或对等网络，点对点网络技术，可应用于文件共享交换，深度搜索、分布计算等领域。它允许个体的PC通过Internet共享文件。随着P2P文件交换应用的普及，ISP在维持和增加宽带网的收益上也面临着新的挑战和机遇。据有关资料统计，现有的网络中有超过70%的带宽被P2P通信占据着。P2P通信会导致异常的流量峰值，对网络资源造成意外的变形；所带来的网络拥塞、性能下降等问题，已影响到正常的网络应用，如WWW、Email等，缓慢的网页浏览和收发邮件速度更引起普通用户的不满。
 
    若想控制P2P通信，就必须对P2P通信进行有效地识别，然而，许多P2P通信使用了不同的通信技术和协议，使用传统的技术来识别它们非常困难。 比如，许多P2P协议不使用固定的端口，而是动态地使用端口，包括使用一些知名服务的端口。KaZaA就是可以使用端口80（通常是http/web来使用）来通信的，从而穿透传统的基于IP和端口的防火墙和包过滤器。所以，通过简单的基于IP和端口的分类技术（分析IP包头、IP地址、端口号等）很难识别、跟踪或控制这类通信。

    过去有一段时间，有人使用监测6881~6889端口来识别BT（BitTorrent），但这种做法现在早已失效——BT已不再使用固定的6881~6889端口来通信，而是动态地使用端口。随着P2P应用的不断增长，更多的通信协议被使用；识别和分类P2P的技术必须快速、简单，以适应这种技术的变化。现在，识别P2P通信的方法是在应用层分析数据包，看是否有某个应用协议的特征码，然后确定通信的种类。应用层分析数据包的基本方法是，如果应用层数据包的头部有“220 ftp server ready”的特征串，可以确定是在使用ftp程序；如果有“HTTP/1.1 200 ok”的特征串，可以确定是在使用http传送数据。
  谈到网络流量监控，相信大家都熟悉MRTG这个工具。但是MRTG存在许多缺点：

    1.  使用文本式的数据库，数据不能重复使用；
    2.  只能按日、周、月、年来查看数据；
    3.  只能画两个DS（一条线、一个块）；
    4.  无管理功能；
    5.  没有详细日志系统；
    6.  无法详细了解一一流量具体构成；
    7.  只能用于TCP/IP网络对于 SAN 和iSCSI网络流量无能为力;
    8.  不能在命令行下工作；
    9.  过于依赖SNMP协议。

    MRTG基于SNMP协议获取信息，对于端口的流量，MRTG能提供精确统计，但对于3层以上的信息则无从得知了。而这正是NTOP的强项。NTOP能够更加直观的将网络使用量的情况和每个节点计算机的网络带宽使用详细情况显示出来。ntop是一种网络嗅探器，嗅探器在协助监测网络数据传输、排除网络故障等方面有着不可替代的作用。可以通过分析网络流量来确定网络上存在的各种问题，如瓶颈效应或性能下降；也可以用来判断是否有黑客正在攻击网络系统。如果怀疑网络正在遭受攻击，通过嗅探器截获的数据包可以确定正在攻击系统的是什么类型的数据包，以及它们的源头，从而可以及时地做出响应，或者对网络进行相应的调整，以保证网络运行的效率和安全。

    通过ntop网管员还可以很方便地确定出哪些通信量属于某个特定的网络协议、占主要通信量的是那个主机、各次通讯的目标是哪个主机、数据包发送时间、各主机间数据包传递的间隔时间等。这些信息为网管员判断网络问题及优化网络性能，提供了十分宝贵的信息。ntop提供以下一些功能：

    1. 自动从网络中识别有用的信息；
    2. 将截获的数据包转换成易于识别的格式；
    3. 对网络环境中的通讯失败进行分析；
    4. 探测网络环境下的通讯瓶颈；
    5. 记录网络通信时间和过程；
    6.自动识别客户端正在使用的操作系统；
    7.可以在命令行和Web两种方式运行。

流量分析要点

    连接性 也称可用性、连通性或者可达性，严格说应该是网络的基本能力或属性。Internet的出现以及采用新技术而带来的生产力提高，导致对更高带宽和服务的需求。企业需要更高带宽的定制服务；而消费者则需要像宽带连接和视频点播等服务；运营商必须在他们的目标市场需求与他们业务的现实之间取得平衡；这些都必须以网络的连接性能为基础和保障。

    时延 定义了一个IP包穿越一个或多个网段所经历的时间。时延由固定时延和可变时延两部分组成。固定时延基本不变，由传播时延和传输时延构成；可变时延由中间路由器处理时延和排队等待时延两部分构成。

    丢包率 是指丢失的IP包与所有的IP包的比值。许多因素会导致数据包在网络上传输时被丢弃，例如数据包的大小以及数据发送时链路的拥塞状况等。不同业务对丢包的敏感性不同，在多媒体业务中，丢包是导致图像质量降低和断帧的根本原因。

    带宽 一般分为瓶颈带宽和可用带宽。瓶颈带宽是指当一条路径（通路）中没有其它背景流量时，网络能够提供的最大的吞吐量。可用带宽是指在网络路径（通路）存在背景流量的情况下，能够提供给某个业务的最大吞吐量。在复杂的网络系统上面，不同的应用占用不同的带宽，重要的应用是否得到了最佳的带宽？它占的比例是多少？队列设置和网络优化是否生效？通过例如MRTG等网络流量分析会使其更加明确，并以图形HTML文档方式显示给用户，以非常直观的形式显示流量负载。

主动分析避免异常流量

    面对异常流量，我们应当建立一套分析系统，支持异常流量发现和报警，能够通过对一个时间段内历史数据的自动学习，获取包括总体网络流量水平、流量波动、流量跳变等在内的多种网络流量测度，并自动建立当前流量的置信度区间作为流量异常监测的基础。

    如果自行建立主动型的网络分析系统一般包括：测量节点、中心服务器、数据库和分析服务器。但对于中小企业来说难度较大。主动分析是借助产品化和集成程度较高的测量工具，有目的对生产网络注入监控点，并根据测量数据流的传送情况来分析网络的性能。虽然这些监控点也会占用带宽，但和P2P下载所占用的可用带宽相比是微不足道的。 排除病毒和封锁P2P之后，一般带宽占用前两名的应用是基于网站页面的在线音频与在线视频。为了节约带宽，我们应该在工作时间段对其进行限制和封锁。

    ntop和MRTG相比相比它的安装配置比较简单，可以不使用Web服务器。目前市场上可网管型的交换机、路由器都支持SNMP协议，Ntop支持简单网络管理协议所以可以进行网络流量监控。ntop几乎可以监测网络上的所有协议: TCP/UDP/ICMP、(R)ARP、IPX、Telnet、DLC、Decnet、DHCP－BOOTP、AppleTalk、Netbios、TCP/UDP、FTP、HTTP、DNS、Telnet、SMTP/POP/IMAP、SNMP、NNTP、NFS、X11、SSH和基于P2P技术的协议eDonkey, Overnet, Bittorrent, Gnutella (Bearshare, Limewire,etc), (Kazaa, Imesh, Grobster)。

    下篇文章介绍ntop软件的安装和使用，敬请点击查看