怎样设计大数据处理的解决方案?

怎样设计大数据处理的解决方案?

1、项目介绍

这是一个winform系统,采用了.NET Framework3.5和SQL Server2008编写与存储。这是一个某车辆监控管理系统,分为前端采集车辆信息,然后存储到后台数据库服务器上,整个系统的大致流程是:前端采集的图片数据,通过交换机统一接口,将数据传入到负责存储的中心服务软件(以下简称为“服务软件”),然后服务软件将接收到的数据存入到数据库中(数据库为SQLServer2008),客户端通过网络去访问数据库的信息,进行检索等一些操作。这是一个大至流程,上图中有N个分中心,每个点都部署了一样的系统及软件,流程一样,然后将分中心的数据同步到总的服务器上,主要同步的对象是从相机过来的照片(照片是转换为二进制后存储到数据库某表中的)及一些相关数据,实现总点可以查看各个分点的数据信息。

2、目前问题

  由于图片是存储在数据库表中的,由数据量过大,平均一天有20万左右的信息需要存储,峰值每秒达到了15-20条左右的记录,图片压缩后为150KB左右的高清图,服务器为24*365天工作的,所以压力比较大,目前的问题是服务器的磁盘IO出现了瓶颈(服务器采用了500G的硬盘做了磁盘阵列),服务器的连接通讯管道出现了拥堵,写入操作超时。这种情况偶尔会发生。

3、个人的解决方案

  经过研究发现,出现了该情况的最大问题在于服务器的磁盘IO出现了瓶颈,频繁的写操作,导致写入操作超时,于是我们就对证下药,解决磁盘IO的压力,由于之前图片是存储在数据库表中的,在占用了数据库的大量空间的同时又减慢了客户端访问服务器的速度。有些时候不是所有的事情软件都能解决的,我们对硬件进行一个升级,同时改变一下系统的存储策略,把图片单独存储,解决服务器的IO瓶颈,减轻服务器写操作的压力。

Comments are closed.