[转载]C# 大型电商项目性能优化(一) – Leon.Chen – 博客园.
经过几个月的忙碌,我厂最近的电商平台项目终于上线,期间遇到的问题以及解决方案,也可以拿来和大家多做交流了。
我厂的项目大多采用C#.net,使用逐渐发展并流行起来的EF(Entity Framework)框架,并搭配使用丹麦的一款主打CMS, DMS的.net web应用程序sitecore。
本篇为基础篇,侧重于阐述编码规范和一些编码技巧对系统性能的影响。不规范的编码方式,可能对单个方法或模块产生的性能影响是微不足道的,但在大型电商项目中,高并发的场景随处可见,欠妥的编码方式,可能会对整个系统的性能及用户体验,造成很大的影响。
作为电商项目,对性能影响最明显的模块,莫过于下订单及修改库存。在高并发场景下,这些模块的数据库存取的性能要求是非常高的,少许的性能浪费,都可能使系统在使用中的表现差强人意。
首先,我们来阐述一下EF框架下得编码规范。这里我们可以参考msdn关于IQueryable<T>及IEnumerable<T>的介绍:
对于在内存中集合上运行的方法(即扩展 IEnumerable< T> 的那些方法),返回的可枚举对象将捕获传递到方法的参数。在枚举该对象时,将使用查询运算符的逻辑,并返回查询结果。
与之相反,扩展 IQueryable <T> 的方法不会实现任何查询行为,但会生成一个表示要执行的查询的表达式树。查询处理由源 IQueryable<T> 对象处理。
IQueryable<T> 会生成一个查询表达式树,并不会将数据直接取出来,但该对象的扩展方法为我们提供了大量的高效辅助功能,例如判断数据是否存在的Any(),查询数据数量 的Count(),统计计数属性的Sum()等,EF会帮助我们生成最优的SQL,以减少数据库存取时的性能损耗。这些方法,我们都可以用比较笨拙的编码 方式进行实现,但其效率会低很多。
另外,编码过程中应尽可能避免使用ToList()方法及GetById()方法,这里依旧可以参考msdn,但笔者可以直白地去描述:采用这两种 方法后,程序会直接将数据从数据库中读取出来,并加载到内存,接下来我们可以直接操作这些实实在在的数据,并使用List<T>所扩展的方 法。然而这种方案会造成以下性能问题:
1.将未经业务处理的表达式树直接用来查询数据,其数据量太大,数据库的存取,磁盘的IO,都需要消耗大量的时间和空间。
2.EF支持的导航属性,会将相关联的对象都查出来,届时庞大的数据又拥有更庞大的分支,让内存和CPU飙升。
为了避免上述问题,EF为我们提供了行之有效的方法:
1.查询初期少用ToList()及GetDtoById()方法。
2.查询过程中,使用Select()和SelectMany()方法,只选取自己所需要的属性或对象。
为了看出不规范的编码方式带来的性能损耗,我们来看一段例子比较:
1.以下是只选取自己所需的属性的代码:
var productSKU = unitOfWork.ProductSku.Get(p => p.Id == item.SKUId)
.Select(p => new { p.Id, p.ProductId, p.Product })
.FirstOrDefault();
提交订单耗时的截图:
2.采用GetById()方法:
var productSKU = unitOfWork.ProductSku.GetByID(item.SKUId);
提交订单耗时截图:
笔者电脑老旧,该数据在i5 8G ram的计算机中仅需要200ms的时长,在性能更强的服务器上耗时更短。
从对比中我们可以看到:仅仅只修改了一个方法,程序请求的耗时竟有将近一倍的误差!如果我们的代码中充斥着这种懒惰的不规范写法,在高并发场景下,系统会被拖得很慢,甚至会出现程序报错。
接下来,我们说下抛开EF框架的做法,擅长SQL编程的园友,可能会不屑EF的提供的各种方案,直接写SQL,采用ADO不是更快吗?的确,直接运行sql会让程序更快,ADO的速度是大家所认可的。EF也支持大家使用直接编写sql的方式:
var productSKU = dbContext.Database.SqlQuery<ProductSku>(sqlStr);
如果sql编程功力深厚,笔者是非常支持这种编程方案的。但EF框架也有其天生的优势:
1.EF框架让更多的初级软件从业者更快地学习和编写程序
2.EF提供的完善的扩展方法,帮助软件从业人员实现各种功能
3.规范编写的EF C#代码,并不会比原生的sql慢太多
这让笔者想起C#.net与Java程序员之间的矛盾^_^。笔者因为机缘巧合,也写过一段时间的Java。
二者的设计理念确实有所不同:
1.C#.net让初学者更快地入门,提供了更多的类库和方法,其出色的IDE让编程人员省心省力。且C#.net已经开源。
2.Java则需要编程人员做更多的思考,自己配置环境变量,自己敲命令行,让编程人员在思考的过程中加深对计算机原理、操作系统和软件工程的认识。
毫无疑问:两者都是当代最出色的高级程序语言(PHP,Python,JavaScript等的同行勿喷^_^)与其花时间争论谁才是最好的语言,不如兼而学之。
以上是本次性能优化介绍的基础篇,后续会为大家带来数据库层面的优化经验及体会。