[转载]如何构建日均千万PV Web站点 (一) – 姜明则 – 博客园.
其实大多数互联网网站起初的网站架构都是(Linux+Apache+MySQL+PHP). 不过随着时代的发展,科技的进步.互联网进入寻常百姓家的生活。所谓的用户的需求,铸就了一个个互联网大牛; http://www.trueland.net/IndustryNews/gjszl.shtml 近日研究机构we are social发布了《2014年全球社会化媒体、数字和移动业务数据洞察》,公布了其对全球互联网、关键社交、数字化业务和移动应用的统计数据。报告指出全球数字化业务正以惊人的趋势保持高速增长,而促使这一发展趋势的正是多屏移动设备的推动。
全球数据概览
报告指出,目前,全世界互联网人口总数已达25亿,这是一个保守估算,按照国际电信联盟(ITU International Telecommunications Union)估算,全球互联网用户数量可能已接近30亿。、其实国内著名网站新浪微博也是从一个小网站发展起来的。简单的LAMP架构。如今,这样简单的 架构已经无法支撑新浪微博快速发展的业务需求,随着访问用户的逐渐增长,系统不堪重负。
今天,明则就带大家一步步地构建日均访问上千PV的高性能Web站点; 日均千万PVweb站点如下图所示:
1、前端DNS,非常简陋负载均衡器;不过并不影响日均千万PV访问网站的效果。
2、LVS具有很好的伸缩缩性、可靠性和管埋性,通过LVS要实现的最终目标是:利用linux 操作系统和LVS集群软件实现一个高可用、高性能,低成本的服务器应用集群。keepalived:LVS 必备装备;所以前端LVS应该是双机热备的架构;
3、官方测试Nginx在24G内存的机器上,能够处理的并发请求连接数达到过200万。由于Nginx使用基于事件驱动的架构能够并发处理百万级 别的TCP连接,高度模块化 的设计和自由的许可证使得扩展Nginx功能的第三方模块层出不穷,而且优秀的设计带来了极佳的稳定性,因此其作为Web服务器的反向代理被广泛应用到大 流量的网站上,包括腾讯、新浪、网 易、淘宝等访问量巨大的网站。
4、使用NGINX将网页内容动静分离;可以使NGINX能够一心一意处理静态内容的请求;官方测试NGINX处理用户连接;以及处理静态网页内容都是无与伦比的速度;
5、缓存的引入varnish是一款高性能的web-cache server,内存缓存数据;强大的vcl语言,让用户能够随心所欲对缓存数据进行过滤; 注释:”比如像一些用户私密的数据呀,更新比较频繁的数据..都不应该缓存”
6、如今由于用户并发访问量比较大,动辄就10万、20万并发都是比较常见的;高并发对于传统的共享存储,比如:网络文件系统NFS、或者集群文件 系统、它们都属于集中式存储;用户并发量一上来;必定会产生操作系统文件锁的机制;性能底下。分布式文件系统的引入:mogilefs 是一款分布式文件系统;适用于处理海量小文件 详情请参考分布式文件系统 ~MogileFS~
7、构建session集群;为什么需要构建session集群?想象一个场景;当你在购物时,你狂购了一下午的商品,结果你不小心刷新了一下;购物车中的商品全部消失了;你会怎么想?
8、使用haproxy 调度MySQL MMM ,使用MMM将用户的请求读写分离至MySQL DB; 一般的网站;都是8分读2分写;所以使用mysql 读写分离的机制会大大提高网站性能的;
9、其实我们可以将部分动态内容的计算结果进行缓存,并在随后需要的时候直接从varnish 缓存服务器取出返回给用户,对于动态网页来说,缓存的内容实际上就是动态网页的输出的html,我们称为页面缓存(page cache) 比如:”像一些新闻信息;广告…”
10、多级缓存机制;我们还可以在NGINX上做缓存;
好吧! 废话不多说啦! 开始构建千万PVweb站点吧!
前端 LVS + Keepalived 双机热备负载均衡器:
global_defs { notification_email { firefox@foxmail.com firefox@1QQ.com } notification_email_from kanotify@magedu.com smtp_connect_timeout 3 smtp_server 127.0.0.1 router_id LVS_DEVEL } vrrp_script chk_schedown { script "[[ -f /etc/keepalived/down ]] && exit 1 || exit 0" interval 2 weight -2 } vrrp_instance VI_1 { interface eth0 state MASTER priority 101 virtual_router_id 51 garp_master_delay 1 authentication { auth_type PASS auth_pass password } track_interface { eth0 } virtual_ipaddress { 172.16.249.100/16 dev eth0 label eth0:0 } track_script { chk_schedown } } vrrp_instance VI_2 { interface eth0 state MASTER priority 99 virtual_router_id 52 garp_master_delay 1 authentication { auth_type PASS auth_pass password } track_interface { eth0 } virtual_ipaddress { 172.16.249.200/16 dev eth0 label eth0:1 } track_script { chk_schedown } } virtual_server 172.16.249.100 80 { delay_loop 6 lb_algo rr lb_kind DR persistence_timeout 50 protocol TCP # sorry_server 172.16.249.100 1358 virtual_server 172.16.249.200 80 { delay_loop 6 lb_algo rr lb_kind DR persistence_timeout 50 protocol TCP sorry_server 172.16.249.200 1358 real_server 172.16.249.75 80 { weight 1 HTTP_GET { url { path / status_code 200 } connect_timeout 3 nb_get_retry 3 delay_before_retry 3 } } real_server 172.16.249.32 80 { weight 1 HTTP_GET { url { path / status_code 200 } connect_timeout 3 nb_get_retry 3 delay_before_retry 3 } } real_server 172.16.249.33 80 { weight 1 HTTP_GET { url { path / status_code 200 } connect_timeout 3 nb_get_retry 3 delay_before_retry 3 } } real_server 172.16.249.34 80 { weight 1 HTTP_GET { url { path / status_code 200 } connect_timeout 3 nb_get_retry 3 delay_before_retry 3 } } real_server 172.16.249.35 80 { weight 1 HTTP_GET { url { path / status_code 200 } connect_timeout 3 nb_get_retry 3 delay_before_retry 3 } } real_server 172.16.249.36 80 { weight 1 HTTP_GET { url { path / status_code 200 } connect_timeout 3 nb_get_retry 3 delay_before_retry 3 } } }
LVS2 keepalived configure file;
global_defs { notification_email { firefox@foxmail.com firefox@1QQ.com } notification_email_from kanotify@magedu.com smtp_connect_timeout 3 smtp_server 127.0.0.1 router_id LVS_DEVEL } vrrp_script chk_schedown { script "[[ -f /etc/keepalived/down ]] && exit 1 || exit 0" interval 2 weight -2 } vrrp_instance VI_1 { interface eth0 state MASTER priority 99 virtual_router_id 51 garp_master_delay 1 authentication { auth_type PASS auth_pass password } track_interface { eth0 } virtual_ipaddress { 172.16.249.100/16 dev eth0 label eth0:0 } track_script { chk_schedown } } vrrp_instance VI_2 { interface eth0 state MASTER priority 101 virtual_router_id 52 garp_master_delay 1 authentication { auth_type PASS auth_pass password } track_interface { eth0 } virtual_ipaddress { 172.16.249.200/16 dev eth0 label eth0:1 } track_script { chk_schedown } } virtual_server 172.16.249.100 80 { delay_loop 6 lb_algo rr lb_kind DR persistence_timeout 50 protocol TCP # sorry_server 172.16.249.100 1358 virtual_server 172.16.249.200 80 { delay_loop 6 lb_algo rr lb_kind DR persistence_timeout 50 protocol TCP sorry_server 172.16.249.200 1358 real_server 172.16.249.75 80 { weight 1 HTTP_GET { url { path / status_code 200 } connect_timeout 3 nb_get_retry 3 delay_before_retry 3 } } real_server 172.16.249.32 80 { weight 1 HTTP_GET { url { path / status_code 200 } connect_timeout 3 nb_get_retry 3 delay_before_retry 3 } } real_server 172.16.249.33 80 { weight 1 HTTP_GET { url { path / status_code 200 } connect_timeout 3 nb_get_retry 3 delay_before_retry 3 } } real_server 172.16.249.34 80 { weight 1 HTTP_GET { url { path / status_code 200 } connect_timeout 3 nb_get_retry 3 delay_before_retry 3 } } real_server 172.16.249.35 80 { weight 1 HTTP_GET { url { path / status_code 200 } connect_timeout 3 nb_get_retry 3 delay_before_retry 3 } } real_server 172.16.249.36 80 { weight 1 HTTP_GET { url { path / status_code 200 } connect_timeout 3 nb_get_retry 3 delay_before_retry 3 } } }
realserver configure file:
# cat realserver.sh #!/bin/bash # # Script to start LVS DR real server. # description: LVS DR real server # . /etc/rc.d/init.d/functions VIP=172.16.249.100 host=`/bin/hostname` case "$1" in start) # Start LVS-DR real server on this machine. /sbin/ifconfig lo down /sbin/ifconfig lo up echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce /sbin/ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up /sbin/route add -host $VIP dev lo:0 ;; stop) # Stop LVS-DR real server loopback device(s). /sbin/ifconfig lo:0 down echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce ;; status) # Status of LVS-DR real server. islothere=`/sbin/ifconfig lo:0 | grep $VIP` isrothere=`netstat -rn | grep "lo:0" | grep $VIP` if [ ! "$islothere" -o ! "isrothere" ];then # Either the route or the lo:0 device # not found. echo "LVS-DR real server Stopped." else echo "LVS-DR real server Running." fi ;; *) # Invalid entry. echo "$0: Usage: $0 {start|status|stop}" exit 1 ;; esac
右边三台NGINX :realserver configure file:
右边三台NGINX :realserver configure file: # cat realserver.sh #!/bin/bash # # Script to start LVS DR real server. # description: LVS DR real server # . /etc/rc.d/init.d/functions VIP=172.16.249.200 host=`/bin/hostname` case "$1" in start) # Start LVS-DR real server on this machine. /sbin/ifconfig lo down /sbin/ifconfig lo up echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce /sbin/ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up /sbin/route add -host $VIP dev lo:0 ;; stop) # Stop LVS-DR real server loopback device(s). /sbin/ifconfig lo:0 down echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce ;; status) # Status of LVS-DR real server. islothere=`/sbin/ifconfig lo:0 | grep $VIP` isrothere=`netstat -rn | grep "lo:0" | grep $VIP` if [ ! "$islothere" -o ! "isrothere" ];then # Either the route or the lo:0 device # not found. echo "LVS-DR real server Stopped." else echo "LVS-DR real server Running." fi ;; *) # Invalid entry. echo "$0: Usage: $0 {start|status|stop}" exit 1 ;; esac
其它配置请看 下回分解;
LVS1 keepalived configure file;