1.1.1. 5月13日 系统扩容

今天起了个大早，坐早班飞机飞青岛，下了飞机直接打了个车就到老万他们公司去了。我到老万他们那的时候正好是午饭时间，老万特意请我去旁边吃了顿石锅拌饭，老万他们公司附近没什么吃饭的地方，不过那个地方韩国人比较多，旁边有一条街上韩国人开的餐厅不少。这家馆子也是韩国人开的，做的比较地道。吃饭的时候老万比较高兴，今天的会议基调已经定下了，扩容是必然的，让老万这几天吃不好饭的问题可以彻底解决了。

吃完饭回到办公室已经是中午一点了，我问老万是不是需要休息一下再去会议室。老万说我们两个先到会议室统一一下思路吧，估计明喻他们要2点才会到，他们开会从来都不准时。于是我和老万就在会议室里讨论起今天下午的思路。从目前的情况来看，经过Richard这段时间的折腾，IO问题确实解决了不少，通过扩磁盘，IO的负载下降了一些，不过从目前来看，如果下个月业务量上升2倍，IO又会成为一个瓶颈。前阵子由于VA7400的性能出现了问题，所以现在大多数文件都已经移到EVA 3000上了。如果不能把VA 7400好好利用起来，可能到了高峰期EVA 3000会顶不住。因此我建议老万下午一定要提出让明喻他们解决VA 7400的问题。

今天明喻他们到的很早，1点40多就到了。我看到走廊里走来三个人，明喻走在最后面，前面是一个廋廋的中年人和一个高高胖胖的老外，我想这个老外应该就是Richard了。

一进会议室，明喻马上抢先几步，走到我们面前，说：“万科，我来介绍一下，这是我们的彭总,...”

还没等明喻说完话，彭总就走上前去和老万来了个亲密拥抱，然后对明喻说：“我和万科是老朋友了，只是这几年见面比较少”。

明喻有些尴尬的指着我说：“原来你们是老相识了，彭总，这是老白，前阵子帮我们做优化的外援，是Oracle方面的专家”。

彭总马上和我亲切握手，并把我介绍给Richard。Richard用他那只毛茸茸的大手握住我说：“我们通过电话，通过EMAIL，今天能见到你，很高兴。”

大家我们几个正在寒暄，老万和彭总两个人跑到旁边嘀嘀咕咕的在说着什么，老万的脸上满是笑容，看样子两个人谈的不错。

今天会议的与会人数比较多，光是老万他们就有业务部门和技术部门两个部门的人参加，有7、8个人，连老万的顶头上司丁总也到会了。明喻他们是总集成商，负责软件开发的大董他们也派了区域经理参加，加上我们，总共是四方。

会上首先明喻介绍了前一阶段的优化工作以及取得的成果，他们认为前一阶段的成果比较明显，IO问题得到了初步的解决。不过由于下个月业务量将增加数倍，因此CPU的问题还未得到明显的环节，建议开发商尽快对应用进行优化。

在开会前，我就考虑过是否要在会上对明喻他们前一阶段的优化进行评价，最后我决定在这种场合最好不做针对性的评价，否则很容易造成僵局，破坏整个会议的气氛。因此当明喻总结前阶段取得的阶段性成果的时候我只是坐在那里微笑着倾听，并没有做任何评论。

当明喻提出需要开发厂商对应用进行优化的时候，开发厂商的代表提出了不同的意见，开发厂商认为目前的应用软件已经经过了充分的优化，目前的优化余地不大。同样的软件在其他的客户那里运行效果远远好于这里，这是因为其他客户的硬件设备要好于这里。因此他们建议对目前的数据库服务器进行扩容。

Richard是听不懂中文的，我们在讨论的时候，明喻坐在旁边给Richard当翻译。明喻在外企干了多年，英语口语相当了得。Richard听了大董他们的发言后，马上发言说他十分赞同开发商的建议，目前优化应用的难度较大，硬件扩容是解决问题的最好办法，为了确保系统能够顺利运行，至少应该扩容50%以上。

Richard这么一发言，会场的气氛一下子变得紧张起来，本来几大阵阵营是准备先来一场太极推手的，Richard这么一说，就只好步入正题了。老万一听Richard这么说，马上接过话来说：“Richard说的太好了，目前最为稳妥的优化方案就是扩容硬件，否则下个月我们大家都将陷入困境。会前我也和老白讨论过，目前实施大规模软件优化的难度会比较大，另外目前也没有相关的经费”。

“关键是目前我们的7410已经是满配的了，CPU已经插满了，内存是还能再扩几个G，但是目前我们要解决的主要问题是CPU的负载过高的问题，加几个G的内存起不了多大的作用。你说是不是，老白？”明喻今天看样子是唱黑脸的。

“是的，目前系统主要的问题是CPU资源不足，扩内存当然也会有帮助，但是如果解决不了CPU的问题，单纯扩内存只会增加CPU的负载，无法解决问题”，看到明喻问我，我只好跟着说“目前系统已经满配了，不过可以扩容为7420，增加一个扩展柜就可以了”。

我一说完这句话，明喻的脸马上就变了，扩充一个扩展柜的成本比简单扩容CPU内存要高的多，这等于是从明喻身上挖肉一样。我说完用余光扫了一下坐在主席位的丁总和彭总，看到这两个人很沉稳的样子，我一下子就明白了，今天的问题根本就不需要我们操心，估计丁总和彭总早就有了安排，明喻和Richard只是出面打打嘴仗而已。所以我今天也没必要冲的太猛，得罪人的事最好还是让别人去干。看到明喻不愿意扩容，开发商的代表纷纷发言，强调目前SQL优化难度很大，必须尽快扩容。

会议开了半个多小时，大家还是在为扩容还是优化应用争论不休，看样子再讨论个把小时也很难有所进展。我悄悄的对老万说：“万科，今天这局面，看样子你该出面了，否则这么扯下去也没意思，解决不了问题。”

老万笑了笑，凑到我耳朵边说：“老白，你真是人精，连这个你都看出来了。先让他们吵一会吧，我也希望用明喻去压一压开发商，否则让他们改点东西太难了”。

我借着上厕所的机会，在外面点了根烟，烟刚点上，看到小马也从厕所里走了出来，看到我在抽烟，马上凑了上来：“这种会真无聊，要是能解决问题才怪，快给根烟，都憋死我了”，小马是个烟鬼，今天主持会议的丁总不抽烟，所以会场上没有一个人敢抽，让他半小时不抽烟，也真难为他了。

我抽完烟，和小马打了个招呼，就回会议室了。正好这个时候老万正在发言，老万把下个月业务量加大后系统面临的困境说了一下，然后对这段时间的优化工作做了评价，首先对Richard的工作给予了肯定，目前系统的IO问题确实得到了较大的缓解，不过随着IO问题的解决，

这个时候彭总突然说：“丁总，看样子这个问题挺复杂的，如果硬件扩容，需要一百多万的投资，不过如果不扩容，目前东软的软件优化进度又赶不上业务高峰期。丁总，我们公司在你们这个项目上的投入您也看得到，光是这次我们请专家过来做优化就是几十万的投入，看看我们怎么解决这个问题。”

这明显是在哭穷，不过在这个项目上，明喻他们公司的投入确实是很大的，估计这个项目肯定是亏损的，所以丁总的说法也确实有些道理。我感觉会议开到这个时候，才真正进入正题了，估计很快丁总就会抛出解决方案了。果不其然，一直一言不发的丁总终于发言了：“首先感谢丁总对这个项目的支持，在贵公司的支持下，我们这个系统才有了今天。这一年来，我们遇到了很多系统设计之初没有考虑到的问题，系统负载之大已经远远超出了当初设计的数倍，但是丁总对我们一直都是有求必应，这一点我们是十分清楚的，也是十分感激的。昨天在张总办公室里我向他汇报了系统的情况，并且告诉张总您今天也要来开会，张总还特意让我转达对您和贵公司的感谢。按照我们的协议，我们上一期的合同到今年年底结束，在合同结束之后，我们准备继续和贵公司合作，尽快开始下一期2年的合作谈判”，丁总拿起水杯喝了一口水，继续说道：“由于我们第一期对系统的容量估计不足，所以下一期我们一定要充分考虑业务的增长，千万不要犯第一期的错误。”

这是我到青岛之前绝对想不到的一个结局，估计是两个公司的高层已经达成了某种默契，老万按理说应该是知道的，这小子刚才还在和我演戏，我又被这小子摆了一道。我悄悄的对老万说：“万科，你今天又在涮我，害得我中午的时候还在替你出谋划策，真不够意思”。

老万连忙解释：“我也是刚才丁总来的时候才告诉我的，真的没骗你，我们俩什么关系，这么大的事情我怎么可能不事先通知你呢？”

我说：“万科，今天明摆着你是让我来打热身赛的，这么大的事情，今天中午你才知道？想蒙我没那么容易，如果你不说实话，我今天就一言不发了啊。”

老万的小眼睛眨了眨，奸笑着说：“别啊，这件事我确实没法事先告诉你，昨天晚上双方才达成的一个协议，我也没有权限事先告诉你。下面的方案还需要你把关，你还是要多提意见”

实际上昨天晚上双方已经达成了一个协议，明年老万他们准备购买一套RP 8400和一套EVA 6000存储，以替换目前的这套系统。以这个为代价，明喻他们公司准备把青岛实验室的一套16个CPU，32G内存的RP 7420服务器免费借给老万他们使用到明年扩容为止。

既然这个问题解决了，后面的技术问题就不成问题了。经过讨论，形成了下面的方案：

RP7420安装最新的golden patch，并且安装Glance和Mirror Disk软件，内置硬盘中划出32G的分区作为SWAP区，另外划出50g 作为归档日志的存放目录。

VA7410的存储重新规划：

VA7410磁盘阵列空间设计：

l 在VA7410上划分8个25GB的LUN，将奇数号LUN分配到RG1即控制器1，偶数LUN到RG2；

l 创建两个VG,每个包含4个LUN,按照VGORA01，VGORA02创建VGORA01BAK、VGORA02BAK，以及LV，STRIP在4个LUN上,STRIP SIZE为1024k；

EVA 3000的存储重新规划：

EVA3000磁盘空间设计：

l 创建8*25GB LUNs，将奇数号LUN分配到RG1即控制器1，偶数LUN到RG2，用write back cache；

l 创建两个VG，每个包含4个LUN，按照VGNEW01、VGNEW02创建VGNEW01BAK，VGNEW02BAK LV，STRIP在4个LUN上，STRIP SIZE为1024k。