1975?1981:Microsoft起步 起步:Microsoft联合创始人Paul Al…[阅读更多]
致曾经的蓝天白云 Windows XP十三年回忆
夏尔 …[阅读更多]
【转载】分布式集群内存数据技术引领12306技术革命
中国铁路客户服务中心网站(www.12306.cn)是世界规模最大的实时交易系统之一,媲美Amazon.com,节假日尤其是春节的访问高峰,网站压力巨大。据统计, 在2012年初的春运高峰期间,每天有2000万人访问该网站,日点击量最高达到14亿。大量同时涌入的网络访问造成12306几近瘫痪。 中国铁道科学院电子计算技术研究所作为12306互联网购票系统的承建单位,急需寻求办法解决问题。 成功解决:速度提高75倍以上 2012年3月开始,铁路总公司(原铁道部)开始调研、改造12306。2012年6月选择了Pivotal GemFire分布式内存计算平台(Distributed In-memory computing)改造12306,由铁科院项目小组负责人王明哲主任和资拓宏宇(IISI)信息科技有限公司在铁科院主管朱建生所长领导下提供技术实施。一期先改造12306的主要瓶颈??余票查询系统。9月份完成代码改造,系统上线。2012年国庆,又是网上订票高峰期间,大家可以显著发现,可以登录12306,虽然还是很难订票,但是查询余票很快。2012年10月份,二期用GemFire改造订单查询系统(客户查询自己的订单记录)。2013年春节,又是网上订票高峰期间,大家可以显著发现,可以登录12306,虽然还是很难订票,但是查询余票很快,而且查询自己的订票和下订单也很快。 根据系统运行数据记录,技术改造之后,在只采用10几台X86服务器实现了以前数十台小型机的余票计算和查询能力,单次查询的最长时间从之前的15秒左右下降到0.2秒以下,缩短了75倍以上。2012年春运的极端高流量并发情况下,系统几近瘫痪。而在改造之后,支持每秒上万次的并发查询,高峰期间达到2.6万个查询/秒吞吐量,整个系统效率显著提高。如上图所示。 订单查询系统改造,在改造之前的系统运行模式下,每秒只能支持300-400个查询/秒的吞吐量,高流量的并发查询只能通过分库来实现。改造之后,可以实现高达上万个查询/秒的吞吐量,而且查询速度可以保障在20毫秒左右。 新的技术架构可以按需弹性动态扩展,并发量增加时,还可以通过动态增加X86服务器来应对,保持毫秒级的响应时间。 技术革命一步跨越三代 12306能够取得这样翻天覆地的效果,靠技术上的小修小补是不可能的,必须有全新的思路,能够给性能提升带来杠杆式的作用。12306发现GemFire分布式内存数据平台就是这样一种技术。 GemFire分布式内存数据平台的技术原理如上图所示:通过云计算平台虚拟化技术,将若干X86服务器的内存集中起来,组成最高可达数十TB的内存资源池,将全部数据加载到内存中,进行内存计算。计算过程本身不需要读写磁盘,只是定期将数据同步或异步方式写到磁盘。GemFire在分布式集群中保存了多份数据,任何一台机器故障,其它机器上还有备份数据,因此通常不用担心数据丢失,而且有磁盘数据作为备份。GemFire支持把内存数据持久化到各种传统的关系数据库、Hadoop库和其它文件系统中。 大家知道,当前计算架构的瓶颈在存储,处理器的速度按照摩尔定律翻番增长,而磁盘存储的速度增长很缓慢,由此造成巨大高达10万倍的差距(如上图)。这样就很好理解GemFire为什么能够大幅提高系统性能了。 按照计算与存储的关系,我们可以将计算架构分为四代: 第一代,基于磁盘的单一系统:计算过程中需要从磁盘读取数据。小型机、大型机是其中的佼佼者,将单一系统的性能做到极致。 第二代,基于磁盘的分布式集群系统:计算过程中需要从磁盘读取数据,但通过分布系统将数据分散到不同的服务器磁盘上,提高整个系统的处理能力。目前很多大型互联网和电子商务公司采用基于X86服务器的分布式集群系统,依靠海量的X86服务器部署解决高流量并发的问题。 第三代,基于内存的单一系统:将整个数据库放在内存中,计算过程不需要从磁盘读取数据。整个系统的性能取决于单一系统的性能。传统的内存数据库就是这样的系统,对于企业级的应用可以很好地解决访问速度的问题,但面对海量数据或是海量并发访问的扩展性问题就无能为力。 第四代,基于内存的分布式集群系统:GemFire就是这样的系统,并行计算是其关键技术之一,因而可以通过增加服务器部署规模,在内存计算的基础上,线性扩展性能。 12306之前采用Unix小型机架构,采用GemFire技术改造成Linux/X86服务器集群架构,就意味着一下跨越三代。从小型机到大内存X86服务器集群,不仅让性能提升了一个数量级,而且成本也要低得多。 GemFire是Pivotal企业级大数据PaaS平台的一部分。Pivotal公司的企业级大数据PaaS平台主要有三个层次:云基础架构层Cloud Fabric、大数据基础架构层Data Fabric、应用开发基础架构层Application Fabric。GemFire属于大数据基础架构层,此外,Greenplum数据库也属于这一层;云基础架构层的技术是Cloud Foundry;应用开发基础架构层的技术是Spring Framework和RabbitMQ等
神经性皮炎症
1神经性皮炎症简介 神经性皮炎症又称慢性单纯性苔藓,是以阵发性皮肤瘙痒和皮肤苔藓化…[阅读更多]
【转载】会计专硕
题记:就如同游戏的攻略一样,总结经验的价值在于给予后来者以合适…[阅读更多]
【转载】为何男人都喜欢单反?
男人喜欢…[阅读更多]
【转载】关于学费宿费代扣代缴相关事宜的通知
各位同学: 1、按照学校“一卡通”管理规范,从2013年开始,代扣代缴学费将不再使用邮政储蓄银行卡,请将学费宿费存至学校统一发放的中国银行卡中。 2、请于2013年8月22日前存款,学校将于8月19---23日期间进行学杂费的扣缴工作,如在此期间如未将学费宿费总额足额存入中国银行卡中,请于新学期报到日到财务处指定收费处交费。 3、已办理贷款的同学将不进行代扣代缴,请于新学期报到日到财务处指定收费处将贷款外学杂费补交 4、2009级、2010级、2011级同学持有的学校统一办理的邮政储蓄银行卡,如不想使用,请将卡号及姓名发送至xiding@163.com,并于发送后第二天到邮储任一网点办理销户业务。提醒继续使用此邮储银行卡的同学,如卡内余额少于100元,银行将收取每季度3元的小额管理费。 财务处 2013年7月2日
【转载】关于开展2012?2013学年第二学期(1-18教学周)学生网上评教的通知
各本科教学单位: 学校继续开展本学期的第二次学生网上评教工作(第一次是针对1-9教学周结课的课程,已经结束),本次是针对1-18教学周结课的课程。现将本次评教事宜通知如下。 一、评教时间 2013年6月26日?7月7日(早6点?晚23点)学生进行网上评教。 二、评教对象 2012?2013学年第二学期1?18教学周结课的课程,为本科生开设列入教学计划且经学生成功选课的所有课程的教师。 三、评教主体 2012?2013学年第二学期(1?18教学周结课的课程),已成功选课的在校四个年级学生。 四、评教内容 评教内容由原来的两项增加为三项,即客观性评价、主观性评价和师德师风评价三部分。 1、客观性评价。评价项目包括分为“非常满意”、“满意”、“比较满意”、“一般”、“不太满意”、“不满意”六个选项,每个选项分别赋值为 96、78、60、40、20、0,满分为96分。 2、主观性评价。评价项目包括教师教学的突出优缺点、对课程教学的建议和希望。 3、师德师风评价。评价项目包括教师的工作态度、答疑解惑、对学生学习纪律的管理、课堂以外对学生成长的指导帮助、师生关系、德行与品格六个方面。 五、 评教组织 在校教学评估领导小组的领导下,由教育教学评估中心统一组织、学工部协助开展学生评教工作。 在学院教学评估领导小组的领导下,由总支副书记、教学副院长组织辅导员开展学生评教工作,教务员协助配合。 六、评教安排 1、学院评教动员 各学院要召开学生动员会,采取各种形式进行宣传,使学生高度重视网上评教工作,以严肃认真的态度,客观、公正地对教师课堂教学质量进行评估。 2、学院组织学生进行评教 方式:在规定时间内,用任何一台连接到校园网的计算机进行评教。 程序:(1)辅导员宣读《黑龙江大学学生网上评教细则》(见附件1),帮助学生充分认识评教工作的重要性,确保全体学生认真参加网上评教。(2)学生具体评教步骤按附件《黑龙江大学学生网上评教细则》中的有关要求进行。 七、评教约束机制 对于无故不参加评教的学生,扣除20个选课积分,未完全评教的学生,积分扣除量按如下公式计算:扣除积分=(未参加评教的课程总数/学生修读的课程总数)×20。 联系电话:86608735 联系人:刘德鹏 附件:《黑龙江大学学生网上评教细则》 教育教学评估中心 教 务 处 学 工 部 二○一三年六月二十六日 附件:附件:黑 龙 江 大 学 学 生 网 上 评 教 细 则.doc (35.84KB)
【转载】关于校园卡自动圈存功能暂停的通知
校园卡用户: 由于校园卡自动圈存服务集中发生在就餐高峰期,很多在此期间圈存的银行卡账户余额不足也带来大量的无效圈存,使中行转账系统承担过大压力引起服务不及时,部分校园卡圈存出现失败现象。为此,暂时关闭校园卡自动圈存功能,待中行系统升级完成后再开放,在此期间,校园卡用户可以通过圈存机实现自助圈存转账。另外,技术人员正与中行完成对账工作,充值失败金额会调整至持卡人校园卡中,请及时注意查收,给您带来的不便,我们深表歉意! 信息与网络建设管理中心 2013年6月26日