腾讯的云计算平台-台风系统简介腾讯公司-基础架构部朱会灿陈峰大纲•云计算Overview•台风平台Overview•具体项目介绍•应用情况生活中的云计算•手机通讯录备份到云端–再不担心手机丢失了•云存储，云硬盘：–数据随时随地access。•互联网搜索取代图书馆–海量数据存在云端，一个简单的检索，几千台机器为你服务云计算平台意义•让开发者专注于核心业务–管理存储和计算，自动数据备份，自动切换机器•更有效利用资源–资源共享，提高资源利用率。–资源池：建立大的cluster（1000+机器）•处理大规模数据更高效•节约成本，弹性扩展，方便capacityplanning•更有效地管理–统一监控，维护，安全保护•权限认证和quota：保证贡献资源者优先使用资源。挑战•安全：–数据（文件）操作，通讯准入，进程隔离•Staticpartitionv.s.dynamicallocation•VirtualMachine，Sandbox，Linuxcontainer–Authentication，Accesscontrol•公平：–进程调度，带宽使用–Quota：存储，计算资源–Hardlimit：CPU,memory–优先级大纲•云计算Overview•台风平台Overview•具体项目介绍云计算平台作为OS•把云计算平台看做一个OS，则我们需要：–文件系统（存储系统）–进程和资源管理系统（运行程序，管理CPU，内存，等等）–权限管理系统（账户，权限，认证，等）–方便开发的系统软件（数据库等）–程序开发APIs（networking,threads,etc)常规网络应用的项目层次关系AppsAppsAppsNaming,Lock，……DataDBMSProcessingAuthenticationStorageComputingNetworkPlatform台风系统的层次关系LogsApps(Search,Ads,…)ProcessingAppsNaming,LockDataDBMS(ZooKeeper)Processing(XCube)(MapReduce)AuthenticationStorageComputing（TAAS)（XFS）（Torca）NetworkPlatform(Poppy)台风平台特性清晰分层私有-模块界面-Target公司内部业务：-类似于Hadoop，但有搜索，日志处理独立的cluster-UseLinuxContainermanagementsystem兼容性-主要采用C++开发，跟现有的代码无缝整合-通过SWIG/JNA等方式支持了多语言-支持Hadoop应用台风平台目标高效-处理大规模数据：Terabytesofdata.公平-贡献资源者安全共享-优先拿到资-文件读写源-Job提交和控制供多-Cluster-资源不够时-数据库Access个业务和服务能抢到资源使用大纲•云计算Overview•台风平台Overview•具体项目介绍：–Poppy–XFS–Torca–XCube–MapReduce通讯平台Poppy•Poppy–基于ProtocolBuffer的RPC框架Poppy=Protobuf+RPC+HTTP+morePoppy的主要特性•高性能•支持多服务器负载均衡•支持传输内容压缩，内置压缩策略。•支持streaming，可流式分块传输大量数据。•支持多语言（Java,Python,PHP，以及任何支持JSON的语言）•支持TNS地址（基于Torca上的Job/Task寻址，当任务迁移时自动改到新的地址）Poppy特性：动态profilingpprof$binary_filehttp://host:port/Poppy特性：Web提交PoppyPoppy项目目前使用情况项目目前使用情况项目描述Typhoon台风平台所有项目Cocktail长尾广告新网页搜索新的网页搜索采用Poppy做通讯其他社区搜索，网络平台大纲•具体项目介绍：–Poppy–XFS–Torca–XCube–MapReduce业界分布式文件系统GFSMasterHDFSNodeserverNodeserverNodeserverMasterisbottleneck：-Hugememoryrequirement-Hugerequests-导致文