首页 | 滚动 | 国内 | 国际 | 运营 | 制造 | 终端 | 监管 | 地方 | 业务 | 技术 | 报告 | 博客 | 人才 | 特约记者 | 论坛 | 周刊
手机 | 互联网 | IT | 3G | 光通信 | LTE | 云计算 | 三网融合 | 芯片 | 电源 | 企业 | 测试 | 培训 | 会展 | 黄页 | 百科 | 社区
首页 >> IT >> 正文
国内首个全面支持Spark和Hadoop2.0高速大数据软件
2013年11月25日 16:05  CCTIME飞象网  

    中国北京,2013年11月22日——2013年中国Hadoop技术峰会,继10月底Hadoop技术领域最大的公司美国Cloudera公司宣布和DataBricks合作,提供ApacheSpark计算框架的技术支持之后,本地大数据平台软件公司星环信息科技(上海)有限公司(以下简称“星环科技”)率先在国内推出一款大数据平台产品TranswarpDataHub,融合ApacheSpark和Apache Hadoop2.0,提供全面本地化的技术支持。

    “由于移动互联网和互联设备的发展,企业数据每年成倍的增长,所以Hadoop技术从一开始就受到广泛的关注,”星环科技联合创始人,CTO孙元浩表示,“大型企业和政府机构纷纷尝试使用Hadoop来解决大量复杂数据的存储和查询问题,同时寻求更好性价比的软硬件组合。ApacheHadoop作为一个分布式计算框架和存储引擎极好的满足了这一方面的需求。可以说Hadoop具备成为未来企业数据的“操作系统”或“DataHub”的条件。而同时企业原有的众多基于SQL开发的应用和复杂的数据集也对Hadoop及其周围软件提出了更大的挑战”

    大数据平台软件需要同时支持海量数据存储和高速分析能力

    大数据的四大特征——海量的数据规模(volume)、快速的数据流转和动态的数据体系(velocity)、多样的数据类型(variety)和巨大的数据价值(value)。

    目前,HDFS加MapReduce的组合很好的解决了海量数据规模和多样的数据类型的问题,但在对高速的数据查询需求、不同数据规模的场景下对应用的灵活支持还有很大的提升空间。ApacheSpark作为下一代Map/Reduce计算框架,充分利用了内存加速,很好的解决了交互式查询和迭代式机器学习的效率问题。TranswarpData Hub通过对Apache Spark和Apache Hadoop2.0的支持,使用优化内存处理技术,能10x/100x级别的提升Hadoop平台的性能。

    对多种应用场景和数据压力的支持

    同时通过对新的框架的整合和优化处理技术,TranswarpDataHub扩大了Hadoop的应用领域和处理不同数据压力的能力,适合处理从GB到PB级别的数据。目前适用于离线分析,统计/挖掘;在线的存储和OLAP系统;以及在线的基于内存的高速分析。

    “ApacheHadoop的广泛使用还需要和传统数据处理工具的整合,才能给解决方案供应商,应用开发商提供方便,形成更完整的体系,使用户受益。”孙元浩还表示:“所以我们在开发TranswarpDataHub同时,就寻求和更多的数据处理和分析工具厂商合作和整合。目前已经和Revolution R,Informatica,Tableau实现了对接。

    “TranswarpDataHub已经在一些重点的客户领域进行测试和使用,已经有十几个软件和硬件合作伙伴,我们希望通过我们的技术创新能获得更多的客户。”

    与国内ISV,方案商全面合作

    在市场方面,星环科技推出合作伙伴支持计划,真诚希望与各行业的ISV、系统集成商、Hadoop服务商展开深入、双赢、长期的合作.希望产品能为合作伙伴带来新的大数据商机,新的客户,和丰厚长期的回报。这次推出的本土合作伙伴计划,提出了9条具体的对合作伙伴的支持方案。

    IT168的企业级总编洪钊峰主持了发布会以及现场的嘉宾互动环节,星环科技的战略合作伙伴RevolutionR亚太区总经理LaurenceLiew、DataBricks初创员工、Spark核心成员Reynold Xin、BDAS Tachyon作者李浩源博士、恒为总经理沈振宇、Informatica大中华区首席架构师但彬齐聚一堂,与大家分享了他们对大数据时代机遇和挑战以及产业未来发展的看法。

    在谈到跟星环科技的合作时,DataBricks初创员工,Spark核心成员辛湜(ReynoldXin)介绍道:“星环公司专注Spark技术的研发,是AMPLab以及Databricks在国内的技术合作伙伴,大家一起为Spark技术的发展贡献力量。”

    RevolutionAnalytics的亚太区总经理LaurenceLiew说:“RevolutionR是目前全球最好的R语言商业化软件,国内率先与星环公司成为战略合作伙伴,利用Transwarp Data Hub和Spark,可以为客户提供交互式的数据探索、统计和挖掘能力。”

    Informatica的大中国区首席架构师但彬说:“Informatica作为目前全球领先的老牌数据集成软件供应商,也在积极探索大数据技术和应用,非常荣幸能与星环公司成为战略合作伙伴,帮助国内大数据客户实现从传统架构迁移至TranswarpDataHub的Hadoop大数据平台,提供从GB到PB级的数据存储和处理能力。”

    AMPLab的李浩源博士提到了星环科技和AMPLab在Tachyon上的技术合作。他认为,从学术界的观点来看,过去五六年大数据发展非常快,如今Hadoop已非常流行,其无论在硬件还是软件方面都有了非常大的突破。我们希望能在学术界创造更多有意义的软件,为工业界提供基础,可以把这些基础进一步夯实、并且能够涌现像星环科技这样的科技公司,促进新技术的商业化,从而带动行业发展。

编 辑:孙秀杰
关键字搜索:Spark  Hadoop2.0  大数据  软件  
分享到新浪微博 分享到搜狐微博分享到网易微博分享到139说客分享到校内人人网分享到开心网分享到QQ空间分享到豆瓣分享到QQ书签
相关新闻   本类文章   最近更新   一周热点  
 
专家观点
新浪科技罗亮在唱衰PC行业的声音达到顶峰之时,登上全球最大P..
精彩专题
2013年中国国际信息通信展览会
上海贝尔:超宽带,见未来
烽火科技亮相2013通信展
中兴通讯:Think lte Think ZTE
CCTIME推荐
关于我们 | 广告报价 | 联系我们 | 隐私声明 | 本站地图
CCTIME飞象网 CopyRight © 2007-2013 By CCTIME.COM
京ICP备08004280号  电信与信息服务业务经营许可证080234号 京公网安备110105000771号
公司名称: 北京飞象互动文化传媒有限公司  法律顾问:万国法源律师事务所律师 王海疆
未经书面许可,禁止转载、摘编、复制、镜像