0
购物车中还没有商品,赶紧选购吧!
    易配网手机配件商城 > 易配网文章中心 > 手机新闻 > Container周报第56期:大数据分析平台Spark 2.3新版多了原生K8s支援
    热销排行榜促销产品

    Container周报第56期:大数据分析平台Spark 2.3新版多了原生K8s支援

    发表时间:2018-03-19 21:48:59, 来源:易配网
    台湾科技新闻:

    重点新闻:03/9~03/16

    Spark释出2.3新版,最大特色是原生支援Kubernetes

    开源社群越来越多人使用Kubernetes来进行资料处理、资料分析和处理机器学习计算,Kubernetes也增加了不少扩充功能,资源客製化、控制器客製化,以便对更深度整合这类专属应用程式。

    现在热门的大数据分析平台Spark在2.3新版中,开始原生支援Kubernetes。可以直接在一个现成Kubernetes 1.7以上版本部署的容器丛集中,执行Spark运算工作,而且还可以利用Spark自身功能,来管理分散的资料处理或分析任务。Spark可以接使用Kubernetes丛集的命名空间或储存空间,例如整合到外挂式验证机制或Log追蹤上。

    Spark原生支援Kubernetes最大的好处是,不用重新安装Kubernetes丛集,或改变现有Kubernetes丛集的配置,只要建立一个新的容器映像档,并指派合适的RBAC权限角色,给所要执行的Spark应用程式,就可以开始使用这个Spark程式了。

    在2.3新版中还有不少重要更新,例如增加了新的DataSource机制、Structured Streaming API第二版,也强化了PySpark的效能。

    容器丛集效能成新议题,HyperPilot开源释出,要靠机器学习自动优化容器丛集的配置

    藉助容器丛集,来支援大数据或机器学习分析所需的大型丛集,已是资料科学家常用的方法之一,但想要自己在云端部署Docker容器丛集,第一个挑战就是,要怎么租用VM,才能省钱又能符合需要的效能?得同时考量VM规格、容器配置和应用程式的配置需求等多项複杂变因,来衡量成本,往往得靠资深的云端架构师才有能力拿捏得当。

    前Mesosphere分散式系统首席工程师Timothy Chen近日开源释出了一套容器丛集配置自动化工具Hyperpilot,这是利用机器学习技术中的Bayesian Optimization最佳化技术,依据使用者提供的条件,来找出最佳的容器丛集所需要的VM架构配置,目前只能针对AWS上的VM规格为优化对象。

    这套工具还提供了一个资源瓶颈分析工具HyperPath,可以从CPU、记忆体、网路、I/O的来评估资源瓶颈,开发者已配置的单一容器或单一节点的效能上限,方便开发者来衡量应用程式在这样规格的容器或节点上的执行效能。

    Timothy Chen率领的团队也开发了新的Heracles 效能评估演算法,可供容器丛集控制器使用,来动态调整配置给应用程式的资源,根据Timothy Chen释出的测试例子,可将一个Spark分析丛集的效能利用率提高2~3倍。

    Docker前CEO转战区块链新创,聚焦于分散式云端储存技术

    前Docker CEO Ben Golub最近转战区块链圈,加入美国一家利用区块链技术,建立去中心化云端储存新创公司Storj Labs,任职临时CEO。

    Storj Labs透过区块链技术,提供管理资料的开源平台,针对全世界电脑未使用的多余空间,透过以太坊分散式帐本来租用多余的容量,提供有需要储存空间的用户购买,也就是说,用户上传文件后,平台会先加密并且拆分成多个片段,分散储存到多台电脑中,Storj Labs表示,只有用户知道资料保存的位置,能够增加资料的安全性。

    Ben Golub过去在Docker的初创期间,为Docker奠下基础,也创造出亮眼的成绩,Ben Golub也在Storj Labs的官方部落格,写下自己为何加入该新创的原因,他表示,自己过去曾参与过6家新创公司,电脑计算现在正处于重大的改变,区块链和分散式帐本能够驱实现分散式网路和架构,打造可信赖且安全的模型,Ben Golub看见区块链技术于分散式储存发展的机会。

    甲骨文容器服务也开始支援Kubernetes

    甲骨文近日宣布了可以支援Kubernetes的Oracle Container Services 1.1.9版,目前可支援Kubernetes 1.9.1以上的版本,还无法支援旧版。可在Oracle Linux 7上,整合Docker版Oracle Container Runtime。目前已经透过 Oracle Container Registry服务释出Oracle Container Services的映像档。

    在这个映像档中,除了提供支援Kubernetes的Oracle Container Services所需程式和配置之外,还内建了Kubernetes仪表版软体、丛集备份还原机制和Oracle云端基础架构的整合测试工具,Oracle还提供了安装和配置脚本程式来简化部署。更多内容

    OpenStack新版不只强化vGPU,更增加新的Zun容器服务

    开源IaaS平台OpenStack日前释出了第17个版本Queens。新版特别强化了vGPU的支援,现在可以启用内建vGPU功能的VM了。另外也增加了一个用来管理硬体加速或软体加速的框架Cyborg,可以支援GPU、FPGA、加密卡、DPDK/SPDK等,管理者可以将这些加速卡或硬体,指派给特定VM。新版也增加对边缘运算架构(Edge Computing)的支援。

    另外,新的Queens版本,也增加了不少容器功能,例如用来整合OpenStack和Kubernetes丛集网路的Kuryr框架,增加了CNI daemon机制,可以强化Kubernetes丛集的扩充能力。另外,OpenStack也增加了一个新的容器专案Zun容器服务,可以快速启动和执行容器,而不用管理伺服器或丛集,也可以快速和企业网路、储存机制整合。更多内容

    Google用Kubernetes打造多人游戏託管平台

    Google近日与法国一家知名游戏开发公司Ubisoft合作,利用容器调度工具Kubernetes打造开源平台Agones,来管理多人玩家进入游戏的伺服器资源分配,Agones目前还是预览版,已于GitHub开源释出。

    Google认为,这项新的专案将会对游戏设计非常有帮助,现在透过Agones,取代原本伺服器管理和扩展的方式,直接透过包含Kubernetes控制器的丛集,来分配游戏伺服器的资源,这样的架构也可以直接透过Kubernetes API来建立专用伺服器。
    开源的Agones专案透过原生的Kubernetes,可以直接在丛集中建立、执行和管理专用游戏伺服器的程式,减少了大部分複杂的问题,此外,游戏的开发人员也可以使用原本熟悉的Kubernetes工具来撰写应用,除了伺服器的运行之外,Agones专案也支援游戏中的服务,像是帐户管理,透过同一个平台来管理这些服务,可以减少开发团队开发时的困难。

    责任编辑/王宏仁

    更多Container产品动态

    Docker传教士开始推广Azure Kubernetes Service的部署经验

    Aqua Security 3.0新增容器安全平台,来强化云端原生应用安全

    @资料来源:iThome整理,2018年3月

     

     


    手机新闻
    什么?只有Razer Phone支持Quick Charge 4.0快充技术?
    Huawei Nova 2 Lite Midvalley Roadshow促销活动开跑!购买手机还有幸运抽奖环节等着您!
    vivo V9加入A.I.智能美颜,让自拍素质更上一层楼!
    Sony Xperia手机大促销!赢取One Republic演唱会门票、泰国之旅以及更多赠品!
    3月31日OPPO重磅一天!OPPO R15系列当天发布!
    Apple自研MicroLED屏幕:相较OLED显示器,屏幕更纤薄、显示效果更好、节能寿命更长!传2019年实现真正意义全面屏!
    Huawei新机确定支持无线充电:正在研发多设备并行!
    米奇、米妮的AR表情符号正式登上Galaxy S9 艾莎公主与超人爸爸要再等等…
    新 iPad 将现身 Apple 将于 3/27 举行以教育为主题的发表会
    藉记忆体生产线增加产能 三星计画在影像感光元件市场超越Sony
    手机常识&手机技巧
    LG V30手机F1.6摄像头拍照解读 什么是相机光圈
    剪卡器把卡剪坏了怎么办
    剪卡器那个牌子好
    剪卡器使用教程_剪卡器
    安卓手机技巧:如何在安卓手机启用开发人员选项(适用于Google Pixel,Samsung Galaxy S7等)
    iPhone 7手机使用技巧:电容式主页按钮失效可使用虚拟主页按钮
    如何使用苹果iPhone 7手机截图
    安卓7牛轧糖的代码隐藏:虚拟导航按钮可以完全自定义
    三星Galaxy Note 7常见问题解答
    三星Galaxy Note 7手机用户必备:23个Galaxy Note 7使用技巧
    关于易配网
    易搭网:力争打造优质手机配件易搭网购物平台
    深圳市华诚易配电子商务有限公司发展历程
    关于我们-关于深圳市华诚易配电子商务有限公司
    联系我们
    加入我们
    公司资证-深圳市华诚易配电子商务有限公司
    友情链接
    免责条款
    隐私保护
    网站故障报告
    帮助&指南
    如何升级为VIP用户?
    售后保修政策
    配件回购业务
    [测试 已过期] 液晶屏回购参考价格
    优惠券使用
    常见问题
    购物流程
    找回密码
    注册登录
    易配网公告
    品竹-品竹牌子的太阳能无线蓝牙音箱-品竹品牌易配网专卖
    [通知已过期]十一期间业务正常开展
    [测试]中国手机配件网以批发价零售飞毛腿精品商务电池
    [测试]未注册用户 免费领取VIP码
    [测试]内测期间销量超10万
    手机配件促销
    易配网友链合作 手机行业|手机配件行业优化