博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
【深度】Kubernetes在京东人工智能平台的应用
阅读量:6899 次
发布时间:2019-06-27

本文共 1157 字,大约阅读时间需要 3 分钟。

“目前Kubernetes是容器圈里的“当红炸子鸡”,京东人工智能平台——登月中也大量应用了Kubernetes。在京东资深架构师范振看来,登月平台的设计出发点就是Kubernetes调度一切。”

在京东,分布式机器学习平台已经应用于包括电商,金融等多个应用场景。“我们将在9月16日,北京,国家会议中心举办的京东技术开放日——人工智能平台的系统架构与数据处理专场中,专题分享Kubernetes在京东人工智能平台的应用。”

图片描述

范振谈到:“包括将学习任务分配到集群的物理节点上进行运算,如果遇到任务失败的情况,Kubernetes 会自动重启任务;以及Kubernetes可以把很多并发进程组织成service,并且实现auto scaling——白天用户数量多的时候,增加Web service里的进程数,减少AI作业的进程数。晚上减少Web service里的进程数,释放资源给AI作业,提升机器资源利用率和降低基础设施成本。”

这些内容都将在9月16日,北京,国家会议中心举办的京东技术开放日上做专题分享。

人工智能的集中式爆发,机器学习的训练过程对于快速迭代的高要求,让能够轻量级接入,并且可以对用户提供秒级响应的Kubernetes发挥了巨大的优势。师出同门的Google Tensorflow项目很早也进行了与Kubernetes的集成,京东的人工智能平台上实现了Spark on Kubernetes。

从Kubernetes的角度出发,把Driver和Executor分别Container化,完成Spark的原生调度,架构更清晰。同时,继承了Docker的计算资源隔离性,通过Kubernetes的Namespace,将不同的Job从网络上彻底隔离。

图片描述

在9月16日,北京,国家会议中心举办的京东技术开放日上,这些大家关注的热点内容,都将在活动现场精彩呈现。

范振认为,未来Kubernetes也可能会成为云管理平台的统治者,也还会有更多的应用在Kubernetes上原生运行起来。因为对于Kubernetes,它可以把很多分散的物理计算资源抽象成一个大的资源池,利用这些资源来执行用户的计算任务。对于用户来说,操作一个分散的集群资源就像在使用一台计算机。

实际上,Kubernetes不仅简单的解决了容器的部署和运行问题,它还关注如何帮助用户构建容器化分布式服务这个问题。因此9月16日,北京,国家会议中心举办的京东技术开放日对于在容器化道路上还在“摸着石头过河”的用户来说,也是很有价值的。

“Kubernetes作为一个快速演进的项目,应用起来潜在的坑还是很多的。本次京东技术开放日上的Kubernetes议题,就是在你做为应用新技术方面,可以借鉴的很好的一次经验分享。” ——京东副总裁 翁志

图片描述

转载地址:http://lgpdl.baihongyu.com/

你可能感兴趣的文章
iphone ios 用xcode4.2开发 访问web service的功能
查看>>
Visual Studio 代码折叠快捷键(摘要)
查看>>
《2016ThoughtWorks技术雷达峰会----雷达新趋势》
查看>>
正则【备用】
查看>>
FeatureSelectors
查看>>
数据库防火墙DBShield安装
查看>>
sudo with no password
查看>>
Windows 局域网ping获取设备IP
查看>>
使用蓝图来扩展编辑器
查看>>
USACO题目——Transformations
查看>>
除了 UCAN 发布的鹿班和普惠体,这些设计工具也来自阿里
查看>>
转载----Python正则表达式指南
查看>>
.Net使用system.Security.Cryptography.RNGCryptoServiceProvider类与System.Random类生成随机数
查看>>
HDU 1394 Minimum Inversion Number 线段树
查看>>
Java 集合系列04之 fail-fast总结(通过ArrayList来说明fail-fast的原理、解决办法)
查看>>
ssm框架整合
查看>>
C/C++里自带提供的整数进制转换的几种方式(转载)
查看>>
JAVA类加载顺序
查看>>
数据结构复习
查看>>
JSONPlaceholder - 免费的在线REST服务(提供测试用的HTTP请求假数据)
查看>>