“目前Kubernetes是容器圈里的“当红炸子鸡”,京东人工智能平台——登月中也大量应用了Kubernetes。在京东资深架构师范振看来,登月平台的设计出发点就是Kubernetes调度一切。”
在京东,分布式机器学习平台已经应用于包括电商,金融等多个应用场景。“我们将在9月16日,北京,国家会议中心举办的京东技术开放日——人工智能平台的系统架构与数据处理专场中,专题分享Kubernetes在京东人工智能平台的应用。”
范振谈到:“包括将学习任务分配到集群的物理节点上进行运算,如果遇到任务失败的情况,Kubernetes 会自动重启任务;以及Kubernetes可以把很多并发进程组织成service,并且实现auto scaling——白天用户数量多的时候,增加Web service里的进程数,减少AI作业的进程数。晚上减少Web service里的进程数,释放资源给AI作业,提升机器资源利用率和降低基础设施成本。”
这些内容都将在9月16日,北京,国家会议中心举办的京东技术开放日上做专题分享。
人工智能的集中式爆发,机器学习的训练过程对于快速迭代的高要求,让能够轻量级接入,并且可以对用户提供秒级响应的Kubernetes发挥了巨大的优势。师出同门的Google Tensorflow项目很早也进行了与Kubernetes的集成,京东的人工智能平台上实现了Spark on Kubernetes。
从Kubernetes的角度出发,把Driver和Executor分别Container化,完成Spark的原生调度,架构更清晰。同时,继承了Docker的计算资源隔离性,通过Kubernetes的Namespace,将不同的Job从网络上彻底隔离。
在9月16日,北京,国家会议中心举办的京东技术开放日上,这些大家关注的热点内容,都将在活动现场精彩呈现。
范振认为,未来Kubernetes也可能会成为云管理平台的统治者,也还会有更多的应用在Kubernetes上原生运行起来。因为对于Kubernetes,它可以把很多分散的物理计算资源抽象成一个大的资源池,利用这些资源来执行用户的计算任务。对于用户来说,操作一个分散的集群资源就像在使用一台计算机。
实际上,Kubernetes不仅简单的解决了容器的部署和运行问题,它还关注如何帮助用户构建容器化分布式服务这个问题。因此9月16日,北京,国家会议中心举办的京东技术开放日对于在容器化道路上还在“摸着石头过河”的用户来说,也是很有价值的。
“Kubernetes作为一个快速演进的项目,应用起来潜在的坑还是很多的。本次京东技术开放日上的Kubernetes议题,就是在你做为应用新技术方面,可以借鉴的很好的一次经验分享。” ——京东副总裁 翁志