秒拍邓铮:如何做到面对二十亿视频播放请求而不慌

原创
开发 架构 前端 云计算 大数据 企业动态
人们的消费习惯日益碎片化,在微博上播放次数较多的视频,绝大多数在3分钟以内。即使这样,还有很多人在拖进度条,大家就是想尽快看到亮点。作为每日需要处理二十亿以上播放请求的大型视频网站,如何精准高效的将用户的每次请求迅速的真正实现播放,是充满挑战的一件事。

【51CTO.com原创稿件】变化总是在不经意间发生,说不上从什么时候起,我们在刷微博时看到的整个页面都几乎被短视频占据。

受益于移动互联基础设备的完善、4G资费的下调及智能终端设备的普及,用户不再觉得移动端的视频消费是一件奢侈的事儿,而且拍摄发布分享视频的成本也前所未有的降低了。据相关报道显示,目前视频网站来自移动端的播放量已经超过70%。人们的消费习惯日益碎片化,在微博上播放次数较多的视频,绝大多数在3分钟以内。即使这样,还有很多人在拖进度条,大家就是想尽快看到亮点。

4月14日,秒拍背后母公司一下科技高级研发总监邓铮,将作为WOTA2017 全球架构与运维技术峰会“高可用架构专场”的演讲嘉宾。在前期的采访中邓铮这样对记者说:“作为每日需要处理二十亿以上播放请求的大型视频网站,如何精准高效的将用户的每次请求迅速的真正实现播放,是充满挑战的一件事。

[[186999]]

邓铮 一下科技高级研发总监

邓铮是一下科技技术团队的元老,主要负责整体的后端研发工作。5年半的时间里,他和公司共同经历了从成立,到秒拍上线、小咖秀的爆发式增长、一直播的发展,再到现在业务进入了稳定增长期的过程。目前,邓铮更多的精力是和CTO汤力嘉一起在公司研发中心进行新产品的研发,并为三个APP下不同的事业部提供基础平台的技术支持。

背靠大树带来的压力

与其他的短视频应用不太一样,作为微博投资的官方指定平台,微博的任何改造都有可能给秒拍带来突发性的流量增长。因此,秒拍从一开始就要去面对承载微博亿级用户量级平台的任务,这需要系统具备随时可横向扩展的能力。

邓铮介绍,秒拍很早就在公有云上部署了自己的基础平台,使系统在应对突发流量时具有更好的弹性伸缩能力。所有逻辑请求都会考虑两级的缓存进行分流,来确保数据库的轻负载。

伴随着用户行为习惯的变化及公司产品的发展节奏,秒拍系统大约每一年半会经历一次整体升级。在业务频繁迭代的情况下,如何在海量请求下保证足够高的可用性的同时,以一个好的用户体验和较低的成本的方式来提供服务,成为秒拍团队现在努力的方向。

高性能视频调度

邓铮指出,短视频的播放不同于点播的剧集或是电影,数据会一直保持比较热的状态。很多用户拍完视频只想给身边的人分享,这就需要解决数据冷启动和快速分发的问题。

传统的视频播放系统,直接通过CDN地址进行播放。CDN是通过DNS进行调度,无法知道节点的容量,不够灵敏。例如节点带宽已经非常满了,但是请求还是不对地进入。而且在实际应用中,特别是在高峰时段,网络的抖动现象也会比较明显。

解决问题需要快速反馈,秒拍海量的用户实时播放行为就是快速反馈最佳的数据来源。基于种种需求,秒拍研发了一个高性能的社频调度系统,可以在播放完成时进行上报统计,这样能得知最准确的客户播放质量,便于实时修正调度策略。“我们采用细化用户每次播放请求的上下文,并结合近期内综合调度大数据,动态的实现了C段IP级别的调度响应及区分,在具体的实践中也取得了比较好的效果”,邓铮这样解释,并将实现方式简单归纳为:

  • 通过调度系统获取用户的真实IP;
  • 对IP的累积数据进行动态测试,来发现节点的可用性或对IP的访问性能相比其他节点有所下降等问,包括IP服务节点的远近,好坏,节点的负荷等。同时判断请求是否非法,视频是否不允许播放;
  • 将数据会记入到新的历史数据,作为后面的加权处理,来得到一个相对精确的调度结果;
  • 将每个点对应的不同CDN厂家具体的性能汇总得到一张性能的大表,快速将表反馈给下一个用户,让用户避免访问该节点,或者调度到其他节点。

邓铮告诉记者,秒拍高性能调度系统已经一年多的时间,线上运行得一直比较稳定。现在,基本一个节点在出现问题十分钟左右,就可以具体反应到结果。用户投诉率在这个系统上线后呈直线下降。

采访最后邓铮表示,秒拍在构建这套精准视频调度系统过程中积累的更多丰富经验,他将带到WOTA2017全球架构与运维技术峰会上:“我将围绕秒拍在海量播放请求下视频调度中遇到的问题、现存解决方案的不足及我们采用的核心算法,在WOTA2017高可用架构专场展开分享,希望和大家一起交流。”

我们期待邓铮老师在现场的精彩演讲。 

World Of Tech 专注互联网IT技术领域

三大章节,15大技术专场,
50+国内外一线互联网精英大咖站台
打造兼顾技术视野、技术实战、技术前瞻的
密集式干货集中营!

Tips

使用优惠码【3C4F449DCFFCE9B3】购买参会门票,立享200元优惠!4月10日前支付有效。

【51CTO原创稿件,合作站点转载请注明原文作者和出处为51CTO.com】

 

责任编辑:Ophira 来源: 51CTO.com
相关推荐

2017-07-03 09:05:17

高性能视频调度

2022-08-05 08:40:37

架构

2017-10-25 20:42:13

频播放量秒拍链路优化

2017-07-07 11:28:24

大数据大数据技术

2011-11-09 15:49:52

API

2020-08-17 08:21:31

数据查询项目

2020-01-13 08:43:20

Elasticsear分布式搜索

2009-11-20 11:37:11

Oracle完全卸载

2017-05-02 09:12:20

QQ空间

2020-11-10 09:05:45

用户画像苏宁

2018-10-11 09:33:51

Kafka消息处理

2019-08-08 10:18:15

运维架构技术

2016-01-08 10:03:07

硅谷通吃互联网

2010-03-30 10:44:05

Nginx启动

2021-05-24 10:55:05

Netty单机并发

2022-09-09 08:41:43

Netty服务端驱动

2020-10-22 15:55:06

数据分析架构索引

2017-11-14 08:25:36

数据库MySQL安全登陆

2011-06-22 09:45:46

JavaScriptAPI

2016-06-15 11:06:27

云计算AWS
点赞
收藏

51CTO技术栈公众号