发布信息

网络画像评估播放过程中的网络分析和环境画像的实践

作者:软荐小编      2023-09-05 22:05:28     234

背景

视频用户是中国联通网络流量的主要消费者。 与其他APP相比,观看视频的用户体验与网络环境密切相关。 播放成功率、卡顿率、高清比等核心体验指标都与产品在网络环境下的表现有关。

我们可以在市场上找到一些现有的网络分析和环境分析实践。 例如,热门手游《王者荣耀》提供了网络质量检测,利用当前路由器、新村、公网延迟时间来描述当前网络状态,将直观的监控结果呈现给用户。 例如,使用500kbps的网络速度限制来模拟总线模型; 用20%的丢包率来模拟轻轨模型等等。在线分析的重要性可以用一句话来概括:个性化和差异化决策。 不同用户观看视频的网络环境存在显着差异。 这些差异可以概括为两个方面:

网络质量差异。 网络质量最终影响视频信噪比和下载速度。 当下载速度长时间高于视频分辨率或视频剧烈晃动时,很容易造成播放卡顿。 下载速度受播放链接上所有链接的综合激励影响,这就需要我们对链接和链接的质量进行评估,在下载速度提升时找出有问题的链接,针对具体问题应用相应的解决方案。 当谈到看技巧时,它很方便。

网络环境不同。 无论用户是在家庭网络、公共网络还是通勤网络上。 这里环境的识别不再是实时的数据采集和分析。 需要一段时间的后期数据收集。 它必须能够根据网络流量等一系列特征来了解用户的使用环境。 因此,在这些环境中可能会出现这种情况。 提前预测广播干扰的能力新纪元软件教程,结合多元化策略的应用,可以为用户提供更好的视频观看体验。

网上肖像

评估播放时网络情况比较常见的方法是通过视频片段的下载速率或播放器缓冲区(buffer)的增长率。 当然,下载速率和缓冲区增长率可以反映播放链路的端到端性能,在实际工程实践中,我们希望掌握更多维度的信息来采取不同的播放策略。 例如,如果播放片段的下载速度突然增加,如果我们知道CDN端出现故障,我们可以将播放链接切换到备份CDN; 而如果用户的局域网带宽拥塞,我们可以通过智能文件逻辑切换以较低的分辨率帧率进行播放。 当我们能够感知视频播放过程中的网络变化并分析下载速率变化的原因时,我们就可以有效地制定相应的策略来改善播放体验。

用户终端播放视频的网络如图1所示。从网络拓扑出发,影响视频用户播放和下载的因素主要包括四个部分:用户设备、局域网、网段和CDN。 用户设备影响网络质量的主要参数是信号硬度。 局域网的网络质量反映了该网段的数据分发能力。 一些量化指标包括从设备到该网段的数据码流、丢包率、网络通道拥塞程度等。网段的网络质量反映了设备发出的随机网络请求的质量。 指标包括对随机地址的信噪比、丢包率等。CDN侧主要反映CDN质量和调度策略是否正常。 量化指标包括下载播放片段的下载速率、TCP信噪比、丢包率等。

纪元1404新手教程_纪元2205修改教程_新纪元软件教程

图1:视频用户网络拓扑

用户设备、局域网、公网、CDN四个维度指标来源分散,数据维度不统一。 需要对指标数据进行处理和清洗,然后通过统计特征分析找到其代表网络速度的能力。 从原始时间序列数据中提取统计特征的方式如图2所示:

纪元2205修改教程_纪元1404新手教程_新纪元软件教程

图2:特征提取过程

1.数据清理:原始数据采集会因为线程时序等问题引入脏数据。 主要包括0值或最大值。 例如,在处理网段信噪比rtt时,会混合一些数据如-1、0、或者超时值。 异常值会影响最终的判断结果,通常会被删除。 对于缺失值,您可以删除或填充它们。 对于填充,可以根据情况选择均值、随机、k近邻填充等。

2、数据归一化:数据归一化将清洗后的数据归一化,消除单位限制,方便不同指标的比较或加权操作。 最后将多个特征转化为多维向量,通过向量标准化达到数据标准化的目的。 无论是以ms为单位的数据,还是以KBps为单位的值,都统一构成向量中的一个元素。

3.特征推导和选择:特征推导致力于转换原始特征并估计所需的新数据,例如估计特征的均值、方差和标准差,选择X分位数数据来表示特征等。例如网段信噪比rtt每次上报的数据就是多次采集的结果。 估计的时候,通常是通过估计其均值、方差等来表达,而对于网卡流量来说,期望的结果是它在一段时间内的平均值。 可以达到的最大值,因此,取平均值并不是最好的解决方案。 这里所做的就是取第90个百分位数的值来表示。

在特征选择方面,可以通过相关性验证来选择与校准结果高度相关的特征,例如使用Pearson相关系数来验证变量之间的相关性。 经过一系列的数据清洗、标准化、筛选后,得到的特征是否具有所需的分辨率,必须使用相应的降维算法来验证,可以使用散点图+密度图来更直观地观察数据。

纪元1404新手教程_纪元2205修改教程_新纪元软件教程

图3:特征散点图

图3是部分用户网段的信噪比与其平均网速的散点分布图。 纵轴是平均网络速度,单位为kbps,横轴是采集到的每个网段的平均信噪比(单位ms),每个红点是一条数据。 与传统散点图不同的是,图中还估计了散点的密度分布。 白色区域是密度区域。 颜色越深,密度越大。 另外,两边的横轴和里面的纵轴还有数据分布的边界分布图。 该图通过将数据转换为可视化图像,展示了这部分数据的分布情况。 从图中可以得到的信息是:

密度最高的部分位于网段信噪比较低的区域;

从纵轴来看,网络速度越高,该网段的信噪比值越小。

应用场景

网络质量分析提供多维度的结果,可以更准确地告诉我们网络出现问题的原因。 通过针对不同类型的问题应用相应的策略,就可以达到预期的效果。 表1列出了针对不同类型弱网络的一些策略。

表1 弱网策略列表

体验优化计划

应用场景

设备信号强度弱

提醒用户信号弱、靠近wifi等情况。

加载提示

客服系统手动卡顿并诊断

开始广播

缓冲策略

智能文件策略

局域网网络质量较差

提醒用户重启或优化家庭路由器参数、选择更空闲的通道等。

该网段网络质量较差

使用并发下载、quic/bbr等弱网络主动下载合约等,并使用保守的buffer缓冲策略

cdn网络质量弱

切换备份cdn、备份域名等

1. 弱网用户提示

弱网缓冲时新纪元软件教程,如果信号或局域网信噪比较高,如图4所示,缓冲页面会给予用户相应的提示,指导用户实现相应的优化。 客服系统的滞后检查结果中也会给出相应的提示。

纪元1404新手教程_纪元2205修改教程_新纪元软件教程

图4:wifi信号弱时缓冲提示

2、弱网调度优化:

如果网络测量结果显示网段质量良好但CDN质量较差,通常意味着存在调度问题。 这个时候再回来检查一下下载链接是否有问题,比如CDN调度是否出现跨省或跨运营商的情况; URL是否被劫持; CDN水位是否紧张,是否需要启用备份线路等。

3.弱网络下载优化:

如果网络测量结果显示网段质量较差,CDN质量也较差,则说明用户处于弱网络环境。 我们将激活并发下载、QUIC、BBR等主动下载模式,以抵抗高延迟和高丢包。 率,还将引导用户使用智能文件或提高分辨率观看。

4、用户场景画像:

网段信噪比、网关IP、信号硬度、网关信噪比等数据在不同场景下也有不同的表现。 例如,家庭网络相对稳定,网段信噪比较低,连接局域网的设备相对固定,网段IP也有一定的共性。 我们综合利用上述网络指标进行分析和特征提取分类,可以应用于最终用户场景的识别。 如图5所示。

新纪元软件教程_纪元2205修改教程_纪元1404新手教程

图5:通过网络特征进行场景画像

☞现代编程语言大PK,2020年开发者关心的七种编程语言!

☞MySQL力压Oracle登顶1,私有云复用率最高,大数据人才紧缺! |中国大数据应用年度报告

☞如何用CNN玩AlphaGo版五子棋?

☞以前打鱼的程序员现在在哈尔滨自愿加班

☞区块链与大数据能否共同开启数据完整性的新时代?

☞以太坊2.0、分片、DAG、链下状态通道……区块链可扩展性解决方案概述!

相关内容 查看全部