了解最新公司动态及行业资讯
传统的神经网络推理框架针对大量计算层和参数的模型,推理的效率比较低,特别是针对整个解决方案,即从数据传输解码推理到特征库显示渲染,这一流程相当消耗资源。以至于无法做到逐帧的处理。
就算是接入到超算中心,涉及到各个模块的对接与处理环节,也无法做到针对显卡的全管线优化。
为了从服务端实现针对网络视频数据的逐帧的实现解码,推理,特征渲染,输出。武汉视跃科技有限公司研发了基于vulkan精细优化的神经网络推理框架。使用该框架,在普通的pc上可以实现对网络上流媒体数据的接收解码,推理,渲染,编码输出一体化,并逐帧实时实现。因为后台服务端实现的推理。所以算法可以自定义。场景的使用丰富多彩。效果如下视频: