基于Openstack的企业级实例在360的落地实战
背景 当前公司内部使用的虚拟机,主要为共享型实例。共享型实例在物理CPU上采用超卖机制,如超卖3倍到超卖5倍。共享型实例采用非绑定CPU调度模式,每个vCPU会被随机分配到任何空闲CPU超线程上,不同实例vCPU会争抢物理CPU资源,并导致高负载时计算性能波动不稳定,但是每台实例的成本相对来说较低。 随着企业内部对虚拟化性能的要求日益提高,共享型实…
360HDFS从0.20到3.0的升级之路
1.我们为什么要升级? 360的hadoop集群,自搭建之初到现在已经陆续经历了近10年的时间。陆续承接了司内的大搜网页库、核心安全样本、APT log,商业化相关数仓分析、模型及公司几乎所有打点log的存储任务,随着公司的发展也陆续扩展到了上万台的规模。随着规模扩大以及时间的推移,当初的facebook 0.20版本也陆续面临了诸多的问题与挑战,…
PahoMQTT-c:异步模式下各回调函数的使用场景
PahoMQTT-c库在异步模式下定义了多个回调函数供用户注册,以获取状态更新和数据内容,经对源代码流程的深入分析,现对常用的几个回调函数的使用场景和注意事项做如下总结。 MQTTAsync_connected—建立连接 typedef void MQTTAsync_connected(void* context, char* cause); 说明…
深入理解golang内存缓存利器-FreeCache
在低延迟,高并发的系统中,不可避免的会用到本地内存作为缓存,FreeCache 就是使用golang实现的本地缓存系统,良好的特性使得它目前用在我们的生产环境中。一直以来都对他的实现很感兴趣,这次通过分析源码的方式,学习一下。 项目地址及特性 项目地址 https://github.com/coocood/freecache 特性 存储数以亿计的条…
Ant-Design从v3升级到v4的Form操作的记录
虽然antd提供了@ant-design/compatible的兼容包,可以做到不用修改代码继续使用。但是每次打开页面,有时会看到警告⚠️⚠️⚠️和建议升级4.0,这个时候我们可以做如下操作 移除Form.create 原代码 class EditStore ext…
360视频云融合RTC服务
一、背景 近些年随着在线教育、视频会议、电商直播等业务的兴起,实时音视频(RTC)功能变得不可或缺。业务方通常有两个选择:自研和使用外部厂商。由于RTC牵涉到音视频编解码、声音信号处理、图形图像处理、硬件加速、实时网络传输协议、分发网络等诸多的技术,技术栈比较艰深,普通的公司很难短时间积累起这方面的能力,即使愿意投入,对人力和财力也都有巨大的挑战。…
计算图反向传播的原理及实现
简介 神经网络的结构并不仅限于多层全连接,在深度学习领域,存在局部连接、权值共享、跳跃连接等丰富多样的神经元连接方式,多层全连接仅仅是其中的一种。在打开更广阔的新世界的大门之前,我们首先需要掌握描述和训练任意神经网络的方法。 计算图是一个强大的工具,绝大部分神经网络都可以用计算图描述。计算图用节点表示变量,用有向边表示计算。自动求导应用链式法则求某…
入侵检测系统相关理论分析
入侵检测系统概念 入侵检测(Intrusion Detection),是指对入侵行为的发觉。它通过取得计算机网络或计算机系统中若干关键点收集信息并对其进行分析,从而发现网络或系统中是否有违反安全策略的行为和被攻击的迹象。进行入侵检测的软件与硬件的组合便是入侵检测系统(Intrusion Detection System,简称IDS)。 入侵检测技术…
Flutter Plugin中依赖aar文件编译报错
前言 在Flutter项目中开发难免会遇到使用到Flutter Plugin的场景,在Flutter Plugin有可能会使用到第三方AAR。在以上情况下Flutter Application编译Apk会报错,本篇文章将解决这个问题。 工程准备 首先创建四个工程分别为: Android 原生工程,Flutter application, Flutt…
智慧生产!来小安看看
2020年11月13日,为进一步强化生产经营单位安全生产主体责任落实,完善安全管理体系,全面提升安全生产管理能力和水平,北京市应急管理局颁布了《北京市生产经营单位安全总监制度实施办法》,这代表各级政府对企业生产安全再一次加强监管力度,对安全生产管理方法提出了新要求,力求探索安全生产、智能生产、有序生产的新方法,减少生产安全事故的发生,以“安全、智能…