入侵检测原型系统的设计与实现
在上篇文章中,作者对分布式入侵检测机制进行了研究,本篇文章作者给出了入侵检测系统的模型并确定用改进的CUSUM算法作为智能检测的核心算法,在MAS分布式架构上使用基于事件驱动模型的Agent响应机制并加入负载均衡机制。这篇文章将阐述入侵检测原型系统的设计、实现,并论述基于原型系统的算法实现。首先从该系统的整体框架入手,逐步介绍整个系统的设计与实现。…
关于对多平台兼容的TCP连接的开发思路
在做嵌入式SDK产品的开发过程中,由于产品本身需要兼容多种平台,所以对代码质量有很高的要求,今天我们主要介绍的就是针对于TCP开发过程中的一些增强代码兼容性的小技巧。        做过网络开发的小伙伴可能遇到过这样类似的问题,在做频繁的TCP连接的过程中,偶然性的会出现connect连接…
Doris存储系统概述
基本概念 Doris与其他OLAP引擎类似,是以库表形式存储数据,一张表包含若干行和列。用户的数据表被水平划分为多个数据分片,称为tablet,一个tablet包含若干行数据,tablet之间没有交集,在物理上独立存储,tablet是数据移动、复制的最小物理单位。 我们在建表时通常会创建分区,在分区内指定按某列或某几列分桶,理论上一个tablet对…
一站式实时数仓开发:当FLINK SQL遇见ULTRON
FLINK是被称为第四代大数据处理引擎的开源利器,近年来在国内各大厂的加持下更是成为了实时计算领域的标准,而ULTRON是360商业化近一年多来在总结自身实时计算场景应用和特点的基础上打造的一款实时作业开发平台,我们一起来看看两者的结合,会擦出怎样的火花吧! 1.什么是ULTRON 背景与痛点        对于开发ULTRON的背景,截止2021…
从Paxos到Multi-Paxos
1.简介 本文是分布式系统原理和实践的第一篇,笔者在学习的过程参考了原论文以及很多网络文章,感谢那些作者的分享和记录。本文会从Paxos的引入开始,然后对Paxos的流程进行分解和总结,最后对Multi-paxso的特性进行分析。以下所有讨论并不会涉及系统工程实现相关的部分,如果读者对paxos理论这部分已经深入了解,可以自行跳过;在一个系统中,为…
基于DPDK实现VPC和IDC间互联互通的高性能网关
前言:随着云计算和网络技术的不断发展,越来越多的业务有着上云的需求。上云后,业务能够使用云上已有的服务提升开发效率,也可以利用云平台的弹性伸缩特性,及时应对业务的负载变化。实际生产环境中,用户的服务一部分部署在云平台上,另一部分部署在自己的IDC机房。用户有从VPC访问IDC中服务的需求,且IDC内的服务需要支持负载均衡。为了实现IDC的平滑上云,…
自动超参优化简述
机器学习建模是一个十分依赖建模工程师本身的知识和经验的工作,它涉及对问题背景的理解,数据的清理、变形和分析,特征的选择和构造(特征工程)以及模型的训练、调优和评估。只有专业高级人才才能优质并高效地完成整个流程,这就意味着机器学习建模的人力成本是非常高的。Prophet机器学习平台的愿景,就是降低机器学习建模的成本,普及机器学习模型的应用。若能将上述…
SPDK概览
女主宣言:SPDK是Intel针对NVMe SSD开源的高性能存储框架,它能够减低IO路径上软件栈所占用的耗时占比,从而尽可能发挥出硬件设备的性能。接下来小编带大家去深入了解SPDK,让我们一起探究它的奥妙所在吧! 01简介: 随着硬件设备存储介质的改变和性能不断的提升,存储设备处理IO的能力越来越快,传统的旋转设备HDD单个IO需要几毫秒到十几毫…
基于MM2的跨IDC kafka热备多活方案
MM2简介 在介绍MM2之前先谈一下MM1,  这个是kafka很早之前就有的组件,本质来说就是实现了consumer + producer, 从集群A将数据同步到集群B, 使用的是kafka client的high level api。如果网络不稳定,会有频…
分布式入侵检测机制的研究
入侵检测系统相关理论分析 的文章对入侵检测系统的发展做了分析整理,本章作者将对分布式入侵检测机制进行研究。 作者研究分布式入侵检测机制主要有四个核心技术的支持:算法支持(高效的入侵检测算法)、框架支持(安全、稳定、灵活的分布式MAS框架)、代理响应策略支持(有效的代理检测控制)和负载均衡策略支持(提供系统资源优化保证)。 图1 研究内容框架图 基于…