一、简介 VictoriaMetrics，是一个快速高效、经济并且可扩展的监控解决方案和时序数据库。 谈到VictoriaMetrics就必须要提到Prometheus，VictoriaMetrics是一个新兴的监控解决方案。它借助Prometheus强大的exporter生态、成熟的规范、服务发现等优点等，融入到Prometheus生态中。Vic…

1.    MOB基本介绍 1.1使用MOB的背景&现状 MOB是Medium Object Storage，即中等大小的对象存储，一般指的是KeyValue所占字节数大于1MB，小与10MB的数据。系统部目前以HBase为底层存储所支持的XStore-S3大规模服务，就是采用这种方案实现的。主要支持了公司的视频云、IOT以及云盘等业务，其…

事物发展总的方向和趋势是由低级到高级、由简单到复杂的前进运动。但前进的道路不是直线,而是迂回曲折的,会出现向出发点回复现象。yarn与k8s在360有着不同的场景及应用，在很长一段时间里各司其职，各自发展。经过漫长而曲折的探索与发展，为我司上层业务提供了统一的离在线数据处理服务及在线服务管理服务。使上层业务从缓慢的单机运行数据处理、传统而繁琐的手动…

一、我们为什么要升级 360之前YARN版本是基于2.7版本修改的内部版本，主要有几个问题： 与社区脱节：目前社区已经发展到3.2的版本，落后社区多个大版本，很多新特性都不能使用，比如预定系统，Opportunistic Containers等降本增效：在Yarn层面，支持多集群Federation，可以有效利用多YARN集群空闲资源，达到降本增效…

mysql是市面上使用最广的免费的关系型数据库，网上关于它的文档多如牛毛，内容也是参差不齐，这里关于mysql的索引和事务总结几个容易混淆的知识点，这里主要讨论的是innodb引擎，其他存储引擎暂不做讨论。 索引 B树和B+树 众所周知，innodb的索引结构为B+树结构，那么为什么要采用B+树的结构呢，一句话总结就是索引树尽可能多的存贮节点，从而…

1 Trino架构 文章开头，让我们简答的了解一下Trino。Trino就是之前的Presto SQL，Presto是Facebook专门为大数据实时查询计算而设计和开发的产品，presto基于java语言开发支持多数据源，基于内存的查询使得presto的查询速度远远高于Hive。 trino查询引擎是master-slave架构，如下图所示，主要…

一、 搭建集群背景： 环境要求： https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/install-kubeadm/ A compatible Linux host. The Kubernetes project provides generic instru…

基本概念 Doris与其他OLAP引擎类似，是以库表形式存储数据，一张表包含若干行和列。用户的数据表被水平划分为多个数据分片，称为tablet，一个tablet包含若干行数据，tablet之间没有交集，在物理上独立存储，tablet是数据移动、复制的最小物理单位。 我们在建表时通常会创建分区，在分区内指定按某列或某几列分桶，理论上一个tablet对…

FLINK是被称为第四代大数据处理引擎的开源利器，近年来在国内各大厂的加持下更是成为了实时计算领域的标准，而ULTRON是360商业化近一年多来在总结自身实时计算场景应用和特点的基础上打造的一款实时作业开发平台，我们一起来看看两者的结合，会擦出怎样的火花吧！ 1.什么是ULTRON 背景与痛点        对于开发ULTRON的背景，截止2021…

1.简介 本文是分布式系统原理和实践的第一篇，笔者在学习的过程参考了原论文以及很多网络文章，感谢那些作者的分享和记录。本文会从Paxos的引入开始，然后对Paxos的流程进行分解和总结，最后对Multi-paxso的特性进行分析。以下所有讨论并不会涉及系统工程实现相关的部分，如果读者对paxos理论这部分已经深入了解，可以自行跳过；在一个系统中，为…