分类:大数据

86 篇文章

快速构建Go语言KV Cache
缓存是几乎所有程序或产品的必需品,我们在每个角落都能看到它,比如网页、数据库、应用程序等。 它的意义在于它所带来的效率。 这就像在你忙于燃烧卡路里的问题时,把你最喜欢的零食放在桌子上,让你快速拿一下。   熟悉和可快速构建一个本地kv缓存对日常开发很重要,所以我将从头开始实现一个健全且可用的本地 kv 缓存。 KV-Cache …
认识和学习orchestrator之基本使用篇
一、介绍 orchestrator目前GitHub上star 4.5k+,非常适用于有多个数据中心MySQL集群的管理。该工具使用起来很简单,但能用好却不容易,其配置参数将近200个,后端存储表47张,下面将介绍orchestrator以及它的使用方法。 二、orchestrator是什么 2.1、功能 其是一个管理MySQL复制拓扑的高可用、管理…
简述-使用redis统计日活、周活
日活、周活数是表示用户参与度的常用指标,是衡量 PMF(Product Market Fit,产品 - 市场匹配) 的一个重要参数。redis 统计日活、周活,主要有三种方式。 使用集合 主要命令 SADD key member [member …] 时间复杂度:O(N),N 是被添加的元素的数量 将一个或多个 member 元素加入到集合 key…
Linux Disk Quota实践
前言 Linux Disk Quota是一种限制文件系统资源使用的技术,quota意思是份额、配额的意思,它用来限制用户使用磁盘的额度。可以实现针对用户、群组、目录多维度限制,保证磁盘空间不会因为单一用户或目录导致使用过度,造成磁盘不可用的情况。本文我们来探讨基于XFS文件系统Linux Disk Quota的应用方案。 01 TIPS: quot…
牛顿法与共轭方向法
前言 牛顿法和共轭方向法都是基于函数局部二阶信息的优化算法,即所谓二阶优化算法。二阶优化算法在自变量空间任意位置处对原函数进行二阶泰勒展开,以二次函数近似拟合原函数局部形态,再根据近似二次函数的形态确定优化方向。 深度学习中常用的梯度下降法是一阶优化算法,它只将原函数进行一阶泰勒展开,以任意位置处的近似一阶(仿射)函数的信息来确定优化方向。近似一阶…
一文读懂VictoriaMetrics集群方案
一、简介 VictoriaMetrics集群方案,除了有单节点方案的优点以外,还可以做到水平扩容,当有大量数据存储时,VictoriaMetrics集群方案是个不错的选择。官方建议是100w/s以下的数据点抓取,使用单节点版,单节点版可以省更多的CPU、内存、磁盘资源。 但是,当遇到如下问题可以考虑集群方案: 抓取数据点过高:大于100w/s数据点…
记一次kafka集群频繁crash的排查过程
一、概述 kafka集群中的某些broker会随机重启,并且重启没有什么规律。broker重启对于client端使用层面是无感知的,但是在数据一致性、稳定性方面存在风险。broker重启时,连接在这台broker的连接会重连到其他正常的broker,增加集群中其他broker的压力。同时这个broker上的leader partition也会触发切…
基于主机Overlay和自研虚拟化网关的VPC在360的落地
一、背景 1.1 概述 随着公司业务的不断发展,用户对网络也提出了更多的需求。一方面360公司25G机房逐步上线,交换机架构升级,导致原有的虚拟化网络方案无法支持虚机的跨交换机迁移,而且部分特殊业务线对网络有着隔离的需求。另一方面,之前的网络Overlay架构与交换机耦合太严重,在稳定性、运维和问题排查方面都不太理想。综合上述情况,虚拟化团队选择了…