分类:大数据

86 篇文章

TIKV扩容之刨坑填坑
背景 某tidb集群收到告警,TIKV 节点磁盘使用率85%以上,联系业务无法快速删除数据,于是想到扩容TIKV 节点,原先TIKV 节点机器都是6TB的硬盘,目前只有3TB的机器可扩,也担心region 均衡后会不会打满3TB的盘,PD 调度策略来看应该是会根据不同存储机器的资源配置和使用情况进行打分,region balance 优先根据lea…
详解GO的异常处理
Golang中defer,panic,recover是很常用的三个特性,三者一起使用可以充当其他语言中try…catch…的角色,而defer本身又像其他语言的析构函数。 defer defer后边会接一个函数,但该函数不会立刻被执行,而是等到包含它的程序返回时(包含它的函数执行了return语句、运行到函数结尾自动返回、对应的goroutine …
Flink在奇虎360的平台建设演进
一、实时计算平台演进 1. 历史进程 2013年,以Storm 0.8为基础构建实时计算平台。2018年,以Flink 1.4为基础构建实时计算平台。2020年,以Flink 1.11为基础构建实时计算平台,并全面拥抱SQL。 奇虎360在实时计算方面有很强的积累。在2013年开始使用Storm 0.8版本来构建公司内部的流计算平台,包括早期跟St…
虚拟化网络与云网关打通的解决方案
一、背景: 随着云计算与网络技术的不断发展,公司内越来越多的业务有着上云的需求。我们底层虚拟化团队基于社区openstack版本提供云服务,借助社区的力量能够快速实现一套满足基本功能的云平台。但原生neutron(openstack网络组件)在公司内场景下使用时网络方面会暴露出一些缺陷:比如计算节点规模达到数百上千台时,控制层面性能会比较差;比如D…
三款OLAP对比测评
测评OLAP引擎 三个OLAP引擎均为最新稳定版本 测试环境 三台物理机机器配置:CPU 40核Intel(R) Xeon(R) CPU E5-2630 v4 @ 2.20GHz内存 128G硬盘 7.3T SATA网卡 10Gb/s环境搭建:Apache Doris部署1个FE,3个BEClickHouse部署3个节点DorisDB部署1个FE,…
广义线性模型与逻辑回归
import numpy as np class LogisticRegression: def __init__(self, method="Gradient", eta=0.1, threshold=1e-5, max_epochs=10, regularization=0.1, minibatch_size=5, momentum=0.9, …
从线性模型到神经网络
本文以 ppt 的形式讲解传统机器学习的线性模型是如何“演变”成为神经网络的。神经网络作为线性模型(神经元)的集体连接,是如何克服单个神经元的局限的。 本文的思路是先介绍线性模型,再从模型集成的视角引入(全连接前馈)神经网络 DNN 。之后介绍 DNN 的训练、实现和应用。 此为线性回归模型的示意图、计算式和训练方法。从计算式的最后一个 = 号可看…
使用LXCFS实现容器资源的视图隔离
01. 问题背景 大家都知道,当我们使用 top 等命令的时候,背后的逻辑是读取 /proc 目录下相应的资源文件。本篇文章就通过查看使用 top所执行的系统调用,来窥探一二。 strace  top -b -n 1  事实上在容器环境下,/proc 文件系统使用的是宿主机的信息,这会导致一系列的问题: 从容器的视角来…
聊聊TCP/IP协议基础
一、 计算机网络体系结构分层 TCP/IP 与 OSI 在分层模块上稍有区别: OSI 参考模型注重“通信协议必要的功能是什么”, 而 TCP/IP 则更强调“在计算机上实现协议应该开发哪种程序”。 二、 TCP/IP 基础 1. TCP/IP 的具体含义 TCP/IP 是利用 IP 进行通信时所必须用到的协议群的统称。具体来说,IP 或 ICMP…