分类:大数据

86 篇文章

docker 之 iptables
1.背景 在linux(centos 7.8.2003)宿主机里安装docker(19.03.13)环境,基于centos:centos7.4.1708镜像启动了docker容器,并在此容器里部署kubernetes环境单机版。 启动docker容器: #使用--privileged开启特权,拥有真正root权限 #启动时执行/usr/sbin/i…
MySQL子查询原理分析
一、前言 子查询,用白话解释就是查询语句中嵌套着另一个查询语句。相信用过MySQL的同学都知道甚至用过子查询,但是具体它是怎样实现的,查询效率如何,恐怕好多人就不太知道了,下面咱们一起探索一下。 二、准备内容 这里我们需要用到3个表,这3个表都有一个主键索引 id 和一个索引 a,字段 b 上无索引。存储过程 idata() 往表 t1 里插入的是…
关于FreeRTOS任务调度算法的介绍
FreeRTOS任务调度算法有三种:第一种是基于优先级的抢占式任务调度算法,第二种是基于优先级的时间片轮转调度算法,第三种是合作式调度算法。这三种方法各有各的优劣,下面我们具体分析一下: 调度器 要想了解调度算法,就需要先了解什么是调度器。调度器就是使用特定的算法来决定当前需要执行那个任务,调度器可以识别任务的状态,一般包括就绪态、挂起态,当任务处…
横跨7个版本的OpenStack无感知热升级在360的落地与实践
一、背景 360公司的IaaS服务平台是基于开源Openstack研发的,历经了多次版本的迭代。2015年,360基于Liberty版本自研了公有云和支撑集团内部使用的私有云。2019年-2020年期间,360重新在Openstack Stein版本的基础上自研,打造适配ToB场景的IaaS平台360Stack,目前已发展成为可面向市场正式商业交付…
this指向
什么是this this是JS中定义的一个保留字,被自动的定义在作用域中,每一个作用域中有且只有一个this。 为什么学习this 看个例子 function fun() { return this.name.toUpperCase(); } function speak() { var greeting = "Hello, I'm " + fun…
Cilium创建pod network 源码解析
Overview 我们生产K8s使用容器网络插件 Cilium 来创建 Pod network,下发 eBPF 程序实现 service 负载均衡来替换 kube-proxy,并且使用 BGP 协议来宣告路由给交换机,使得 pod ip 在内网可达。 目前 BGP speaker 使用 bird 软件, 不过随着 Cilium 最近新版本已经集成 …
Flink与流批一体
一、流计算与批计算 一)流计算与批计算 1.流批的简单定义 ​ 自从大数据诞生以来,在计算领域就一直存在着两种计算引擎,分别是流计算引擎和批计算引擎,而且十几年来,流计算引擎和批计算引擎都在不断的迭代发展。但随着数据处理的越来越复杂,以及各个计算引擎自身的发展,越来越有很多的呼声,希望能有一种计算引擎来统合大数据计算引擎,既能满足批计算的大吞吐,也…
浅谈DDD(二)
上一次,我们聊了DDD的战略设计,这一篇我们从技术实现的角度聊聊DDD的战术设计。 战术设计:DDD 的要点 实现领域对象之间的关联并描述它们的功能似乎很容易,但是应该以清晰和直观的方式正确地区分它们的意义和存在理由。 DDD提出了一组构造和模式来实现它。 实体(Entities) 具有独特身份并具有连续性的对象被称为实体(Entitie…
MySQL表联接原理分析
一、前言 用过MySQL的同学肯定都知道表联接,关键字即为 join ,使用的场景就是“当只查询一个表的信息不能满足我们需求”的时候,就需要用到两个甚至多个表联接查询。但是当不了解表联接的实现逻辑时,可能会有这样两个误区: 只要业务需要,就随便关联表查询,能查到数据就行;曾经用表联接产生了SQL慢查询,被警告后再也不敢用了; 其…
Flink SQL 在奇虎 360 的实践
1.Flink SQL在奇虎 360 的落地 与阿里、字节不同,我们刚开始将 Flink 投入生成时,主要推的还是 Java/Scala 作业,而非 SQL。 当时的考虑是 Flink SQL 的发展还比较年轻,相比 Spark SQL、Presto 等引擎,…