分类:大数据

86 篇文章

Golang依赖注入之Wire
项目启动时,依赖越来越多,依赖之间还有先后顺序,main函数的代码会慢慢膨胀起来变得不容易维护,这种情况下可以引入依赖注入框架。今天我们来分享 Google wire 库。 依赖注入介绍 依赖注入(dependency injection,缩写为 DI)是一种设计模式,这种模式能让一个物件接收它所依赖的其他物件。所谓“依赖”是指接收方所需的对象,“…
MapReduce 作业资源优化
1.YARN 的相关介绍 yarn 基础架构 ResourceManager(RM):RM 是一个全局的资源管理器,负责整个系统的资源管理和分配。它主要由两个组件构成:调度器(Scheduler)和应用程序管理器(Applications Manager,ASM)ApplicationMaster(AM):用户提交的每个应用程序均包含一个AM,主要…
StarRocks在360的应用实践——对于 StarRocks 的总结和展望
介绍了StarRocks 在360的落地,总结了 StarRocks 的一些优势。总体来说 StarRocks 是一个架构简单、方便使用的 OLAP 产品。查询性能方面表现比较优越,而且它已和多个平台进行了互联互通,我们可以很方便地和各个平台进行打通,同时它还支持一些比较流行的数据湖分析产品。总体来说 StarRocks 是一款很优秀的查询引擎。当…
StarRocks在360的应用实践——对于 StarRocks所做的一些应用和探索
这部分将介绍除了落地的产品之外,我们针对 StarRocks 进行的探索。首先,随着大数据产品和处理需求的多样化。数据湖分析产品已经成为了各大企业都要进行的一个开发工作。云舟数仓是我厂内部的一个云原生的湖仓一体的 SaaS 化产品。它主要有三个特性,一是随时扩缩容,二是可以按需付费,三是它是一个全 SQL 化的产品,对于用户来说上手很简单。其架构主…
StarRocks在360的应用实践——StarRocks 在360主要的应用场景
目前我们使用 StarRocks 主要分为两部分,一部分是使用 StarRocks 本身的 OLAP 表,另一部分是使用 StarRocks 支持的外部表。对于 OLAP 表来说,StarRocks支持不同的导入方式。对于实时数据来说,我们可以通过 Flink 的 flink-connector- starrocks  转化为 …
Star Rocks在360的应用实践——为什么选择StarRocks
360为什么选择 StarRocks 作为 OLAP 分析引擎 第一部分 首先介绍一下 360 内部为什么选择StarRocks 以及 StarRocks 性能方面的测试和对比。 在 360 内部还没有使用 StarRocks 之前,使用的查询分析引擎主要包括 MySQL、Hive、Spark、Druid等。这些引擎都有自己擅长的方面,同时针对一些…
多姿势搞定Tidb集群大屏监控
背景  Tidb 集群部署会自带一套完整的监控体系,给广大tidb粉带来了便利,方便的同时也是存在一些槽点,比如监控组件过多,收集的指标过广,出现性能问题在看监控的时候一时摸不到头脑,无从下手,意识到这点Tidb 在V6.1.0 也推出了 Performance Overview 面板,抽出了关键指标供我们快速查询,这点还是不错的,但是还有个问题就…
前端大数据列表优化
常见大数据使用场景: 一、视频满屏的弹幕和右侧同步展示实时列表 如何在实时展示数据的同时不让页面卡顿 二、如果服务端返回成千上万条数据 如何优雅的展示,不让页面卡顿 极端测试:在vue项目中一次加载比如2000条数据,会有警告:Error in v-on handler: "Error: Rendered items limit reached 如…
弹性伸缩服务在360私有云平台的落地
1.介绍 “弹性”是云服务特有的一种高阶能力。弹性伸缩,简称AS(Auto Scaling)。  用户可以根据业务需求和策略设置伸缩规则,在业务需求增长时自动为业务增加虚拟化资源,以保证计算能力。在业务需求下降时自动减少虚拟化资源,可节约成本,也可帮助用户根据负载对业务服务削峰填谷,平衡成本与资源。业务量相对稳定的服务,可使用弹性伸缩实现健康监测以…