分类:大数据

86 篇文章

联盟链技术
背景 目前区块链技术的发展存在两个大的方向,即联盟链和公链,两者之间最大的区别在于是否存在”准入机制”,这里的”准入机制”指访问权限的管理机制。联盟链有“准入机制”,并不是任意的个人或组织都能参与其中,数据只在联盟链内部公开、共享。而公链,则是完全公开,没有任何的准入门槛,所有个人或组织都可以参与其中,数据对所有人公开。 下面从技术方面对联盟链和公…
influxdb内存消耗分析及性能优化【探索篇】
1.新的问题 influxdb目前支持内存型索引inmem及文件型索引tsi1。之前追踪篇将influxd索引修改为tsi1之后,经过一段时间的运行,从监控观察到,由于调用方采用异步队列+批处理的方案将数据写入influxdb,会在某些时刻调用方内部出现数据堆积,指标如图: 横坐标: 时间轴,从12-29 00:00 到 12-30 00:00纵坐…
Go语言测试入门(二)
基准测试 基准测试需要以Benchmark开头,参数需要使用 *testing.B。在执行go test的时候需要加上 -bench参数。 func BenchmarkXxx(*testing.B) 基准测试函数示例: func BenchmarkRandInt(b *testing.B) {    for i := …
分布式NoSQL数据库Pika——从单机到集群
背景 Pika是一个可持久化的大容量redis存储服务,兼容string、hash、list、zset、set的绝大部分接口(兼容详情),解决redis由于存储数据量巨大而导致内存不够用的容量瓶颈。用户可以不修改任何代码从redis迁移到pika服务。由于单机pika容量受限于单块硬盘容量的大小,360公司业务和社区对分布式pika集群的需求越来越…
场景化存储解决方案-XSTORE
“ OSS,对象存储,Simple Storage Service 等解决的是——面向业务场景的存储问题。” xstore,解决的就是面向业务场景的存储问题。 不用再考虑 IDC、硬件、网络、如何存,也不用想跨域、容量节省等等一系列复杂问题,只需要考虑你的应用或产品的业务逻辑,剩下的xstore搞定。 整个产品生命周期,从弱小到强大,不需要切换技术…
奇麟(Qirin)大数据平台
360系统部成立于2010年,负责整个集团的大数据底层基础平台建设(包括分布式存储、分布式计算、大数据搜索、图计算等各类大数据服务),目前服务于整个集团30+部门,1000+用户,服务器25000+,存储数据量EB级。奇麟(Qirin),是由系统部研发的一站式大数据平台,完整覆盖了大数据的采、存、管、算、用整个大数据开发和处理流程,可以帮助业务部门…