有趣的地方

有趣的地方

Kafka(十三)监控与告警

目录 Kafka监控与告警 1 解决方案 1.2 基础知识 JMX 监控指标代理 查看KafkaJMX远程端口 1.3 真实案例 Kafka Exporter: Promethus Promethus Alert Manager Grafana 1.3 实际操作部署监控和告警系统 1.2.1 部署Kafka Exporter 1.2.2 部署Prometheus 1.2.3 部署AlertManger 1.2.4 添加告警规则 1.2.5 修改告警接收配置 1.2.6 部署G

从ZooKeeper切换到ClickHouse-Keeper,藏着怎样的秘密

本文字数:7772;估计阅读时间:20 分钟 作者:博睿数据  李骅宸(太道)& 小叮当 本文在公众号【ClickHouseInc】首发 本系列前两篇内容: 从ES到ClickHouse,Bonree ONE平台更轻更快! 100%降本增效!Bonree ONE平台通过ClickHouse实现了可观测信号数据的统一! 背景 Bonree ONE是博睿数据公司发布的一体化智能可观测平台。平台所有信号数据迁移到Click

基于Hadoop的城市公共交通大数据时空分析

文章目录 基于Hadoop的城市公共交通大数据时空分析 摘要 第一章 引言 1.1 研究背景 1.2 研究目的 1.3 研究方法 第二章 相关技术与方法 2.1 Hadoop平台 2.2 大数据处理技术 2.3 时空分析方法 第三章 城市公共交通大数据搜集与处理 3.1 数据源 3.2 数据预处理 第四章 基于Hadoop的时空数据存储与处理 4.1 时空数据模型 4.2 时空数据存储 4.3 时空数据处理 第五章 时空分析应用案例 5.1 公交车出行规律分析 5.2

第一章Hadoop概述

1. Hadoop是什么 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 主要解决,海量数据的存储和海量数据的分析计算问题。 广义上来说,Hadoop通常是指一个更广泛的概念--Hadoop生态圈 2. Hadoop发展历史(了解) Hadoop创始人Doug Cutting,为了实现与Google类似的全文搜索功能,他在Lucene框架基础上进行优化升级,查询引擎和索引引擎。 2001年年底Lucene成为Apache基金会的一个子项目 对于海量数

hadoop HA菜鸟级别搭建教程

一,开始配置 目的:为master,slave1,slave2三个镜像配置hadoop的高可用性 警告:本文实验性目的,如需高安全性或在非安全环境下搭建请查阅官方文档。本文只为在实验环境下简单快速填鸭式的搭建实验性的hadoop HA来帮助新手快速上手并理解基础概念。 NameNode ZkFc DataNode JournalNode ResourceManager zk集群 master ✔️ ✔️ ✔️ ✔️ ✔️ slave1 ✔️ ✔️ ✔️ ✔️ ✔️

【运维项目经历|019】Kafka Stream实时数据流处理平台项目

目录 项目名称 项目背景 项目目标 项目成果 我的角色与职责 我主要完成的工作内容 本次项目涉及的技术 本次项目遇到的问题与解决方法 本次项目中可能被面试官问到的问题 问题1:项目周期多久? 问题2:服务器部署架构方式及数量? 问题3:项目人员配置? 问题4:Kafka是什么? 问题5:Kafka的主要特性有哪些? 问题6:Kafka中的“Broker”是什么? 问题7:Kafka中的“Topic”是什么? 问题8:Kafka中的“Partition”是什么

【Rabbitmq使用】docker compose 命令重启rabbitmq后数据丢失问题

目录 0. 导火索 1. 问题和背景 2. 原因与解决 2.1 原因 2.2 解决 0. 导火索 在服务器上使用一个rabbitmq服务,但是需要多个项目使用这一个mq服务,于是就建立了rabbitmq的虚拟主机virtual host来作为各个服务的迷你版mq来使用; 再使用docker compose命令重启后,某个项目报错如下: com.rabbitmq.client.ShutdownSignalException: connection error; proto

【SpringBoot】SpringBoot中防止接口重复提交(单机环境和分布式环境)

  📝个人主页:哈__ 期待您的关注  目录 🌼前言   🔒单机环境下防止接口重复提交  📕导入依赖 📂项目结构  🚀创建自定义注解 ✈创建AOP切面  🚗创建Conotroller  💻分布式环境下防止接口重复提交 📕导入依赖 📂项目结构 🚀创建自定义注解 🚲创建key的生成工具类  🔨创建Redis工具类 🚗创建AOP切面类 🛵创建Controller  🌼前言  在Web应用开发过程中,接口重复提交问题一直是一个需要重点关注和解

Spark中RDD概述及RDD算子详解

一、RDD概述 1、RDD: 弹性的分布式数据集 弹性:RDD 中的数据即可以缓存在内存中, 也可以缓存在磁盘中, 也可以缓存在外部存储中 分布式:数据可以分布在多台服务器中,RDD中的分区来自于block块,而block块会来自不同的datanode  数据集:(1)RDD自身可以不存储数据的,只存放代码计算逻辑,触发作业执行的时候,数据会在RDD之间流动                (2)RDD 也可以缓存起来, 相当于存储具体数据 2、RDD 是一个分布式计算框架, 所以,

基于Go实现的分布式主键系统

基于Go实现的分布式主键系统 摘要 随着互联网的发展,微服务得到了快速的发展,在微服务架构下,分布式主键开始变得越来越重要。目前分布式主键的实现方式颇多,有基于数据库自增的、基于UUID的、基于Redis自增的、基于数据库号段的。与此同时,越来越多的公司开始普及使用雪花算法,但是在使用的过程中,发现了雪花算法的一些问题:其一、雪花算法存在时间回拨问题;其二、雪花算法存在重复问题;其三、雪花算法不能覆盖所有的使用场景。基于现有的问题,本文开发了分布式主键系统,该系统可以解决以上问题。
<< 1 2 3 4 5 6 7 8 9 10 > >>

Powered By Z-BlogPHP 1.7.3

© 2018-2020 有趣的地方 粤ICP备18140861号-1 网站地图