olap技术选型

对 OLAP 从查询类型上的划分:离线批处理、即席查询(ad-hoc)、固化查询。

如:离线批处理引擎

离线批处理引擎主要用于复杂的 ETL、构建数仓、数据挖掘等对延时要求不高,但灵活性最大的处理引擎,典型的代表如 Hive(ODPS)、Spark。这类引擎典型的优点就是吞吐量大,扩展性好,容错性好;缺点是低效,适合规模大、逻辑复杂任务。

grpc 网关技术选型

gRPC必须使用 HTTP/2 传输数据,支持明文和TLS加密数据,支持流数据的交互。充分利用 HTTP/2 连接的多路复用和流式特性。

技术选型

1、最早计划采用Netty来做,但由于gRPC的proto模板不是我们定义的,所以解析成本很高,另外还要读取请求Header中的数据,开发难度较大,所以这个便作为了备选方案。

2、另一种改变思路,往反向代理框架方向寻找,重新回到主流的Nginx这条线,但是nginx采用C语言开发,如果是基于常规的负载均衡策略转发请求,倒是没什么大的问题。但是,我们内部有依赖任务资源关系,也间接决定着要依赖外部的存储系统。

Nginx适合处理静态内容,做一个静态web服务器,但我们又看重其高性能,最后我们选型 Openresty

OpenResty? 是一个基于 Nginx 与 Lua 的高性能 Web 平台,其内部集成了大量精良的 Lua 库、第三方模块以及大多数的依赖项。用于方便地搭建能够处理超高并发、扩展性极高的动态 Web 应用、Web 服务和动态网关。

全链路追踪技术选型

1、AppDynamics:面向数据中心和云的全链路性能管理和监控平台,为运行在物理、虚拟和云中的应用程序提供全面有效的管理功能,可以帮助企业轻松地实施 DevOps 并轻松追踪复杂的分布式应用程序。

2、New Relic:分布式应用的全链路监控平台,主要用于监控数据中心、私有云和公有云环境的性能和可用性,简化全链路问题的调查、发现和诊断。

3、Dynatrace:一种基于AI的全链路性能管理工具,能够帮助企业识别、监视和调整交付技术,以满足业务转型、DevOps 和其他客户体验改善需求。

4、 Stackify:一种面向 Web 应用程序和移动

web3是什么

我所理解的Web3就是通过新技术表现出来,比如加密货币、虚拟现实、增强现实、人工智能等等。在新技术的推动下,Web3运动首当其冲的影响是:我们,集体和大众,看待和评价互联网的方式。Web3的使命是创建一个为大众服务,为大众所有的互联网。

大数据技术选型

大数据技术选型

在当今信息爆炸的时代,大数据技术的应用越来越广泛。然而,面对众多种类繁多的大数据技术选项,选择合适的技术方案成了许多企业面临的挑战。本文将分析大数据技术选型的关键因素,帮助企业更好地进行技术选择,实现数据驱动的业务发展。

1. 业务需求分析

大数据技术选型的第一步是对业务需求进行全面分析。在选择合适的大数据技术方案之前,企业需要明确自身的业务目标和需求,了解需要处理的数据类型、数据量以及数据处理的时效性要求。只有明确定义了业务需求,才能有针对性地选型,避免盲目跟风选择并陷入技术无法满足需求的困境。

2. 技术方案评估

针对业务需求,企业需要进行技术方案的评估。在考虑大数据技术选型时,需要综合考虑多个因素,包括但不限于数据处理能力、数据存储方式、实时性需求、系统稳定性、开发成本等。各种大数据技术方案各有优劣,企业应该根据自身情况进行权衡取舍,选择最适合自己业务场景的技术方案。

3. 技术生态支持

选择大数据技术方案不仅需要考虑技术本身的特性,还需要考虑其所处的技术生态环境。一个成熟的技术生态环境能够提供更多的支持和解决方案,保障企业在技术实施和运维过程中的顺利进行。因此,在进行大数据技术选型时,企业需考虑该技术在业界的认可度、社区活跃度以及供应商支持情况。

随机配图