题目 1 讲一下你门公司的大数据项目架构？2 你在工作中都负责哪一部分3 spark提交一个程序的整体执行流程4 spark常用算子列几个，6到8个吧5 transformation跟action算子的区别6 map和flatmap算子的区别7 自定义udf，udtf，udaf讲一下…

6 打包部署 我们的前端工程开发好了，但是我们需要发布，那么如何发布呢？主要分为2步： 前端工程打包 通过nginx服务器发布前端工程 6.1 前端工程打包 接下来我们先来对前端工程进行打包 我们直接通过VS Code的NPM脚本中提供的…

大数据Hadoop-HDFS_元数据持久化 （1）在HDFS第一次格式化后，NameNode（即图中的主NameNode）就会生成fsimage和editslog两个文件； （2）备用NameNode（即图中的备NameNode&…

一、预习： 1、优点： 是一种典型的链路状态路由协议，协议号89，把大型网络分隔为多个较小、可管理的单元：Area a.减少LSA泛洪范围，有效地把拓朴变化 控制在区域内，达到网络优化的目的…

Flask是一个轻量级而强大的Python Web框架，它的简洁性和灵活性使其成为许多开发者的首选。然而，为了确保项目的可维护性和可扩展性，我们需要遵循一些最佳实践。本文将探讨Flask中一些关键的最佳实践。 1. 项目结构 构建一个清晰的项目结构是…

打包后移除console.log日志,把项目里所有的的console.log打印移除，这样上线后减少数据风险 "production":{"plugins": ["transform-remove-console"]}{"presets": [["env", {"modules": false}],"…

工具准备 下载Python——python官网下载：https://www.python.org/下载PyCharm——pycharm官网下载：https://www.jetbrains.com.cn/en-us/pycharm/参考文档——pytest官方文档：https://docs.pytest.org/en/7.4.x/一个方便好用的office库——p…

在 PostgreSQL 的 postgresql.conf 配置文件中，有许多常用的配置项，这些配置项可以根据特定需求和性能优化进行调整。以下是一些常用的配置项及其作用： 1. shared_buffers 用于设置 PostgreSQL 实例使用的共享内存缓冲区大小。增加此值可以…