Hive 分布式数据仓库

1)数据仓库 一个巨大的“校级成绩档案馆”把所有班级的历史成绩都集中在一起专门用来做分析、做报表帮助学校做决策比如增加数学课时数据库比如MySQL管日常交作业、点名。✅ 数据仓库管分析哪科成绩最好哪个学期进步最大2)什么是“分布式”假设有100万道数学题要批改一位老师批改要半年。但如果叫来100个老师同时批改每人只改1万道最后汇总成绩——瞬间快100倍分布式 很多台普通电脑组成“兄弟连”一起干活 一起存数据。Hadoop 就是管理这些兄弟连的“大管家”而 Hive 住在 Hadoop 上面。️ 数据存在HDFS分布式文件系统里像超大云盘文件被切成很多块分散存储在不同电脑上安全又快速。3)Hive 是超级翻译官想用Hadoop分析数据原本要写复杂的Java代码MapReduce像这样 难 打开文件→拆分成小块→每个电脑计算→合并结果...但是有了Hive你只需要写SQL就像跟朋友说话一样简单-- 查询全校数学成绩高于95分的同学人数 SELECT COUNT(*) FROM students WHERE math_score 95;Hive 自动把这个SQL翻译成MapReduce任务扔给Hadoop集群去跑最后把结果拿回来给你看4)Hive 里数据存哪儿两层记忆真实数据存在 HDFS 上比如路径/user/hive/warehouse/school_db/students元数据表名、列名、类型存在关系型数据库里Hive启动时就知道哪个文件夹对应哪张表。5)Hive 的优缺点学生版✅ 优点门槛低会SQL就能分析大数据处理海量数据PB级别都扛得住便宜普通电脑组成集群就能跑扩展方便加电脑就行⚠️ 缺点延迟高每次查询都启动一堆任务可能要几分钟甚至几小时 不支持实时查余额/发弹幕这种不行不适合频繁小数据更新不能改一行Hive vs MySQL (你熟悉的数据库)对比项MySQLHive数据量GB级别PB级别 (100万GB)查询速度毫秒~秒级分钟~小时级数据更新支持增删改只支持追加/覆盖典型用途网站、App、教务系统离线报表、数据分析、数据挖掘成本纵向升级买更贵服务器横向扩展加普通电脑6)Hive 内部工作流程极简版① 你提交一条 SQL 查询。② Hive 的驱动程序Driver解析SQL检查语法和表是否存在。③ 生成逻辑计划 → 优化器优化比如先过滤再Join节省计算量 → 生成物理计划一堆MapReduce任务。④ 把任务交给 Hadoop 的 YARN资源调度去执行集群里几十上百台电脑同时开干。⑤ 每台电脑处理自己那一小块数据最后汇总结果展示给你。