mysql数据库建库的完整步骤 mysql数据仓库的建立

本文目录一览：

1、mysql的innodb数据库引擎详解
2、关于数据库
3、Mysql存储引擎之myisam
4、大数据工程师的日常工作做什么?
5、数据仓库数据建模的几种思路
6、数据仓库分层架构深度讲解

mysql的innodb数据库引擎详解1、innodb_buffer_pool_size：具体看，缓冲池中的数据库类型有：索引页、数据库页、undo页、插入缓存页（insert buffer）、自适应hash（adaptive hashindex）、innodb存储的锁信息（lock info）、数据字典信息（data dictionary）。
2、在SQL查询中，可以自由地将InnoDB类型的表和其他MySQL的表类型混合起来，甚至在同一个查询中也可以混合InnoDB是为处理巨大数据量的最大性能设计。
3、mvcc（multi-Version Concurrency Control），多版本并发控制，指维护一个数据的多个版本，使得读写操作没有冲突，快照读为MySQL实现MVCC提供了一个非阻塞读功能，MVCC的具体实现，还需要依赖于数据库记录中的三个隐式字段，undo log日志、readView 。
4、InnoDB是事务型数据库的首选引擎，支持事务安全表（ACID），其它存储引擎都是非事务安全表，支持行锁定和外键，MySQL5以后默认使用InnoDB存储引擎。InnoDB特点：支持事务处理，支持外键，支持崩溃修复能力和并发控制。
关于数据库1、数据库是一组信息的集合，以便可以方便地访问、管理和更新，常用数据库有：关系型数据库；分布式数据库；云数据库；NoSQL数据库；面向对象的数据库；图形数据库。
2、数据库（Database ）：是“按照数据结构来组织、存储和管理数据的仓库” 。是一个长期存储在计算机内的、有组织的、有共享的、统一管理的数据集合。
3、全文数据库存储原始信息全文或主要部分的一种源数据库。如期刊全文数据库、专利全文数据库、百科全书全文数据库，用户使用某一词汇或短语，便可直接检索出含有该词汇或短语的原始信息的全文。
4、数据库可以按照内容类型分类：书目、全文、数字和图像。在计算中，数据库有时根据其组织方法进行分类。有许多不同类型的数据库，从最流行的方法关系数据库到分布式数据库、云数据库或NoSQL数据库。
Mysql存储引擎之myisam1、在MySQL中，常用的存储引擎包括InnoDB、MyISAM、Memory等。以下是对这些存储引擎的描述：InnoDB：InnoDB是MySQL的默认存储引擎，支持事务处理、行级锁定、外键约束等功能。它适用于高并发、数据一致性要求高的场景。
2、MyISAM 是一个常见的 MySQL 存储引擎，它不支持事务。在 MyISAM 中，所有的操作都是原子性的，要么全部成功，要么全部失败，无法部分提交或回滚。如果你需要在数据库中实现事务控制，你可能需要使用 InnoDB 存储引擎。
3、MySQL常见的存储引擎有：InnoDB、MyISAM 。Mysql 0之后的版本，默认的存储引擎就是InnoDB 。各自主要特点有：事务：MyISAM不支持，InnoDB支持。锁级别： MyISAM 表级锁，InnoDB 行级锁及外键约束。
4、MYD是来记录存储的数据。MYI用来记录索引数据。myisam存储引擎是mysql最早的存储引擎之一，来看一下他的特性。
大数据工程师的日常工作做什么?数据采集：业务系统的埋点代码时刻会产生一些分散的原始日志，可以用Flume监控接收这些分散的日志，实现分散日志的聚合，即采集。数据清洗：一些字段可能会有异常取值，即脏数据。
大数据系统研发工程师：负责大数据系统研发工作，包括大规模非结构化数据业务模型构建、大数据存储、数据库架构设计以及数据库详细设计、优化数据库构架、解决数据库中心建设设计问题。
大数据工程师主要是，分析历史、预测未来、优化选择，这是大数据工程师在“玩数据”时最重要的三大任务：找出过去事件的特征：大数据工程师一个很重要的工作，就是通过分析数据来找出过去事件的特征。
数据挖掘、数据分析和机器学习方向：涉及的岗位诸如大数据分析师、大数据高级工程师、大数据分析师专家、大数据挖掘师、大数据算法师等。需要的能力：提升程序设计能力。
大数据项目经理工作内容：项目需求、进度、质量、成本管理。
大数据工程技术人员的工作内容大数据工程技术人员是指从事大数据采集、清洗、分析、治理、挖掘等技术研究，并加以利用、管理、维护和服务的工程技术人员。
数据仓库数据建模的几种思路数据库和逻辑模型有概念模型、层次模型、网状模型和关系模型四种。逻辑模型，是指数据的逻辑结构。逻辑建模是数据仓库实施中的重要一环，因为它能直接反映出业务部门的需求，同时对系统的物理实施有着重要的指导作用。
数据仓库接典型的两种数据仓库建模的理论是维度建模和基于主题域的实体关系建模，这两种方式分别以Kimball和Immon两位大师为代表。
数据仓库模型设计时，常用的三种范式：0范式，即没有范式，只有一列，所有数据信息放到一起，没有字段划分。优点：一列通吃所有数据。缺点：排序、查找不方便。1范式，列拆分，原子性。
第三类是Kimball提倡的数据仓库的维度建模，我们一般也称之为星型结构建模，有时也加入一些雪花模型在里面。维度建模是一种面向用户需求的、容易理解的、访问效率高的建模方法，也是笔者比较喜欢的一种建模方式。
ER建模：即实体关系建模，由数据仓库之父BIll Inmon提出，核心思想是从全企业的高度去设计三范式模型，用实体关系描述企业服务。主张的是自上而下的架构，将不同的OLTP数据集中到面向主题的数据仓库中。
数据仓库分层架构深度讲解1、数据仓库的五层架构：ODS数据准备层；DWD数据明细层；DW（B/S）数据汇总层；DM数据集市层；ST数据应用层。数据仓库，英文名称为DataWarehouse，可简写为DW或DWH 。
2、数据分层每个企业根据自己的业务需求可以分成不同的层次，但是最基础的分层思想，理论上数据分为三个层，数据运营层、数据仓库层和数据服务层。
3、数据仓库层：DW（Data Warehouse）数据仓库层是我们在做数据仓库时要核心设计的一层，在这里，从 ODS 层中获得的数据按照主题建立各种数据模型。
4、教育大数据六层架构是：数据源层：包括传统的数据库，数据仓库，分布式数据库， NOSQL数据库，半结构化数据，无结构化数据，爬虫，日志系统等，是大数据平台的数据产生机构。
【mysql数据库建库的完整步骤 mysql数据仓库的建立】5、简单来讲，我们可以理解为：ODS层存放的是接入的原始数据，DW层是存放我们要重点设计的数据仓库中间层数据，APP是面向业务定制的应用数据。下面详细介绍这三层的设计。