Tag - DB

SqlServer 统计 DB    2017-07-19 22:10:19    4
一、正常的时间格式

SELECT StartTime,CONVERT(datetime,case when datepart(mi,StartTime)<30 then CONVERT(varchar(100), StartTime, 23)+ ' ' +datename(hh,StartTime)+':00:00' else CONVERT(varchar(100), StartTime, 23)+ ' ' +datename(hh,StartTime)+':30:00' end) as HourPart 
   FROM
   WGS_MainCDR_201401
   TEMP
   GROUP BY StartTime,CONVERT(datetime,case when datepart(mi,StartTime)<30 then CONVERT(varchar(100), StartTime, 23)+ ' ' +datename(hh,StartTime)+':00:00' else CONVERT(varchar(100), StartTime, 23)+ ' ' +datename(hh,StartTime)+':30:00' end)
   
    结果如下:
   StartTime                           HourPart
2014-01-16 01:59:25.203 2014-01-16 01:30:00.000
2014-01-16 01:59:30.627 2014-01-16 01:30:00.000
2014-01-16 01:59:35.297 2014-01-16 01:30:00.000
2014-01-16 01:59:46.063 2014-01-16 01:30:00.000
2014-01-16 02:00:15.327 2014-01-16 02:00:00.000
2014-01-16 02:00:19.157 2014-01-16 02:00:00.000
2014-01-16 02:27:46.327 2014-01-16 02:00:00.000
2014-01-16 02:28:46.327 2014-01-16 02:00:00.000
2014-01-16 02:39:31.000 2014-01-16
DB MySQL 优化 索引    2017-03-26 22:10:18    20

分区表

建议:
1. 如果要进行分区的表有主键或者唯一键,那么分区键必须包含这个主键或唯一键,否则无法创建分区表
2.

索引

  1. 最适合索引的列是出现在where子句中的列,或者连接子句中指定的列
  2. 使用唯一索引:索引的列的基数越大,索引的效果就越好。如只包含M和F,则索引效果不大
  3. 使用短索引:如果对字符串列进行索引,应该制定一个前缀长度(如果前缀长度范围内,多数值是唯一的)
  4. 不要过度索引:索引都需要占用磁盘空间,会降低写性能,会降低修改的性能(修改表内容时,索引必须进行更新,有时可能需要重构)
  5. 5.

配置文件

  1. 慢查询日志
  2. 使用缓存查询,当表更改(结构和数据)后,查询缓存值的相关条目会被清空
  1. have_query_cache 是否已配置高速缓存(默认为true
  2. query_cache_size 缓存区大小,单位MB,如:16M
  3. query_cache_type 变量值从0~2
  4. 0或者off(缓存关闭)
  5. 1on(缓存打开,使用SQL_NO_CACHE提示的SELECT除外)
  6. 2或者demand(只有带SQL_CACHEselect语句提供高速缓存)
  7. query_cache_limit 单个查询能够使用的缓存大小,默认1M

InnoDB内存优化

  1. innodb_buffer_pool_size

    InnoDB 存储引擎表数据和索引数据的最大缓存区大小(同时为数据块和索引块提供数据缓存),此值越大,缓存命中率就越高,访问InnoDB表需要的磁盘IO就越少,性能就越高。在一个专用的数据库服务器上,可以将80%的物理内存分配给innodb_buffer_pool_size,但是不要太大,以免造成页交换

  2. innodb_buffer_pool_instances

    默认值是1,表示InnoDB缓存池被划分到一个区域。适当地增加该参数(例如将该参数值设置为2),此时InnoDB被划分成为两个区域,可以提升InnoDB的并发性能。如果InnoDB缓存池被划分成多个区域,建议每个区域不小

CentOS6.5 mysql HA DB    2017-03-26 21:51:42    25

简介:

MySQL Cluster 是一种技术,该技术允许在无共享的系统中部署“内存中”数据库的 Cluster 。通过无共享体系结构,系统能够使用廉价的硬件,而且对软硬件无特殊要求。此外,由于每个组件有自己的内存和磁盘,不存在单点故障。

MySQL Cluster 由一组计算机构成,每台计算机上均运行着多种进程,包括MySQL服务器,NDB Cluster 的数据节点,管理服务器,以及(可能)专门的数据访问程序。关于 Cluster 中这些组件的关系。

下文中没有特别指出的地方,都是两台服务器都需要执行的命令,并且由于是双管理中心配置,其实两台机器出了一些标识id和ip的配置不同外,其他参数配置都是基本一样的

下载mysql-cluster 7.3.7

http://dev.mysql.com/downloads/cluster/

环境清理及安装

1. 清理CentOS6.5自带的mysql服务

其中第一个命令我不执行也可以,其他系统如果不可以,还是建议执行

  1. yum -y remove mysql
  2. rpm -qa | grep mysql*
  3. rpm -e --nodeps mysql-libs-5.1.71-1.el6.x86_64

2. 环境准备

创建文件夹(分如下3个类来创建对应的文件夹)

存储节点:

  1. mkdir /var/lib/mysql/data

管理节点:

  1. mkdir /var/lib/mysql-cluster # SQL节点:可不用 文件夹授权

进程DIR:

  1. mkdir /var/run/mysqld

使用如下的命令来变更权限保证可写入:

  1. chmod -R 1777 /var/lib/mysql
  2. chmod -R 1777 /var/run/mysqld
  3. chmod -R 1777 /var/lib/mysql-cluster

3. 安装mysql-cluster

首先解压MySQL-Cluster-gpl-7.4.2-1.el6.x86_64.rpm-bundle.tar

  1. tar xvf MySQL-C
数据库 DB 版本管理    2017-03-26 11:28:27    14

概述

软件开发过程中,往往会遇到版本管理问题,也常常会遇到服务多版本管理问题,也常常会遇到不同版本的服务之间,数据库字段不同、建表语句不同的问题,那么如何在不同版本间进行平滑升级,那么就需要有一系列的规范(暂不涉及回退方案):

升级步骤

自动化管理,由程序在启动前操作:

  1. 检查数据库中的当前版本,检查程序版本(version.properties中)
  2. 检查与当前版本相关联的升级脚本(这一步骤依赖于与数据库版本相对应的文件命名规范)
  3. 如果找到了文件,则执行文件内容并验证输出,如果出现错误则退出,抛出异常
  4. 如果没有发现脚本,则直接退出,抛出异常
  5. 重复步骤1

注意事项

  1. 版本控制:数据库中存在db_schema_version表,用来管理当前所有应用实例的版本信息,每个项目中,都应包含一个version的描述文件(version.properties),有版本变动,即修改其版本信息,db_schema_version表结构见第6条
  2. 版本号控制:<主版本号>.<子版本号>.<修订号>
    第一部分在系统的重要发布或重大阶段会进行改变,比如每几个月一次。下面两部分是由开发者控制的。子版本改变意味着数据库中加入了破坏性的改动(例如新的必需字段),这使得“旧的”应用程序与新的数据库架构不再兼容。修订号则是每次非破坏性的变动发生时(例如新的索引、新表、新的可选字段等等)进行递增的。每次上级版本号更新,下级版本号默认清零
  3. 更新脚本:
    由开发者进行编写的数据库更新脚本,此脚本中包含多个更新数据库的语句,使用英文分号分隔(标准的数据库语句写法),不必特意使用事务脚本,java程序会将每一个更新脚本文件当做一个事务来处理。
    添加注释需要使用“ /注释/ ”方式来写
  4. 更新脚本文件命名规范:
    为文件名称使用以下格式
    <前缀><数据库版本表中的当前版本号><目标版本号>_<有关升级的其它信息>.sql,
    例如:report_1.0.1_1.0.2_rename_column.sql
    目前,前缀我们默认使用产品名称来描述,用来和每个项目中配置文件中的product_name对应
    5、记录应用升级脚本的历史,db_version_h