11月18

Linux系统时间同步

15:27运维管理  From: 本站原创
在Windwos中,系统时间的设置很简单,界面操作,通俗易懂,而且设置后,重启,关机都没关系。系统时间会自动保存在BIOS时钟里面,启动计算机的时候,系统会自动在BIOS里面取硬件时间,以保证时间的不间断。但在Linux下,默认情况下,系统时间和硬件时间并不会自动同步。在Linux运行过程中,系统时间和硬件时间以异步的方式运行,互不干扰。硬件时间的运行,是靠BIOS电池来维持,而系统时间,是用CPU Tick来维持的。在系统开机的时候,会自动从BIOS中取得硬件时间,设置为系统时间。

1. Linux系统时间的设置

在Linux中设置系统时间,可以用date命令:


//查看时间
[root@node1 ~]# date
Tue Feb 25 20:15:18 CST 2014
//修改时间
[root@node1 ~]# date -s "20140225 20:16:00"  #yyyymmdd hh:mm:ss
Tue Feb 25 20:16:00 CST 2014
//date 有多种时间格式可接受,查看date --help

2. Linux硬件时间的设置

硬件时间的设置,可以用hwclock或者clock命令。两者基本相同,只用一个就行,只不过clock命令除了支持x86硬件体系外,还支持Alpha硬件体系。


//查看硬件时间可以是用hwclock ,hwclock --show 或者 hwclock -r
[root@node1 ~]# hwclock --show
Tue 25 Feb 2014 08:21:14 PM CST -0.327068 seconds
//设置硬件时间
[root@node1 ~]# hwclock --set --date "20140225 20:23:00"
[root@node1 ~]# hwclock
Tue 25 Feb 2014 08:23:04 PM CST -0.750440 seconds


3. 系统时间和硬件时间的同步

同步系统时间和硬件时间,可以使用hwclock命令。


//以系统时间为基准,修改硬件时间
[root@node1 ~]# hwclock --systohc <== sys(系统时间)to(写到)hc(Hard Clock)
//或者
[root@node1 ~]# hwclock -w
//以硬件时间为基准,修改系统时间
[root@node1 ~]# hwclock --hctosys
//或者
[root@node1 ~]# hwclock -s

4. 不同机器之间的时间同步

为了避免主机时间因为长期运行下所导致的时间偏差,进行时间同步(synchronize)的工作是非常必要的。Linux系统下,一般使用ntp服务器来同步不同机器的时间。一台机器,可以同时是ntp服务端和ntp客户端。在生产系统中,推荐使用像DNS服务器一样分层的时间服务器来同步时间。

不同机器间同步时间,可以使用ntpdate命令,也可以使用ntpd服务。
11月18

k8s常用操作

14:26运维管理  From: 本站原创
架构
点击在新窗口中浏览此图片
组件基本交流流程
点击在新窗口中浏览此图片
核心对象
点击在新窗口中浏览此图片
k8s常见操作

创建配置
$ vim examplepod.yml
在文件中填入如下内容并保存。


apiVersion: v1
kind: Pod
metadata:
  name: examplepod
spec:
  containers:
  - name: examplepod-container
    image: busybox
    imagePullPolicy: IfNotPresent
    command: ['sh', '-c']
    args: ['echo "Hello Kubernetes!"; sleep 3600']
执行一个service

$ kubectl apply -f examplepod.yml
获取执行中的pod

$ kubectl get pod
获取单个pod

$ kubectl get pod {Pod名称}
持续监控
$ kubectl get pod {Pod名称} -w
详细参数
$ kubectl get pod {Pod名称} -o wide
输出详细参数
$ kubectl get pod examplepod --output yaml
$ kubectl get pod examplepod --output json
查看详细信息
$ kubectl describe pods {Pod名称}
查看日志
$ kubectl logs {Pod名称}
修改pod
$ kubectl replace -f {pod模板路径}
强制修改

kubectl replace -f example.yaml  --force
删除pod

$ kubectl delete pod {Pod名称}
模板删除

$ kubectl delete -f {模板文件名称}

11月18
gitlab安装
docker启动gitlab 并配置端口号 因为要映射到外网 因此docker的第一个端口号要与外网端口号一致 防止新建的库端口号与访问地址不一致

docker run -d \
    -p 80:30039 \
    -p 443:443 \
    -p 1022:22 \
    --name gitlab \
    --restart unless-stopped \
    -v gitlab-config:/etc/gitlab \
    -v gitlab-logs:/var/log/gitlab \
    -v gitlab-data:/var/opt/gitlab \
    twang2218/gitlab-ce-zh

修改配置文件/etc/gitlab/
配置 external_url 为新建库地址 smtp配置为邮件服务

external_url 'http://www.heckjj.com'
gitlab_rails['smtp_enable'] = true
gitlab_rails['smtp_address'] = "smtp.qq.com"
gitlab_rails['smtp_port'] = 25
gitlab_rails['smtp_user_name'] = "i@heckjj.com"
gitlab_rails['smtp_password'] = "OFJGZWLKJQVXWLHK"
gitlab_rails['smtp_domain'] = "qq.com"
gitlab_rails['smtp_authentication'] = "login"
gitlab_rails['smtp_enable_starttls_auto'] = true
gitlab_rails['smtp_tls'] = false
gitlab_rails['gitlab_email_from'] = "i@heckjj.com"        #配置gitlab的配置的发信人

访问 http://www.heckjj.com/ 设置密码
登录账号:root
密码:设置的密码

git常见操作

命令行操作:
Git 全局设置

git config --global user.name "heck"
git config --global user.email "i@heckjj.com"
创建新版本库

git clone http://www.heckjj.com/heck/heck.git
cd heck
touch README.md
git add README.md
git commit -m "add README"
git push -u origin master
已存在的文件夹

cd existing_folder
git init
git remote add origin http://www.heckjj.com/heck/heck.git
git add .
git commit -m "Initial commit"
git push -u origin master
已存在的 Git 版本库

cd existing_repo
git remote rename origin old-origin
git remote add origin http://www.heckjj.com/heck/heck.git
git push -u origin --all
git push -u origin --tags
11月18
最近在做了个数据大屏项目,客户需要在电脑开机时就打开大屏数据网站,于是就有了下面的想法。
首先使用记事本输入以下代码:

Set objShell = CreateObject("Wscript.Shell")
objShell.Run "microsoft-edge:http://www.heckjj.com"
wscript.sleep 5000
objShell.SendKeys "{F11}"

然后另存为fullscreen.vbs文件

快捷键win+r 输入
shell:startup
命令

将脚本或脚本快捷方式放入该文件夹中,该文件用于存放开机启动的程序,或者直接在注册表里添加。
11月18
问题描述
最近,公司的开发服务器总是偶尔有一些java服务莫名其妙的停掉。通过排查发现是内存不足,奇怪的是,内存只是用了一半,但是可用的却只有不到1G(峰值时估计更少)。下面是具体的内存使用信息:
点击在新窗口中浏览此图片
可以看到,可用的内存只有888M,内存共有62G,罪魁祸首就是这个buff/cache占用了27G。

产生原因
Linux操作系统频繁存取文件会导致内存被用光,即便是程序结束后也不会被正常释放,这就会导致buffers和cached占用过高。
首先,简单了解一下buff/cache的介绍:

total:是指计算机总物理内存;
used:已用的内存;
free:空余的内存;
total = used + free总内存;
shared:被多个进程共享的内存;
buffers:用于存放要输出到disk(块存储)的数据,在这里buff是指被OS buffer住的内存;
cached:存放从disk上读出的数据;buffer和cache是为了提高IO性能并由OS管理。

解决方法
Linux具有先进的缓存机制,会针对dentry、Buffer Cache(针对磁盘块的读写)和Page Cache(针对文件inode的读写)进行缓存操作用来提高读写效率。但是在进行了大量文件操作之后,缓存会把内存资源基本用光,虽然文件读取效率提高了,但是物理内存会逐渐被吃光。
因为服务进行了频繁的文件读写操作,但是为什么操作系统不会主动回收呢,原来是因为drop_caches的默认参数设置的就是不释放的。
drop_caches的值可以是0-3之间的数字,代表不同的含义:

0:不释放(系统默认值)
1:释放页缓存
2:释放dentries和inodes
3:释放所有缓存

我们可以用下面的命令来释放缓存:

# sync  
# echo 1 > /proc/sys/vm/drop_caches
# echo 2 > /proc/sys/vm/drop_caches
# echo 3 > /proc/sys/vm/drop_caches
# sync

执行完命令后,free -h 查看内存,发现可用内存已经达到27G,buff/cache也被释放。
点击在新窗口中浏览此图片
这样只是暂时解决问题,我们可以写一个脚本配合定时任务来定时检查清除缓存:

#!/bin/bash
Mem=$(free -m | awk 'NR==2' | awk '{print $4}')
if [ $Mem -gt 1024 ];
     then
echo "Service memory capacity is normal!" > /dev/null
     else
sync
echo "1" > /proc/sys/vm/drop_caches
echo "2" > /proc/sys/vm/drop_caches
echo "3" > /proc/sys/vm/drop_caches
sync
fi

最后,只需将脚本加入定时任务,即可!
11月17
前言
最近在项目中,有一个导出pdf功能,需要纯前端来实现,调研了多种pdf导出方式,最终决定使用html2canvas+jsPDF来实现需求。

本文就简单介绍一下html2canvas+jsPDF导出pdf的实现,网上大部分实现导出pdf都是以分页为主的,本文还将附上不分页导出pdf的实现方法。(只附js代码)

html2canvas+jsPDF导出pdf原理:通过html2canvas将遍历页面元素,并渲染生成canvas,然后将canvas图片格式添加到jsPDF实例,生成pdf。



安装:
npm install html2canvas --save

npm install jsPDF --save



配置:
main.js文件里面配置(引入、挂载)

import html2canvas from 'html2canvas'
import jsPDF from 'jsPDF '
Vue.prototype.html2canvas = html2canvas
Vue.prototype.jsPDF = jsPDF
或者--------------------------------------------------------------------------------

index.html页面直接引入js文件:

<script src="https://cdn.bootcss.com/html2canvas/0.5.0-beta4/html2canvas.js"></script>
<script src="https://cdn.bootcss.com/jspdf/1.3.4/jspdf.debug.js"></script>
11月3
在mysql5.7以及之后的版本运行sql语句时,出现以下问题:
[Err] 1055 - Expression #1 of ORDER BY clause is not in GROUP BY clause and contains nonaggregated column ‘information_schema.PROFILING.SEQ’ which is not functionally dependent on columns in GROUP BY clause; this is incompatible with sql_mode=only_full_group_by

出现问题的原因:
MySQL 5.7.5及以上功能依赖检测功能。如果启用了ONLY_FULL_GROUP_BY SQL模式(默认情况下),MySQL将拒绝选择列表,HAVING条件或ORDER BY列表的查询引用在GROUP BY子句中既未命名的非集合列,也不在功能上依赖于它们。(5.7.5之前,MySQL没有检测到功能依赖关系,默认情况下不启用ONLY_FULL_GROUP_BY

解决办法:
把 sql_mode中的 only_full_group_by 去掉即可
办法一:(只在当前查询页面有效,不能一次性解决问题!)

查询sql_mode: select version(), @@sql_mode;
修改为: SET sql_mode=(SELECT REPLACE(@@sql_mode,‘ONLY_FULL_GROUP_BY’,’’));
办法二: 修改 my.cnf 文件的 sql_mode (一次性解决问题)

查找 my.cnf 文件: find / -name my.cnf 或者 whereis my.cnf
获取 sql_mode字段内容: SELECT @@sql_mode;
去掉 sql_mode字段中的 only_full_group_by
编辑 my.cnf: vim /etc/my.cnf 将上一步骤的 sql_mode 字段内容添加至 my.cnf。可参考:sql_mode=STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION
保存,重启: systemctl restart mysqld.service
11月2
一、解决方法
        如果你希望使用 group by 语句的时候避免出现 filesort, 那么只需在其后追加 order by null 语句即可, 即:    
group by ... order by null

二、说明
      1、默认情况下,mysql在使用group by之后,会产生临时表,而后进行排序(此处排序默认是快排),这会消耗大量的性能。

      2、group by本质是先分组后排序【而不是先排序后分组】。

      3、group by column 默认会按照column分组, 然后根据column升序排列;  group by column order by null 则默认按照column分组,然后根据标的主键ID升序排列
11月1
   需求就是到某一个固定的时间就需要一个按钮不显示了,如果试用new Date() 这个获取的是客户端的时间不是服务器时间,客户如果改了本机的时间那这个按钮就没有控制住。找了很多前辈的代码我自己也总结一下,下次使用的时候也方便我查找,也给不知道的小伙伴分享一下。

1.获取服务器时间:

var now = new Date($.ajax({async: false}).getResponseHeader("Date"));
2.new Date()用法:

获取年:
var currentYear = now.getFullYear();
获取月:
var currentMonth = now.getMonth();
获取日:
var currentDay = now.getDate();
获取小时:
var currentHours = now.getHours();
获取分钟:
var currentMinutes = now.getMinutes();
获取秒:
var currentSeconds = now.getSeconds();
获取毫秒:
var currentMilliseconds = now.getMilliseconds();
获取当前日期:
var currentDate = now.toLocaleDateString();
获取当前时间:
var currentTime = now.toLocaleTimeString();
获取日期和时间:
var dateTime = now.toLocaleString();
获取当前星期几:
var currentWeek = now.getDay();
获取完成年份:
var currentFullYear = now.getFullYear();

10月22
一、问题
### Cause: java.sql.SQLException: Lock wait timeout exceeded; try restarting transaction;


现象:接口响应时间超长,耗时几十秒才返回错误提示,后台日志中出现Lock wait timeout exceeded; try restarting transaction的错误

二、原因分析
使用InnoDB表类型的时候,锁等待超过了innodb_lock_wait_timeout(默认是50s)设置的时间,所以报错

三、可能出现场景
1、在同一事务内先后对同一条数据进行插入和更新操作

2、多台服务器操作同一数据库

3、瞬时出现高并发现象,spring事务造成数据库死锁,后续操作超时抛出异常

4、事务A对记录C进行更新/删除操作的请求未commit时,事务B也对记录C进行更新/删除操作。此时,B会等A提交事务,释放行锁。当等待时间超过innodb_lock_wait_timeout设置值时,会产生“LOCK WAIT”事务。

四、解决方案
1、【治标方法】innodb_lock_wait_timeout 锁定等待时间改大

SELECT
  @@innodb_lock_wait_timeout;

innodb_lock_wait_timeout = 50

修改为
SET @@innodb_lock_wait_timeout = 500;

innodb_lock_wait_timeout = 500

缺点:全局更改,影响也是全局的,等待时间加长,容易使等待事务增多导致堆积问题。

2、【治标方法】事务信息查询

SELECT * FROM information_schema.innodb_trx

查到一个一直没有提交的只读事务(trx_state=”LOCK WAIT”),找到对应线程,执行:

kill 线程ID(trx_mysql_thread_id)

3、【治标方法】如果杀掉线程依然不能解决,可以查找执行线程耗时比较久的任务,kill掉

SELECT * from information_schema.`PROCESSLIST` WHERE Time > 1000 AND USER = 'xxx' ORDER BY TIME desc;

kill 线程ID

4、【根本解决方法!】找到锁表的事务,分析锁表原因,进行优化。

实例:司机APP进行运单签收,需要对et_waybill_info表某些记录进行更新操作。一直处于锁等待状态,直到超时报错。

经排查,发现:系统定时器定时执行任务,将所有未标识亮的已装车或签收的运单,按批次处理,如果运单装车了但长时间未上传GPS、温湿度等信息,会一直被定时器处理。数据量越积越大,队列长时间等待,对et_waybill_info表锁住没有释放,致使签收要操作et_waybill_info表无法拿到锁,进行数据操作。

临时解决方案:停掉定时器任务

根本解决方案:优化定时器

五、预防措施
1、开始事务(@transtion)指定超时时 间

例:@Transactional( rollbackFor = Exception.class , isolation = Isolation.REPEATABLE_READ, timeout = 30)

2、事务中存在批量修改、删除语句的时候,where条件尽量加索引

3、事务中存在批量修改、删除语句的时候,尽可能减少事务的执行时间

4、减少并发线程数

六、相关信息
1、innodb_lock_wait_timeout和lock_wait_timeout
innodb_lock_wait_timeout:InnoDB事务等待一个行级锁的时间最长时间(单位是秒),超过这个时间就会放弃。默认值是50秒

lock_wait_timeout:获取元数据锁的超时时间。这个适合用于除了系统表之外的所有表(mysql库之外)。

区别于innodb_lock_wait_timeout是针对dml操作的行级锁的等待时间 ,而lock_wait_timeout是数据结构ddl操作的锁的等待时间

2、事务相关表
INNODB_TRX  当前运行的所有事务



INNODB_LOCKS  当前出现的锁,查看正在锁的事务



INNODB_LOCK_WAITS  锁等待的对应关系,查看等待锁的事务



3、information_schema和performance_schema
information_schema:对数据库元数据的抽象分析,由此提供了SQL语句方式来查询数据库运行时状态,每次对infomation_schema的查询都产生对metadata的互斥访问,影响其他数据库的访问性能。这张数据表保存了MySQL服务器所有数据库的信息。如数据库名,数据库的表,表栏的数据类型与访问权限等。

performance_schema:内存型数据库,使用performance_schema存储引擎,通过事件机制将mysql服务的运行时状态采集并存储在performance_schema数据库。用于监控MySQL server在一个较低级别的运行过程中的资源消耗、资源等待等情况。

七、总结
1、当看到mysql报错时,可以根据报错的信息及错误号去分析报错原因,然后冷静分析,透过现象看本质,从根本上解决问题。少用治标不治本的方案,还可能会带来其他问题。

2、了解了mysql里几张事务相关表

3、初识information_schema和performance_schema
分页: 3/58 第一页 上页 1 2 3 4 5 6 7 8 9 10 下页 最后页 [ 显示模式: 摘要 | 列表 ]