stone_tomcate的博客

原创 阿里 Arthas 分析jvm

Arthas 是 阿里巴巴最近开源出来的一个针对 java 的工具，主要是针对 java 的问题进行诊断！https://alibaba.github.io/arthas/一、概述 这个工具可以协助你做下面这些事情：这个类是从哪个 jar 包加载而来的？ 为什么会报各种类相关的 Exception？ 线上遇到问题无法debug 好蛋疼，难道只能反复通过增加 System...

原创 携程 apollo api

Apollo管理员在http：// {portal_address} /open/manage.html创建第三方应用，创建之前最好先查询此AppId是否已经创建。创建成功之后会生成一个令牌，如下图所示：2.2给已注册的第三方应用授权第三方应用不应该能操作任何Namespace的配置，所以需要给token绑定可以操作的Namespace.Apollo管理员在http：// {porta...

原创 大众点评CAT简介

CAT简介CAT（Central Application Tracking），是基于纯Java开发的分布式实时监控系统。开源代码托管在GitHub（搜索CAT即可），作者是吴其敏）和尤勇。产品相关分享在网上可以找到：看大众点评如何通过实时监控系统CAT打造7*24服务-尤勇分布式监控系统的设计与实现-尤勇大众点评网监控系统架构剖析-尤勇大众点评网监控平台剖析-吴其敏CA...

原创 ORA-12704: character set mismatch

一般是由于 两张表的字段数据格式不匹配to_charto_num注意：String ：(''默认的是VARCHAR2，与NVARCHAR2不匹配)表1有字段：LEGAL_PERSON NVARCHAR2(32)表2无此字段 union时用''代替解决办法：使用cast()将字符集转换为相同cast(dd as NVARCHAR2(32)) dd...

原创 kubernetes 集群架构

pod 的设计pod pause 容器之间的通信 可通过ip + 端口号replication 复制控制器docker + kubelet + kube-proxy 组成NODE

原创 常见的容器编排工具

docker compose 单机 dockerswam kubernetes 集群管理1 自动化容器的部署与复制2 随时扩展缩容3 容器的分组 与负债均衡4 实时监控

原创 复制相同表结构 create table as 和create table like 的区别

-- 没有开启gtid的情况下,不拷贝数据，只创建一模一样的表结构，包括索引约束等，结合insert语句可以实现复制一个表的结构和数据的目的create table tbl_test_bak like tbl_test; insert into tbl_test_bak select * from tbl_test;-- 以下方式也可以创建表结构,包含数据，但是没有索引约束等，所以不推荐再使用了。而且，在开启gtid情况下，会报语法错误create table tbl_test_b...

原创 复用的功能抽离成微服务

原创 oracle中如果值为空null则取默认值0

oracle中如果值为空null则取默认值0，nvl函数L_CURRENT_AMOUNT - nvl(SALE_AMOUNT,0)

原创 MySQL清空数据库的操作

MySQL清空数据库的操作：truncate table tablename;

原创 对象查找 分治

10000对象的查找复杂度为 O(4)

原创 kettle 之 过滤记录

选择要过滤的字段 指定true false 步骤输出即可

原创 kettle 之数据库连接

kettle 之数据库连接(点击测试验证是否连接成功)oraclemysql

原创 kettle 表迁移

1 表输入 连接数据库 ,查询出想要迁移的数据库字段2 表输出 连接目标数据库 指定表名 ,(可指定字段或者默认字段)

原创 kettle安装

Kettle是一款由纯Java语言开发的免费开源的ETL工具,ETL即是Extract-Transform-Load的缩写,用来描述将数据从来源端通过萃取(Extract)、转换(Transform)、加载(Load)到目标端的过程,通常用于数据清洗、数据迁移等.下载地址:https://sourceforge.net/projects/pentaho/files/GitHub地址：https://github.com/pentaho/pentaho-kettleJava doc地址：.

原创 在Vue项目中封装一个Icon组件

1. 图标组件组件位置： @/components/Icon实现步骤：1.首先我们去Iconfont中找到自己需要的图标，并添加到到自己的项目中2.在项目中，选择Symbol，然后生成代码，注意代码是一个JS文件3.在Vue项目中封装一个Icon组件export default function createIconfont(options) { let scri...

原创 如何做到四个9的可用性

原创 oracle 创建自增字段

表名 bond表字段inner_code创建序列create sequence seq_bond_inner_codeminvalue 1maxvalue 999999999999999999start with 1increment by 1nocache;验证 SELECT seq_bond_inner_code.nextval from DUAL;创建触发器CREATE OR REPLACE TRIGGER trg_bond_inner...

原创 -bash: telnet: command not found的解决方法 及退出命令

-bash: telnet: command not found的解决方法Linux centos 运行telnet命令，出现下面的错误提示：[root@localhost ~]# telnet 127.0.0.1-bash: telnet: command not found解决方法: 安装telnet服务centos、ubuntu安装telnet命令的方法. yum list telnet* 列出telnet相关的安装包 yum inst

原创 欧式距离与曼哈顿距离的异同

a-----b

原创 内存卡 无法格式化 修复命令

“开始菜单”－－“运行”－ chkdsk H:/F (H:就是你的SD卡盘符，/F 是修复参数。)

原创 ORACLE创建存储过程简单示例

CREATE OR REPLACEprocedure MyPro(p1 in varchar2,p_cur out sys_refcursor) asBeginopen p_cur for SELECT* from table where coulum = p1 ;end;

原创 kettle 使用过程中的优化点

一、Kettle调优1、调整JVM大小进行性能优化，修改Kettle定时任务中的Kitchen或Pan或Spoon脚本。 参数参考： -Xmx1024m：设置JVM最大可用内存为1024M。 -Xms512m：设置JVM促使内存为512m。此值可以设置与-Xmx相同，以避免每次垃圾回收完成后JVM重新分配内存。 样例：OPT=-Xmx1024m-Xms512m 2、调整提交（Commit）记录数大小进行优化...

原创 数据质量保障的四种原则

1完整性 是指数据的记录和信息是否完整，是否存在缺失的情况。数据的缺失主要包括记录的缺失和记录中某个字段信息的缺失，两者都造成统计结果不准确，所以说完整性是数据质量最基础的保障。比如易中每天支付订单数都在 100 万笔左右，如果某天支付订单数突然下降万笔，那么很可能就是记录缺失了。对于记录中某个 段信息的缺失，比如订单的商品 ID 、卖家 ID 都是必然存在的，这些 段的数肯定是 旦大于 就必然违背了完整性约束。2. 准确性准确性是指数据中记录的信息和数据是...

原创 datax安装下载地址

http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz1.资源准备 JDK1.8 Python2.7 DataX（点击下载）2.环境变量配置(以自己安装目录为准) %DATAX_HOME%\bin D:\Program Files\Python27\ D:\Program Files\Java\jdk1.8.0_131\bin3.在cmd窗口中输入CHCP 65001...

原创 ORACLE 对日期时间的加减

一天select sysdate, sysdate -1 from dual ;小时select sysdate, sysdate -numtodsinterval(1,'hour') from dual ;分钟select sysdate, sysdate -numtodsinterval(1,'munute') from dual ;秒select sysdate, sysdate -numtodsinterval(1,'second') from dual ;...

原创 sqlserver data 如何转字符类型

select * from table where CONVERT(varchar(100), TradingDay, 112) = 20201119格式类型编码如下表：不带世纪数位 (yy) 带世纪数位 (yyyy) 标准 输入/输出** - 0 或 100 (*) 默认值 mon dd yyyy hh:miAM（或 PM） 1 101 美国 mm/dd/yyyy 2 102 ...

原创 Kettle安装解决 缺少libwebkitgtk-1.0-0库问题

sudo wget ftp://ftp.pbone.net/mirror/ftp5.gwdg.de/pub/opensuse/repositories/home:/matthewdva:/build:/EPEL:/el7/RHEL_7/x86_64/webkitgtk-2.4.9-1.el7.x86_64.rpmsudo yum install webkitgtk-2.4.9-1.el7.x86_64.rpm

原创 linux chown chmod 文件用户授权

# 将目录/opt 及其下面的所有文件、子目录的文件主改成 liuhaichown -R liuhai:liuhai /opt #给目录opt设置权限chmod 760 /optchown 命令语法chown(选项)(参数)选项-c或——changes：效果类似“-v”参数，但仅回报更改的部分；-f或--quite或——silent：不显示错误信息；-h或--no-dereference：只对符号连接的文件作修改，而不更改其他任何相关文件；-R或——recu.

原创 yum 安装JDK及卸载

1、检查是否已安装JDK及卸载以下命令二选一，中括号选一即可yum list installed | grep [java][jdk]rpm -qa | grep [java][jdk][gcj]1执行命令出现如上图所示，需要卸载，反之即不用卸载JAVA环境yum -y remove java-1.6.0-openjdk* //表时卸载所有openjdk相关文件输入yum -y remove tzdata-java.noarch //卸载tzdata-java12、安装

原创 linux解压tar.gz

tar-zxvffile.tar.gzunzipfile.zip

原创 连接aws

默认用户 一般为 ec2-user步骤1、或者私钥后的操作步骤2、AWS连接信息获取3、打开ssh软件，选择私钥文件，我用的是SecureCRT 8.14、选择私钥证书5、连接成功

原创 KETTLE 设置变量时 严格区分大小写

KETTLE 设置变量时 严格区分大小写

原创 kettle 文件上传 按照日期选择上传文件

在数据仓库项目中 有一类和生产或者外围系统交互的接口称为FTP文件接口， 用kettle开发、实现这种接口 配置脚本时，经常需要用时间变量来取或者上传FTP里面 固定格式文件名的文本，例如 生产系统定时 每天推送前天的数据文本 到某个FTP服务器推送文件名 2020-04-25.txt.gz实现：kettle 版本7.1，如下图所示：所需要三个功能组件 1 获取系统信息 2 java script value 3 set 变量下面看第一个组件，可以自动获取系统的时间 例如当前..

原创 Kettle文件下载

Kettle 从不同服务器中下载excel文件新建作业，拉去SFTP下载组件：2、配置信息远程目录是下载数据的源目录通配符用于筛选需要下载的文件.*\.xls$这个通配符就是后缀名为xls的文件全部下载运行作业成功后可以在目标目录看到下载的文件。...

原创 拆分字段 --kettle

1. 拆分字段假设存在如下一列数据。现在希望将这个字段中的日期部分和时间部分分别拆分成两个字段。那么这个时候就可以使用【拆分字段】转换。具体【拆分字段】的设置如下：其执行结果如下(注意，拆分完之后原始的字段就不存在了)：2. 列拆分为多行假设有以下两列数据，先需要将special_features字段中的内容拆分出来，这里选择【列拆分为多行】来操作。直接来看【列拆分为多行】的配置，具体如下：其转换执行结果如下：...

原创 排序合并 -kettle

1. 排序合并【排序合并】可以将两组数据按照指定字段排序并合并。假设我们有图1和图2中的两组数据：图1图2这时就可以使用【排序合并】操作，而【排序合并】配置如下：其运行结果如：图3使用【排序合并】需要注意一点，合并前的数据（图1和图2）必须已经是按id排序好的数据，且排序方式必须和【排序合并】中指定的id排序方式相同，否则【排序合并】没有效果。2. 记录集关联(笛卡尔输出)【记录关联(笛卡尔输出)】实现的效果与集合中的笛卡尔积类似。假设有...

原创 kettle  发送post 请求

kettle 发送post 请求

原创 ORACLE 多行字段拼接及连接符的更换

show coding : WM_CONCAT(name) (REPLACE(WM_CONCAT(name),',','、')

原创 2020-10-29

java.sql.SQLException: ORA-00942: 表或视图不存在我是把以前oracle服务器上面的数据线导出，然后再导入到本地的oracle上面，结果老是报java.sql.SQLException: ORA-00942: 表或视图不存在错误，搞了半天，原因如下：数据库 表名严格区分大小写 ,禁止驼峰命名...