Backup 35

GA4/GTM/BigQuery 테스트

GA4 Redirecting... analytics.google.com GTM Google 애널리틱스 로그인 Google 애널리틱스로 이동 accounts.google.com BigQuery BigQuery 엔터프라이즈 데이터 웨어하우스 | Google Cloud BigQuery는 비용 효율성을 갖춘 서버리스 멀티 클라우드 데이터 웨어하우스로, 빅데이터에서 가치 있고 유용한 비즈니스 정보를 얻을 수 있도록 설계되었습니다. 무료로 시작해 보세요. cloud.google.com 스크롤 테스트 스크롤 테스트

Backup 2023.06.23

PostgreSQL LIKE IN / LIKE OR 여러개

SELECT * FROM 테이블 WHERE 컬럼1 SIMILAR TO '%(가|나|다)%' AND 컬럼2 SIMILAR TO '(가|나|다)%' AND 컬럼3 SIMILAR TO '%(가|나|다)' SELECT * FROM 테이블 WHERE 컬럼 NOT SIMILAR TO '%(가|나|다)%' [ PostgreSql ] Like or 여러 개 쓴 것과 같은 효과를 내는 Similar to 이번에 복잡한 쿼리를 많이 사용해서 mybatis로 개발을 했다. 쿼리를 이것저것 작성을 하다보니 like 문을 or로 묶어서 사용하게 됐는데, like 문 여러 개를 or로 묶다 보니 이걸 묶어서 한꺼번에 쉽게 pamyferret.tistory.com 9.7. Pattern Matching 9.7. Pattern Ma..

Backup 2023.01.06

CentOS 용량 줄이기/늘리기

--home 디렉토리를 백업 tar -zcvf /root/home.tar.gz -C /home . --백업이 잘 되었는지 테스트 tar -tvf /root/home.tar.gz --home 디렉토리를 언마운트 umount /dev/mapper/centos-home -> umount: /home: target is busy. (In some cases useful info about processes that use the device is found by lsof(8) or fuser(1)) --Logical Volume을 삭제 lvremove /dev/mapper/centos-home -> Logical volume centos/home contains a filesystem in use. --home..

Backup 2022.12.12

PostgreSQL 설정 변경/재시작

- 설정파일 /var/lib/pgsql/버전/data/postgresql.conf - 상태 확인 systemctl status postgresql-버전 - 재시작 systemctl restart postgresql-버전 [PSQL]PostgreSQL 설치 및 data 저장 위치 변경 - 낮코밤코 들어가기 앞서 본 문서에서는 PSQL CentOS 7 설치 및 Data directory 변경 방법에 대하여 기술한다. PSQL 설치 설치 sudo yum install postgresql94-server postgresql94-contrib sudo /usr/pgsql-9.4/bin/postgresql94-setup initdb sudo sys owin2828.github.io [postgresql] Postg..

Backup 2022.12.10

PostgreSQL SQL 덤프

$ pg_dump DB이름 > File이름.sql [PostgreSQL] PostgreSQL SQL 덤프 방식의 백업과 복원 PostgreSQL 백업 방법 PostgreSQL 은 장애시 복구를 위해 3가지 백업방법이 있습니다. 3가지 방법은 SQL 덤프 / 파일 시스템 기반 백업 / 아카이브 모드 백업입니다. 이 중 SQL 덤프에 대해 다뤄보겠습니다 mozi.tistory.com 26.1. SQL Dump 26.1. SQL Dump 26.1.1. Restoring the Dump 26.1.2. Using pg_dumpall 26.1.3. Handling Large Databases The idea behind this dump method is … www.postgresql.org

Backup 2022.09.30

PostgreSQL Oracle FDW

CREATE EXTENSION oracle_fdw; CREATE SERVER 서버이름 FOREIGN DATA WRAPPER oracle_fdw OPTIONS(DBSERVER '//IP.IP.IP.IP:PORT/DBNAME'); 또는 CREATE SERVER 서버이름 FOREIGN DATA WRAPPER oracle_fdw OPTIONS(HOST 'ip.ip.ip.ip', PORT 'port', DBNAME 'dbname'); CREATE USER 아이디 PASSWORD '패스워드' LOGIN; GRANT USAGE ON FOREIGN SERVER 서버이름 TO 아이디; CREATE USER MAPPING FOR 아이디 SERVER 서버이름 OPTIONS(USER 'TargetID', PASSWORD 'T..

Backup 2022.09.30

PostgreSQL PostGIS ST_ConcaveHull

SELECT ST_ConcaveHull(ST_Collect(공간데이터), 값) FROM 테이블명 공간데이터에 따라 값(0.5~0.8) 이하 결과가 동일하게 나올 수 있음 (값이 작을 수록 시간이 오래걸림) ※ST_ConcaveHull(ST_Collect(공간데이터), 1) = ST_ConvexHull(ST_Collect(공간데이터)) - 일부의 경우, 최소 결과 리턴(값 확인 필요) SELECT geom, geom9998, geom985, ST_Intersection(geom9998, geom985) AS geom_min FROM ( SELECT ST_Collect(공간데이터) AS geom ,ST_Intersection(ST_ConcaveHull(ST_Collect(공간데이터), 0.99), ST_Co..

Backup 2022.09.20

Hadoop 3.x Erasure Coding

data locality(데이터 지역성) [Hadoop] 3.x 버전의 Erasure Coding 설명 공부한 내용이라 틀린 점이 있을 수 있습니다. 틀린 점을 지적해주시면 감사하겠습니다. 이레이저 코딩은 이레이저 코드(Erasure Code)를 이용하여 데이터를 인코딩하고, 데이터 손실시 디 eyeballs.tistory.com Erasure Coding 기술 설명 및 원리 RAID와 이레이저 코딩의 차이 RAID 5와 RAID 6는 “m”이 RAID5에서 1이고, RAID 6에... blog.naver.com [hadoop] data locality(데이터 지역성) 하둡이나 스파크에 data locality 라는 단어가 종종 나오는데.. 의미는.. 데이터 지역성은 계산하기 위해 데이터를 이동하는 것이..

Backup 2022.09.14

국가법령정보 공동활용 크롤링

예시 : 외국인투자 촉진법(law.go.kr/법령/외국인투자 촉진법) Python Code from urllib.parse import quote from urllib import parse import pandas as pd import xml.etree.ElementTree as ET from urllib.request import urlopen from tqdm import trange # xml url 불러오기 url = "http://www.law.go.kr/DRF/lawSearch.do?OC=여기에아이디입력&target=law&type=XML&query=" + parse.quote('외국인투자 촉진법') print(url) # urlopen을 활용하여 url 불러오기 response = url..

Backup 2022.09.14