Apache Guacamole
클라이트언트 필요없는 리모트 데스크탑 게이트웨이

• 전용 플러그인/클라이언트 없이 HTML5 웹브라우저만으로 원격 데스크탑 접속 가능
• Guacamole 프로토콜을 이용하며, 서버에 설치된 guacd가 RDP,VNC 등 다른 프로토콜에 연결
• 잘 정리된 API 제공
• 2FA 지원 : DUO 및 TOTP
  Reference

Microsudio
2D Game을 만들기 위한 sprite와 map을 만들기위한 저작도구

• 전용툴 제공
• Lua로 별도 로직 구성 가능
• 필요에 따라 JavaScript, Python으로 코딩 가능

SyncedStore CRDT

• React/Vue용 실시간 협동 지원 라이브러리
• Yjs CRDT 라이브러리 기반
• 멀티 사용자 및 멀티 기용 분산 협업 어플리케이션 개발지원
• 동작들은 로컬에서 처리되고 백그라운드에서 자동으로 싱크하여 빠름
• 오프라인 작업지원
• 다양한 Sync 프로바이더 : WebRTC, IndexDB(오프라인),WebSocket
• 손쉬운 API 제공
  Reference

Uutils

• GNU Coreutils를 Rust로 재작성
• 리눅스, 윈고두, 맥, BSD, 안드로이드 등 지원

youki!

• A container runtime in Rust
• OCI runtime 지원

MicroTalk SFU

• WebRTC와 MediaSoup SFU 기반 실시간 화상통화 서비스
• 플로그인없이 브라우저 기반
• 스크린 공유, 파일 공유, 채팅/화이트보드
• 무제한 대화방/사용자 지원
• 룸 URL 공유 기능
• 4K까지 웹캠 스트리밍 가능
• 에코 캔슬 및 노이즈 감소 적용
• 실시간 유튜브 영상 공유
• 스크린/영상/오디오 녹화 지원
• REST API 제공

Apach Superset

• 데이터 visualization과 데이터 탐색 플랫폼
• Apache-2.0 License
• no-code 인터페이스
• 웹기반 SQL Editor
• lightweight sematic layer와 caching layer를 제공
• 권한관리 제공
• 클라우드 아키텍쳐 및 API 제공

M3o

• Next Generation Cloud Platform
• Apache-2.0 License
• 무료/유료용 API 제공
• 개발자에게 편리한 UX 제공
• 하나의 토큰으로 API 제공

HTTP Toolkit

• 모든 HTTP/HTTPS 리퀘스트를 인터셉터 및 보기/Rewrite/Redirect/Inject Error 지원
• 다양한 환경의 HTTP 요청을 설정 필요없이 바로 캡쳐가능
• 브라우저/안드로이드 앱/백엔드(Node/Python/Java/Ruby...)/터미널 및 Electron앱 등
• 윈도우/맥/리눅스
• HTTP 정보를 MDN에서 바로 조회 가능하게 연결
• Manaco 에디터로 메세지 바디 보기 지원 (하이라이트 & 구문강조)
• 브레이크 포인트를 통해 HTTP 트래픽을 잠시 멈추거나 실시간 편집 가능
  Reference

Yaska

• secuiry coding
• BSD License, GPLv2, LGPLv2
• 보안취약점 점검
• 다양한 플러그인 지원
• JDK 1.4 이상
• 512MB이상 메모리, 1GB 권장
• 윈도우즈 2000 이상

선형회귀분석은 변수들 사이의 관계를 분석하는 데 사용하는 통계학적 방법입니다.
이 방법의 장점은 알고리즘의 개념이 복잡하지 않고 다양한 문제에 폭넓게 적용할 수 있다는 점입니다.
선형회귀분석은 독립변수(혹은 설명변수) $x_i$, 상수항 $b$와 종속변수(혹은 반영변수) $y$ 사이의 관계를 모델링하는 방법입니다.

$y = W * x + b$

한 개의 독립변수에 기반한 경우 단순 선형 회귀, 둘 이상의 독립변수에 기반한 경우 다중 선형 회귀라고 합니다.

선형회귀분석에서 데이터셋의 값을 반복하여 적용하면서 매번 더 정확한 결과를 얻기 위해 $W$와 $b$ 매개변수를 수정하면서 문제를 풀게 됩니다. 이 때 주어진 데이터를 대표하는 하나의 직선을 찾을 때 최소제곱근(least square method)를 사용하는 것이 일반적입니다.

비용함수(cost function)은 반복이 일어날 때마다 개선되고 있는지 확인하기 위해 얼마나 좋은(나쁜) 직선인지를 측정하는 함수로 오차함수(error function)이라고도 합니다.
이 함수는 $W$와 $b$를 매개변수로 받아 직선이 얼마나 데이터에 잘 맞는지를 기초로 하여 오차 값을 돌려줍니다.
일반적으로 비용함수로 평균제곱오차(mean square error)를 사용합니다.

이러한 측정값을 기반으로 하여 오차를 최소화하는 최적화 방법 중 경사하강법(Gradient Descent) 등이 있습니다. 이론적으로 말해 경사 하강법은 일련의 매개변수로 된 함수가 주어지면 초기 시작점에서 함수의 값이 최소화되는 방향으로 매개변수를 변경하는 것을 반복적으로 수행하는 알고리즘입니다.
함수의 기울기를 음의 방향 쪽으로 진행하면서 반복적으로 최적화를 수행합니다.
보통 양의 값을 만들기 위해 거리 값을 제곱하며 기울기를 계산해야 하므로 오차함수는 미분 가능해야 합니다.

경사 하강법 알고리즘은 매개변수($W$와 $b$)의 초기값에서 시작해서 이러한 방법으로 $W$와 $b$를 수정해가며 결국에는 오차함수를 최소화하는 변수값을 찾아냅니다.

예제

Linear Regression by scikit-learn
Linear Regression by TF2

활용분야

추세분석, 역학조사,자본자산 재무관리, 경제학, 환경과학 등

참고자료

• 선형회귀
• 텐서플로우 첫걸음

K-평균 알고리즘은 간단한 방법으로 주어진 데이터를 지정한 군집(cluster) 개수($K$)로 그룹화하는 방법으로 1957년 후고 스테인하우스에 의해 소개되었고 용어 자체는 1967년 제임스 매퀸에 의해 처음 사용되었다. 데이터를 한 개 이상의 데이터 오브젝트로 구성된 $K$개의 그룹으로 나누는 것으로 거리기반의 그룹간 비유사도(dissimilarity)와 같은 비용 함수을 최소화하는 방식으로 이루어집니다.

알고리즘의 결과는 중심(centroid)이라고 부르는 $K$개의 점으로서 이들은 각기 다른 그룹의 중심점을 나타내며 데이터들은 $K$개의 군집 중 하나에만 속할 수 있습니다. 한 군집 내의 모든 데이터들은 다른 어떤 중심들보다 자기 군집 중심과의 거리가 더 가깝습니다. 그래서 K-평균 알고리즘은 각 그룹의 중심과 그 그룹 내의 데이터 오브젝트와의 거리의 제곱합을 비용함수로 정하고 이 함수값을 최소화하는 방향으로 각 데이터 오브젝트의 소속 그룹을 업데이트 해 줌으로써 군집화를 합니다.

이 기법은 대체로 세 개의 단계로 나뉩니다.

• 초기단계(0단계) : $K$개 중심의 초기 집합을 결정
• 클러스터설정(1단계) : 각 데이터를 가장 가까운 군집에 할당
• 클러스터 중심 재조정(2단계) : 각 그룹에 대해 새로운 중심을 계산

$K$개 중심의 초기 값을 정하는 방법에는 몇 가지가 있습니다. 그 중 하나는 데이터 중 $K$개를 임의로 선택하여 중심으로 삼는 것입니다.

할당 단계와 수정 단계는 알고리즘이 수렴되었다고 간주될 때까지 루프를 통해 반복합니다. 예를 들어 군집 내 데이터의 변화가 없을 때 알고리즘이 수렴되었다고 간주합니다.

K-평균 알고리즘의 계산 복잡도에 크게 영향을 미치는 요소 두가지는 유클리드 공간와 클러스터의 수이다. 클러스터의 수가 작더라도 일반적인 유클리드 공간에서 최적 해를 찾는 것은 NP-난해^[1]이고 반대로 낮은 차원의 유클리드 공간일지라도 $k$개의 클러스터에 대해 최적해를 찾는 것 또한 NP-난해이다.

그래서 군집을 구성할 때 직접 오차함수를 최소화하려면 계산비용이 매우 많이 듭니다.
따라서 언덕오르기(hill climbing)^[2]방식으로 목적함수의 오차를 줄여나가며 최소값을 발견했을 때 알고리즘을 종료함으로써 근사 최적해를 구합니다.

활용분야

이미지분할, 벡터 양자화, 클러스터 분석 등

예제

• Demonstration of k-means assumptions
• K-Mean Clustering

참고자료

• K-평균 알고리즘
• 텐서플로우 첫걸음

Docker의 기본 데이터 디렉토리는 /var/lib/docker 이다.
Docker를 계속 쓰다보면 업그레이드, 확장 및 백업이 쉽도록 다른 디스크에 쓰도록 조정해야 한다.

변경 전에 기본 데이터 디렉토리를 쓰고 있는지 확인한다.

sudo lsof | grep /var/lib/docker

서비스를 중지시킨다.

sudo service docker stop

변경될 데이터 디렉토리를 만든다.

mkdir -p [new directory]

DOCKER_OPTS를 바꾸는 방법과 service파일에서 실행시 지정하는 방법이 있는데 DOCKER_OPTS를 변경하는 방법은 뭔가 옵션이 잘못된건지 작동하지 않았다.
혹시 모를 상황을 위해 두가지 모두 기록해놓는다.

1.DOCKER_OPTS 변경

• /var/default/docker 수정

sudo vi /var/default/docker

• DOCKER_OPTS 변경

DOCKER_OPTS="--data-root=/[new directory]/"

2. service 파일 변경

• /lib/systemd/system/docker.service 변경

sudo vi /lib/systemd/system/docker.service 

변경했으면 docker를 다시 띄운다

sudo service docker start

docker 옵션이 적용되었는지 확인해본다.

sudo service docker status

아래와 같이 설정한 디렉토리가 옵션에 나오는지 확인한다.

/usr/bin/dockerd -H fd:// 
     --containerd=/run/containerd/containerd.sock 
     --data-root=[new directory]

dockerd에서 사용하고 있는지 확인해본다.

sudo lsof | grep [new directory]

이제 새로운 디렉토리에 데이터가 쌓인다.

NoteStation과 MailPlus가 저장되고 있는 HDD가 갑자기 쓰기오류가 나면서 서비스가 내려가는 현상이 생겼다.
그나마 다행이라고 생각하는 건 파일읽기는 가능하기 때문에 백업은 가능했다.
일단 문제가 있는 HDD의 파일을 ssh를 통해 접속한 후 다른 HDD에 복사를 했다.
FileStation을 쓰지 않은 이유는 시스템파일은 FileStation에서 보이지 않기 때문에 ssh를 통해 접속해서 진행했다.

일단 문제가 되는 서비스를 수리하면 어짜피 새로 설치하기 때문에 uninstall을 진행했다.

1. NoteStation
   NoteStation은 구글에서 검색해보니 sqlite의 데이터만 복사하면 된다고 하여 다음 위치에 있는 파일을 복사했다.

/volume?/@appstore/NoteStation/db

그러나 복사를 여러번 반복하고 재시작해도 웹이나 앱에서 데이터를 볼 수 없었다.
그리고 글을 새로 쓰면 db에 저장되는 경우도 있고, 아닌경우도 있고 도저히 감을 잡을 수 없는 상태가 이어졌다.
이렇게 몇번을 시도했으나 시간만 허비하게 되었다.

마지막으로 생각된 부분이 "캐시가 쌓이나?" 였다.
그래서 백업한 파일에서 NoteStation과 관련된 디렉토리를 모두 찾았다.

/volume?/@SynoDrive/NoteStation

위 디렉토리를 찾았고 초기화할 수 있도록 데이터까지 모두 삭제한 후 다시 설치를 진행했다.
그리고 백업된 디렉토리에서 파일을 설치된 HDD로 복사하고 앱을 다시 접속하면 된다!

이 설명은 2.5.5 기준으로 작성되었음을 밝힌다.

2. MailPlus
   이건 NoteStation보다는 쉽다.
   공유폴더 중 MailPlus 폴더가 있고 이것만 백업과 복구해주면 된다.
   단, 복사를 하다보면 owner가 바뀔 경우가 있고 쓰기가 안되는 경우 메일을 받기는 하지만 저장이 되지 않는다.
   이럴 경우 아래 로그 위치에 있는 로그를 보고 해당 디렉토리의 owner를 chown으로 바꿔줘야 한다.

/var/@maillog/maillog

메일이 저장되는 위치는 대략 아래와 같다.

MailPlus/@local/[UID]

마지막으로 메일이 들어오는지 MailPlus Server의 로그와 Queue를 확인하면서 테스트한다.

이 설명은 2.1.2 기준으로 작성되었음을 밝힌다.

LAWN은 "i Love technology to improve people's Lives, and harmonious Architecture With Nature" 을 축약해서 만든 단어이며 행동할 때 사람의 삷과 자연과의 조화를 생각하자는 작은 소망을 담아봤다. 영어단어로는 잔디밭, 숲 사이의 빈터를 뜻하며 어려운 일이 있더라도 잔디처럼 다시 일어나자는 다짐 또한 담겨있다. 발음상 Loan과 헷갈릴 수 있는 것은 때에 따라서 오해의 소지가 있을 수 있다.

Project

범례| A : PM or PL / B : 설계 / C : 개발 / D : 운영 / E : 컨설팅

Toy Project

Title

Used Skill

Interest

Mentoring

Teaching

1. partition 설정

• 2TB 이상

  #parted /dev/sd[Device]
  #parted>print
  #parted>mklabel gpt
  #parted>mkpart primary 0 [최대용량]
  #parted>set 1 lvm on
  

• 2TB 이하

  fdisk /dev/sd[Device]
  #fdisk>n (new partition)
  #fdisk>p (primary)
  #fdisk>1 (partition number)
  #fdisk>t (new type)
  #fdisk>8e (linux LVM)
  #fdisk>w (write)
  

2. PV(Physical Volume) 생성

   pvcreate /dev/sd[Device][no]
   pvdisplay
   

   pvcreate /dev/sdb1
   Physical volume "/dev/sdb1" successfully created
   

3. VG(Volume Group) 생성

   vgcreate [vg-name] /dev/sd[Device][no] /dev/sd[Device][no]
   vgdisplay
   

   vgcreate data-vg01 /dev/sdb1 /dev/sdc1
   Volume group "data-vg01" successfully created
   

4. LV(Logical Volume) 생성

   lvcreate --extents 100%FREE -n [lv-name] [vg-name]
   lvdisplay
   

   lvcreate --extents 100%FREE --name data-lv01 data-vg01
   Logical volume "data-lv01" created.
   

5. 포맷

   mkfs -t ext4 /dev/[vg-name]/[lv-name]
   

6. fstab 추가

   mkdir [mount-point]
   vi /etc/fstab
   /dev/[vg-name]/[lv-name]  /[mount-point]  ext4  defaults  0  2
   mount -a
   mount
   

Azure에서 Linux VM에 LVM 구성
[스토리지] 리눅스 LVM 생성
[스토리지] 2TB 이상 스토리지의 파티션 생성 (리눅스 GPT, parted)

Laravel(PHP Framework)를 간단히 학습하면서 설정했던 내용을 적어놓는다.

1. 서버요구사항

• PHP >= 7.0.0
• PDO PHP Extension
• MbString PHP Extenstion
• Tokenizer PHP Extension
• XML PHP Extension
• Composer

2. 서버요구사항을 만족하기 위한 설치

• PHP 설치
  sudo apt-get install php or sudo apt-get install php7.0
• Extenstion 설치
  sudo apt-get install php-zip php-mbstring php-token-stream
• Composer 설치
  sodu apt-get install composer

3. laravel 설치
   composer global require "laravel/installer"
vi .bashrc
   맨 아래 부분에 export PATH=$PATH:.config/composer/vendor/bin 추가

• 본 문서는 환경에 따라 계속 변경이 일어날 수 있습니다.

나이브 베이즈(Naïve Bayes)는 1950년부터 활발히 연구되어 왔다. 1960년대 초반에는 텍스트 검색 커뮤니티(text retrieal community)에서 다른 이름으로 소개되었고, 단어의 빈도수를 특징으로 활용하여 하나의 범주 혹은 다른 범주(예를 들어 스팸, 스포츠, 정치 등)과 관련된 문서를 판별하는 텍스트 범주 분류(text categorization)를 하는 제일 유명한 방법이었다.

나이브 베이즈는 분류기(classifier)를 구성하는 간단한 기술이며, 분류기들을 학습시키기 위한 한가지 알고리즘이 아니고 동일한 원리를 기반으로 하는 알고리즘의 유형을 말한다.

나이브 베이즈 분류기(Naïve Bayes Classifier)는 확장성이 뛰어나며 변수 개수에 대해 선형적으로 다수의 매개변수가 필요하다.
최대 가능도 학습(maximum-likehood training^[1][2])은 많은 다른 형태의 분류기에서 사용하는 값비싼 반복되는 근사치보다 선형적인 시간비용을 사용하는 닫힌 표현식^[3]을 평가하여 수행할 수 있다.

조건부 확률을 추정할 경우 예측변수의 수가 매우 클 경우 모든 예측변수가 이진뷴류라 할지라도 많은 레코드가 정확히 일치하는 규칙들을 찾을 수 없게 되는 문제가 있다. 즉, 예측변수들의 조합으로 동시에 발생하는 레코드가 많이 관찰되지 않는다.
이러한 문제를 해결하기 위해 각 집단내의 예측변수에 대한 독립성의 가정을 단순화시키면 동시발생의 확률은 모든 관련 예측변수의 한계변동분을 서로 곱한 값과 같게 된다.

$$P(C_i|X_1,...X_p) = \frac{P(X_1,...,X_p|C_i)P(C_i)}{P(X_1,...,X_p|C_1)+...+P(X_1,...,X_p|C_m)P(C_m)} $$

$$P(C_k|x_1,...x_n) = \frac{1}{Z}p(C_k)\prod_{x=1}^{n}p(x_i|C_k)$$
Z는 특성값들이 주어진 경우 상수가 되는 $x_1,...,x_n$에만 의존하는 스케일링 팩터이다

나이브 베이즈 분류는 앞에서 본 나이브 베이즈 확률 모델과 결정규칙을 조합한 것인데, 공통적으로 클래스 $k$, 즉 $C_k$에 대해서 다음 식을 통해 최대 확률을 갖는 클래스 $k$를 찾는 것이다.

$$\hat{y} = \underset{k \in {1, \dots, K}}{\operatorname{argmax}} \ p(C_k) \displaystyle\prod_{i=1}^n p(x_i \vert C_k)$$

참고문헌
Naive Bayes classifier
확률(Probability) vs 가능도(Likelihood)

베이즈 정리(Bayes' theorem, Bayes' rule, Bayes' law)는 확률론과 통계학에서 사건과 관련된 사전지식을 기반으로 사건의 확율을 나타낸다.
예를 들어, 암발생이 나이와 관련이 있다면, 베이즈 정리를 사용하여 사람들이 암을 가지고 있는지 정확하게 파악하기 위해 나이를 사용할 수 있다.

베이즈 정리는 이항분포의 확률 변수에 대한 분포를 계산하는 방법을 연구한 토마스 베이스(Thmas Bayes, 1701~1761)의 이름을 땄다.
베이즈의 출판되지 않은 원고는 왕립 학회(Royal Society)에서 읽히기 전에 친구인 리차드 프라이스(Richard Price)가 정리했다.
프라이스가 정리한 베이스의 주요 논문인 "우연의 원칙에서 문제를 해결하기 위한 에세이(An Essay towards solving a Problem in the Doctrine of Chances^[1])"(1763)에 베이스 정리를 포함하고 있었다.
프라이스는 베이지안 통계학의 철학적 근거 중 일부를 제공하는 논문에 대한 소개서를 썼다.
1765년 그는 베이스의 유산에 대한 그의 작업을 인정받아 왕립 학회의 특별회원으로 선정되었다.

베이스 정리는 이전의 경험과 현재의 사건을 토대로 어떤 사건의 확률을 추론하는 알고리즘이다. 따라서 사건이 일어날 확률을 토대로 의사결정을 할 경우 그와 관련된 사전 정보를 얼마나 알고 있고 이를 제대로 적용할 수 있는가에 크게 좌우된다.
흔히 베이즈 정리는 조건부 확률(Conditional Propability)이라는 말로 표현되기도 한다.

$$ P(A \mid B) = \frac{P(B \mid A) , P(A)}{P(B)} $$
P(A) : 사건 A가 일어날 확률
P(B) : 사건 B가 일어날 확률
P(A|B) : 사건 A가 일어났을 때 사건 B가 일어날 확률
P(B|A) : 사건 B가 일어났을 때 사건 A가 일어날 확률^[2]

$$ P(Y=y \mid X=x) = \frac{P(Y=y , X=x)}{P(X=x)} = \frac{P(Y=y)P(X=x \mid Y=y)}{\sum_{y'}P(Y=y')P(X=x \mid Y=y')} $$

$$ posterior = \frac{prior * likehood}{evidence} $$

• posterior(사후확률)^[3]
• prior(사전확률)^[4]
• likehood(가능도)^[5]
• evidence(증거)^[6]

예를 들어, 건빵 2봉지를 샀고, 별사탕도 2봉지라고 하자. 첫번째 봉지에는 하얀 별사탕이 10개, 분홍별사탕이 30개 들었고, 두번째 봉지에는 각각 20개씩 들었다.두 봉지의 별사탕을 하나의 접시에 담고, 눈을 감은 채 별사탕 하나를 집어 들었다. 눈을 뜨고 집어든 별사탕을 살펴보니 분홍 별사탕이다. 이 별사탕이 첫번째 봉지에서 나왔을 확률은 다음과 같다.

$$P(첫번째봉지|분홍별사탕) = \frac{P(분홍별사탕|첫번째봉지)P(첫번째봉지)}{P(분홍별사탕)}$$
$$= \frac{(30/40) * (40/80)}{(50/80)} = \frac{60}{100} = 60% $$

참고문헌
Bayes' theorem
조건부 확률을 이용한 베이즈 정리
조건부 확률(베이지안)의 이해를 위한 예제 및 풀이