오늘도 hello, world

리눅스 서버 접속 로그 확인 SSH 로그인 정보(성공+실패) 확인 useradd, userdel, su 등 계정 관련 명령 기록 확인 * root 권한 필요 1. 실시간 확인 centos sudo tail -f /var/log/secure ubuntu sudo tail -f /var/log/auth.log 2. 로그인 성공 계정 및 ip 리스트 확인 - 보안 정책에 따라 알 수 없는 접속 ip를 관리할 수 있다 centos sudo cat /var/log/secure* | grep Accepted | awk '{print $9"\t"$11"\t"$14}' | sort | uniq ubuntu sudo cat /var/log/auth.log* | grep Accepted | awk '{print $9"\t..

MDP를 정확히 알지 못하는 상황에서 Prediction을 수행하는 방법. value function을 estimate. Model-free Reinforcement Learning - Model-free prediction : value function을 estimate (policy를 따랐을 때 리턴의 기대값이 어떻게 될것인지) - Model-free Control : value function과 policy의 optimal한 값을 찾는 것. ㄹ Monte-Carlo (MC) Learning MDP를 모르기 때문에(어떻게 state가 변화할지, 리워드는 얼마나 받을지) Policy를 따라서 직접 에피소드를 진행하는 방식. 모든 에피소드는Terminal state가 있어야 하며, 각 에피소드가 term..

Planning : MDP를 알고 있을 때(model-based) 최적의(optimal) value, policy를 찾는 것. Dynamic Programming(DP) : 전체 큰 문제를 여러 개의 작은 문제(sub problem)로 분할해서 솔루션을 찾고 합쳐서 큰 문제를 해결하는 것. - MDP는 두 조건을 모두 충족함. 1) Optimal Substructure : sub problem으로 분할 가능해야하며, 각각에 대한 optimal한 솔루션이 있어야 함. => MDP는 bellman equation 통해 recursive하게 분해할 수 있음 2) 각각의 sub problem들이 같은 형태로 되어있어 하나의 sub problem에서 사용했던 ..

강화학습 : Agent는 어떤 Action을 취했을 때, environment로부터 피드백(리워드)을 받는다. 강화학습의 목표는 리워드를 최대로 하는(최적화된) action들의 set을 학습하는 것. 1) Agent가 먼저 environment의 state를 observation 2) Observation 결과를 가지고 적절한 action을 수행 3) Environment는 action에 따라 변화함. (state 이동) 4) 3)에서 발생한 리워드를 agent가 받게됨. Markov Process(property) : 확률 모델 기반 (앞으로 발생할 수 있는 이벤트의 시퀀스를 확률로 모델링)으로 바로 이전 이벤트만을 참조하여 다음 이벤트를 예측함. Markov Property를 이용하는 처리 과정을 M..

S : state set A : action set P : state transition probability (다른 state로 넘어갈 확률) R : 현재 state에 대한 리워드 기대값 V(s) : (state-)value function. 현재 state에서 받을 수 있는 리턴의 기대값. 현재 state를 리턴의 기대값(리턴 평균)을 통해 좋은지 나쁜지 측정함. Q (function): action-value function. 현재 state에서 action을 수행했을 때 받는 리턴의 기대값 Q*(s,a) : optimal action value function Gt: 리턴. total reward. Discounted 리워드 총합. γ: discounted factor. 현재 받을 수 있는 리워드..

* 개인 공부용으로 작성하였습니다. 틀린 부분은 피드백 부탁드립니다. Z. Fang, J. Wang, J. Geng and X. Kan, "Feature Selection for Malware Detection Based on Reinforcement Learning," in IEEE Access, vol. 7, pp. 176177-176187, 2019, doi: 10.1109/ACCESS.2019.2957429. 출처 : https://ieeexplore.ieee.org/document/8920059 Feature Selection for Malware Detection Based on Reinforcement Learning Machine learning based malware detection ..

* "파이썬 머신러닝 완벽 가이드" 서적, 여러 개인 블로그들을 참고한 개인 공부용입니다 DBSCAN 대표적인 밀도 기반 군집화 알고리즘이다. 특정 공간 내에 데이터 밀도 차이를 기반 알고리즘으로 하고 있어 복잡한 기하학적 분포를 가진 데이터에도 군집화를 잘 수행한다. (K-means, 평균이동, GMM으로는 군집화 힘든 데이터) DBSCAN 주요 파라미터 입실론 주변 영역(epsilon): 개별 데이터를 중심으로 입실론 반경을 가지는 원형의 영역 최소 데이터 개수(min points): 개별 데이터의 입실론 주변 영역에 포함되는 타 데이터의 갯수 DBSCAN 데이터 포인트 핵심 포인트(core point): 주변 영역 내에 최소 데이터 갯수 이상의 타 데이터를 가지고 있는 경우 이웃 포인트(neighb..

* "파이썬 머신러닝 완벽 가이드" 서적, 여러 개인 블로그들을 참고한 개인 공부용입니다 GMM GMM은 데이터가 여러 개의 정규 분포를 가진 데이터 집합들이 섞여서 생성된 것이라는 가정하에 군집화를 수행한다. GMM은 여러 개의 정규 분포 곡선을 추출하고, 개별 데이터가 그 중 어떤 정규 분포에 속하는지 결정한다. 이와 같은 방식은 GMM에서는 모수 추정이라고 하는데, 모수 추정은 대표적으로 2가지를 추정한다. 개별 정규 분포의 평균과 분산 각 데이터가 어떤 정규 분포에 해당되는지의 확률 모수 추정을 위해 GMM은 EM(Expectation and Maximization) 방법을 적용한다. from sklearn.datasets import load_iris iris = load_iris() featu..

* "파이썬 머신러닝 완벽 가이드" 서적, 여러 개인 블로그들을 참고한 개인 공부용입니다 평균 이동 평균 이동(Mean Shift)는 K-Means와 유사하게 중심을 군집의 중심으로 지속적으로 움직이며 군집화한다. 두 방법의 차이점은 중심을 이동하는 방법이다. K-Means: 중심에 소속된 데이터의 평균 거리 중심으로 이동한다. 평균 이동: 중심을 데이터가 모여 있는 밀도가 가장 높은 곳으로 이동한다. 과정 평균 이동은 KDE(Kernerl Density Estimation)를 이용해서 확률 밀도 함수를 구한다. 데이터가 집중적으로 모여있어 확률 밀도 함수가 피크인 점을 군집 중심점으로 선정한다. 이러한 방식을 전체 데이터에 반복적으로 적용하면서 데이터의 군집 중심점을 찾는다. KDE(커널 밀도 추정) ..

* "파이썬 머신러닝 완벽 가이드" 서적, 여러 개인 블로그들을 참고한 개인 공부용입니다 군집평가 비지도학습의 특성상 어떠한 지표라도 정확하게 성능을 평가하기 어렵다 실루엣 분석 다른 군집간은 비슷한 정도의 여유 거리가 있고, 동일 군집 데이터끼리는 가까운지 분석 실루엣 계수를 기반으로 하며 실루엣 계수는 개별 데이터가 가지는 군집화 지표이다. 실루엣 계수는 다음과 같이 표현할 수 있다. s(i) = (b(i)−a(i)) / max(a(i),b(i)) a(i): i번째 데이터에서 자신이 속한 군집내의 다른 데이터까지의 거리들의 평균 b(i): i번째 데이터에서 가장 가까운 타 군집내의 다른 데이터까지의 거리들의 평균 b(i)−a(i) : 두 군집 간 거리가 얼마나 떨어져 있는가 / max(a(i),b(i..