전체보기

학교에서 AWS DeepRacer 스터디 와 대회를 개최한다는 활동 포스터를 보고 참여를 하게 되었다. 주말 이틀 내내 학교에 가서 스터디 참가를 해야한다는 점은 정말 귀찮았다. 하지만 강화학습에 대해서 공부하게 되었고, 강사님께서 친절하고 상세하게 알려주셔서 배우기 수월했었다. 무엇보다도 깔끔하고 단순한 UI로 강화학습을 시뮬레이션하며 모델을 경쟁시키는 것은 상당히 흥미로웠다. 머신러닝을 크게 3종류로 나누면 지도학습, 비지도학습, 강화학습으로 볼 수 있다. 지도학습 : 모델을 훈련시키기 위해 레이블(Label)이 지정된 데이터를 사용하는 학습방법, 훈련 데이터는 입력 데이터와 이 입력에 대한 정답으로 구성된다. 비지도 학습 : 레이블이 지정되지 않은 데이터를 학습하는 방법, 데이터들에서 패턴,구조 등..

보호되어 있는 글입니다.

logstash로 Datadog으로 로그를 전송하고, 전송된 로그를 Querying해 Visualization해보도록 한다. Logstash 여러 곳(Source)의 데이터를 수집 / 통합시켜 지정한 곳(Destination)으로 전송하는 데이터 처리 파이프라인 도구이다. 데이터를 수집, 분석하고 정제하는 ETL(Extract, Transform, Load) 도구이며, 엘라스틱서치의 3스택(ElasticSearch, Logstash, Kibana)중 하나의 요소로 알려져 있다. 로그스태시의 파이프라인 구성파일은 크게 입력(input), 정제(filter), 출력(output)의 3개의 파트로 나누어져 있다. 이와 같은 Logstash의 또다른 특징으로 파이프라인의 각 파트별로 플러그인을 제공해 다양한 상..

SSH Connection을 통해 데이터를 전송하는 기법, SSH 포트포워딩으로도 불린다. 프록시의 역할과 유사하다. SSH의 특징으로 인해 전송되는 데이터는 모두 암호화된다는 점이 있다. 위와 같이 SSH 서버로의 연결을 통해 터널을 생성하고, 터널을 통해 다른 서비스로 접근하는 방법을 SSH 터널링이라고 한다. 연결방향에 따라 로컬 / 리모트로 구분될 수 있고, 추가로 다이나믹 SSH 터널링도 존재한다. 로컬 SSH 터널링 로컬 포트를 원격지의 포트로 포워딩 이와 같은 로컬 SSH 터널링은 가장 많이 사용되는 방법으로 주로 방화벽 정책을 우회하기 위한 목적으로 이용되고는 한다. 재택에서 사내 PC를 통해 내부망에 접근하는 경우 등에 사용한다. 로컬 SSH 터널링의 커맨드는 아래와 같다. ssh -L ..

Terraform apply를 통해 리소스를 생성하면 실제 인프라에 terraform 코드 내용이 반영되어 리소스가 생성된다.이렇게 apply로 생성한 리소스는 destroy로 삭제하는데, 만약 terraform으로 생성한 리소스를 웹 콘솔에서 임의로 삭제를 해버리면 어떻게 될까?혹은 terraform으로 이미 생성한 리소스에 대해서 또 다시 apply를 적용시킨다면 어떨까?더 나아가서 팀 이상의 단위로 인프라를 관리할 때 여러명이 동시에 같은 리소스에 접근하는 경우, 적용된 인프라 리소스가 충돌하는 상황이 발생할 수도 있다. 이런 문제를 해결하기위해 등장한 state와 backend 개념에 대해 알아보도록 한다. tfstateTerraform이 생성한 인프라 리소스의 상태 정보를 저장해둔 파일, 기본적..

ALB나 cloudfront를 이용하다 보면 HTTP/2를 지원하는 것을 확인할 수 있다. HTTP/2는 HTTP/1.1에 비해 빠르다는 것 정도만 알고 있다. 이 두 버전을 비교해보며 HTTP/2에서는 정확히 어떤 것들이 개선되었는 지를 비교해본다. HTTP/1.1 1997년에 릴리스된 프로토콜로 클라이언트와 웹 서버간의 정보를 교환하는 Layer 7의 프로토콜이다. HTTP/1.1에서는 기존 1.0과 비교해 아래 2가지 특징을 가진다. Persist Connection 기존 1.0 버전에서는 TCP 3way hand-shaking을 거쳐 HTTP Connection이 이루어졌다. 즉, 매 Connection을 생성할때마다 hand-shaking이 이루어지고, 큰 overhead로 작용되었다. (RTT..

최근에 AWS Skill builders 강의를 들었다. 아무래도 요새 AWS 측에서 밀고있는 주제가 App 현대화와 생성형 AI인 만큼 관련된 내용들이 강의로 나왔었는데, 그 중 흥미롭게 사용했었던 서비스중 하나를 가져왔다 Amazon Codewhisperer 생성형 AI기반의 코드 생성기, 주석으로 문장형 명령을 입력하면 AI가 그에 맞는 코드를 추천해주는 서비스이다. 아마존에서는 AI 코딩 동료라는 개념으로 이 서비스를 소개했다. 그리고 이 서비스는 개인 레벨의 계정에 한해서는 무료로 오픈했다고 하니, 부담없이 접근할 수 있는 장점도 있다. AI 코드 생성기 - Amazon CodeWhisperer - AWS CodeWhisperer는 사용자의 작업 방식에 꼭 맞습니다. Python, Java 및 ..

이번 글에서는 직접 간단한 인프라 아키텍쳐를 구성하고 코드를 작성해 Apply까지 진행해본다. 인스턴스 2개를 생성해 하나의 ALB로 묶은 아키텍쳐를 생성하보고자 한다. ALB 1개와 2쌍의 서브넷, 2개의 인스턴스로 구성된 아주 전형적인 ALB 아키텍쳐이다. 시작하기에 앞서, Terraform 실행을 위한 Credential을 생성해야한다. Terraform을 통해 다양한 리소스들을 관리하므로 AdministratorAccess 권한을 가진 사용자를 생성한다. 사용자 생성 후 액세스 키도 생성한다. 이렇게 생성한 Credential은 terraform 코드 내에 직접 넣을 수 있고, CLI config/credential 파일에 넣고 불러올 수도 있으며, 시스템 환경변수 식으로 설정해 불러올 수 있기도..