DataRailroad

이제 Kafka는 안녕~

요약

WarpStream이라는 S3 위에 구축된 Kafka 프로토콜 호환 데이터 스트리밍 플랫폼이 나와 이제 Kafka는 사라질꺼라는 WarpStream 뉴스입니다. 

뉴스 요약 내용은 아래와 같습니다.

WarpStream는 S3 바로 위에 구축된 Kafka 프로토콜 호환 데이터 스트리밍 플랫폼입니다. 하나의 상태 없는 Go 이진 파일로 제공되므로 관리해야 할 로컬 디스크나 리밸런싱할 브로커, 운영해야 할 ZooKeeper가 없습니다. WarpStream은 데이터가 직접 S3로 스트리밍되므로 클라우드에서 Kafka보다 5-10배 저렴합니다. 이는 규모 있는 Kafka 배포의 인프라 비용의 80% 이상이 될 수 있는 지역 간 네트워킹을 사용하지 않기 때문입니다."

[출처]

https://www.warpstream.com/blog/kafka-is-dead-long-live-kafka

Build

코드 파일을 컴퓨터에서 실행할 수 있도록 형태 변화하는 것을 Build라고 합니다.

자바 개발을 하면 .java 파일이 생성되고 build하게 되면 .java 코드 파일을 컴퓨터에서 실행할 수 있도록 변화(compile한다고 합니다.)과정을 거치면 .class 파일이 생성됩니다. 그리고 META-INF와 MANIFEST.MF 들을 하나로 압축하는 과정을 진행합니다.

Deploy

Build된 파일을 원하는 위치에 옮기는 것을 말합니다.

Complie

인간이 작성한 코드를 기계가 읽을 수  있도록 작업하는 것을 compile이라고 합니다.

WEB-INF와 META-INF 차이

WEB-INF

- Web Information의 약자입니다.

- WEB-INF폴더에는  브라우저에서 직접 접근할 수 없고 오직 서버내에서만 접근이 가능합니다.

META-INF

- Java에서 설정관련 파일을 저장하는 폴더입니다.

- Java 패키징 기술인 jar의 일부입니다.

- jar 파일들을 풀어보면 META-INF 폴더 아래 MANIFEST.MF 라는 파일이 있습니다.

문제

postman에서 get 방식 호출하는데 

Cloud Agent Error: Can not send requests to reserved address. Make sure address is publicly accessible or select a different agent.

발생했습니다. 

이유는 postman에서 호출하는건 localhost가 아니라서 인거 같습니다.

해결

Desktop을 다운 받고 실행하니 해결되었습니다.

REST란?

REST는 웹과 같은 분산 하이퍼 미디어 환경에서 자원의 존재 또는 상태 정보를 표준화된 HTTP 메서드로 주고 받는 웹 아키텍처입니다.

쉽게 말해 정해진 대로 HTTP 메서드를 통해 내용을 전달한다는 내용입니다.

SOAP이란?

SOAP는 Simple Objectr Access Protocol로써 웹 서비스에서 기본적인 메서지를 전달하는 기반이 되는 HTTP, HTTPS, SMTP 등을 통해 XML 기반의 메세지를 컴퓨터 네트워크상에서 교환하는 프로토콜입니다.

매우 중요한 개념입니다.

문제

먼저 GitHub에서 repository 생성하고 나면 자동으로 main branch가 생성이 됩니다.

이후, 터미널에서 git init하면 master branch로 시작되어 commit 이후 push하게 되면 GitHub에서 master branch 내용을 main branch로 넘기는 과정에서 error가 발생하게 됩니다.

해결

아래 내용을 순서대로 진행하면 됩니다.

> git checkout master

> git branch main master -f

> git checkout main

> git push origin main -f

Jupyter Notebook not trusted

상황

Jupyter Notebook에서 파일을 열었을 때 Not trusted error가 발생하는 상황입니다.

해결

jupyter notebook을 열 때 jupyter trust로 열면 해결된다고 하는데.. 해결되지 않았습니다.

다른 방법으로는 아웃풋을 다 삭제 후 다시 노트북을 여는건데 아웃풋을 삭제하지 않고 열 수 있는게 좋을꺼 같아 시도해보지 않았습니다.