나미의 IT 자료 보관소

KNN 검색1. k-NN 검색 소개k-NN 검색은 주어진 벡터와 가장 유사한 k개의 항목을 찾는 기능이다. 이는 이미지 검색, 추천 시스템, 자연어 처리 등 다양한 분야에 사용된다.Elasticsearch는 이 기능을 통해 벡터 유사도 기반의 고성능 검색을 수행할 수 있다.2. k-NN 검색의 인덱스 설정k-NN 검색을 사용하려면 인덱스를 설정할 때 벡터 필드를 정의해야 한다. 이 필드는 고차원 벡터를 저장하며, dense_vector 타입을 사용한다.PUT /my_index{ "mappings": { "properties": { "my_vector": { "type": "dense_vector", "dims": 128 } } }}3. 벡터 검색 ..

Elasticsearch 검색 소개검색 쿼리 또는 쿼리 는 Elasticsearch 데이터 스트림이나 인덱스에 있는 데이터에 대한 정보에 대한 요청이다.쿼리는 Elasticsearch가 이해하는 방식으로 작성된 질문이라고 생각할 수 있다. 데이터에 따라 쿼리를 사용하여 다음과 같은 질문에 대한 답을 얻을 수 있다.내 서버에서 어떤 프로세스가 응답하는 데 500밀리초 이상 걸리나요?regsvr32.exe지난주에 내 네트워크에서 어떤 사용자가 앱을 사용했습니까 ?내 웹사이트의 어떤 페이지에 특정 단어나 문구가 포함되어 있습니까? Elasticearch 검색 사례정확한 값 검색 :  숫자, 날짜, IP 또는 문자열의 정확한 값이나 범위를 검색한다.전체 텍스트 검색 :  전체 텍스트 쿼리를 사용하여 구조화되지 ..

매핑(Mapping)이란?Elasticsearch에서 mapping을 하는 이유는 데이터의 구조와 타입을 정의하여 효율적으로 검색하고 데이터를 관리하기 위함이다. Elasticsearch는 검색 및 분석을 위해 최적화된 분산형 검색 엔진이며, 데이터의 저장과 검색 성능을 극대화하기 위해 사전에 데이터 필드의 타입과 속성을 정의해야 한다. 다음은 Elasticsearch에서 mapping을 하는 주요 이유이다.데이터 타입 정의: Elasticsearch는 다양한 데이터 타입(예: text, keyword, date, integer, float, boolean 등)을 지원한다. 각 필드의 데이터 타입을 명시적으로 정의함으로써, 검색과 인덱싱 시 최적화된 자료 구조와 알고리즘을 사용할 수 있다. 예를 들어, ..

Kibana 소개Kibana는 Elasticsearch 데이터를 시각화하고 Elasticsearch 클러스터에서 데이터를 쉽게 탐색할 수 있는 강력한 도구이다. Kibana는 Elasticsearch와 원활하게 통합되어 데이터 분석을 직관적이고 빠르게 수행할 수 있게 해준다. 사용자는 대시보드를 생성하고, 데이터를 시각화하며, 복잡한 쿼리를 작성해 데이터를 탐색할 수 있다.주요 기능대시보드 : Kibana는 데이터를 실시간으로 모니터링하고 분석할 수 있는 대시보드 기능을 제공한다. 사용자는 다양한 시각화 요소(차트, 지도 등)를 대시보드에 추가하여 원하는 방식으로 데이터를 조합하고 볼 수 있다.데이터 시각화 : Kibana는 히스토그램, 선 그래프, 파이 차트, 히트 맵 등 다양한 시각화 도구를 지원하여..

Elasticsearch 주요 개념 요약Elasticsearch는 데이터를 저장, 검색, 분석하는 분산형 검색 및 분석 엔진이다. Elasticsearch의 주요 구성 요소는 다양한 기능을 지원하고, 이를 통해 사용자는 데이터를 효율적으로 처리할 수 있다. 아래는 Elasticsearch의 주요 구성 요소와 각 구성 요소에 대한 설명이다.1. 클러스터(Cluster)정의 : 클러스터는 하나 이상의 노드(node)로 구성된 Elasticsearch의 기본 작업 단위이다. 클러스터는 데이터를 저장하고, 데이터를 색인화 및 검색하는 작업을 수행한다.클러스터 이름: 클러스터는 고유한 이름을 가진다. 클러스터에 속한 모든 노드는 같은 클러스터 이름을 사용해야 한다.특징 : 클러스터는 노드를 추가하거나 제거함으로써..

Elasticsearch 소개 Elasticsearch는 Elastic Stack의 핵심을 이루는 분산형 검색 및 분석 엔진이다. Logstash와 Beats는 데이터를 수집, 집계, 보강하여 Elasticsearch에 저장하는 역할을 한다. Kibana는 데이터를 탐색하고 시각화하며, 통찰력을 공유하고 스택을 관리하고 모니터링할 수 있도록 도와준다. Elasticsearch는 인덱싱, 검색, 분석의 마법이 펼쳐지는 곳이다.Elasticsearch는 거의 실시간에 가까운 검색 및 분석 기능을 제공하며, 구조화된 데이터, 비구조화된 텍스트, 숫자 데이터, 지리 공간 데이터 등 모든 유형의 데이터를 효율적으로 저장하고 인덱싱하여 빠르게 검색할 수 있도록 해준다. 단순한 데이터 검색을 넘어서, 데이터를 집계하..