드디어 등장！？ Firestore의 전문 검색(벡터 검색)

functions-framework==3.*
google-cloud-firestore
google-cloud-aiplatform

import functions_framework
import os
# firestore
from google.cloud import firestore
from google.cloud.firestore_v1.vector import Vector
# Vertex AI
import vertexai
from vertexai.language_models import TextEmbeddingModel


# 프로젝트 이름（환경 변수에서 가져옴）
MY_PROJECT_ID = os.environ.get("GOOGLE_CLOUD_PROJECT") 

# 전달된 문자열에서 벡터 값을 계산
def text_embedding(text: str) -> list:

    # location은 각자의 로케이션을 설정
    vertexai.init(project=MY_PROJECT_ID, location="asia-northeast1") 

　　# 현재의 벡터 계산을 위한 최신 AI가 "textembedding-gecko@003"이므로 이를 사용
    model = TextEmbeddingModel.from_pretrained("textembedding-gecko@003")
    embeddings = model.get_embeddings([text])
    for embedding in embeddings:
        vector = embedding.values

    return Vector(vector)


# 메인 처리
# （함수명은 임의입니다）
@functions_framework.http
def hello_http(request):

    # 요청에서 기사 요약（description）을 가져옴
    request_json = request.get_json(silent=True)
    request_args = request.args

    if request_json and 'description' in request_json:
        description = request_json['description']
    elif request_args and 'description' in request_args:
        description = request_args['description']
    else:
        description = 'World'

    # Firestore 클라이언트 초기화
    firestore_client = firestore.Client(project=MY_PROJECT_ID)
    # 컬렉션 참조（컬렉션 이름은 임의（컬렉션이 없는 경우 사전에 생성해주세요））
    collection = firestore_client.collection("article_collection")

    # embedding을 계산
    embedding_vector = text_embedding(description)

    # Firestore에 추가할 문서를 준비
    doc = {
        "description": description,
        "embedding_field": embedding_vector
    }
    # 문서 추가
    collection.add(doc)

    return 'OK!

'

curl -m 70 -X POST https://asia-northeast1-python-tool-001.cloudfunctions.net/vector_chenge \
  -H "Authorization: bearer $(gcloud auth print-identity-token)" \
  -H "Content-Type: application/json" \
  -d '{ "description": "<임의의 문자열>"}'

gcloud alpha firestore indexes composite create \
  --collection-group=article_collection \
  --query-scope=COLLECTION \
  --field-config field-path=embedding_field,vector-config='{"dimension":"768", "flat": "{}"}' \
  --database=<데이터베이스 ID>

import functions_framework
import os
# firestore
from google.cloud import firestore
from google.cloud.firestore_v1.vector import Vector
from google.cloud.firestore_v1.base_vector_query import DistanceMeasure
# Vertex AI
import vertexai
from vertexai.language_models import TextEmbeddingModel


# 프로젝트 이름（환경 변수에서 가져옴）
MY_PROJECT_ID = os.environ.get("GOOGLE_CLOUD_PROJECT") 

# 전달된 문자열에서 벡터 값을 계산
def text_embedding(text: str) -> list:

    # location은 각자의 로케이션을 설정
    vertexai.init(project=MY_PROJECT_ID, location="asia-northeast1") 

　　# 현재의 벡터 계산을 위한 최신 AI가 "textembedding-gecko@003"이므로 이를 사용
    model = TextEmbeddingModel.from_pretrained("textembedding-gecko@003")
    embeddings = model.get_embeddings([text])
    for embedding in embeddings:
        vector = embedding.values

    return Vector(vector)


# 메인 처리
# （함수명은 임의입니다）
@functions_framework.http
def hello_http(request):

    # 요청에서 기사 요약（description）을 가져옴
    request_json = request.get_json(silent=True)
    request_args = request.args

    if request_json and 'target' in request_json:
        target = request_json['target']
    elif request_args and 'target' in request_args:
        target = request_args['target']
    else:
        target = 'World'

    # Firestore 클라이언트 초기화
    firestore_client = firestore.Client(project=MY_PROJECT_ID)
    # 컬렉션 참조
    collection = firestore_client.collection("article_collection")

    # embedding을 계산
    embedding_vector = text_embedding(target)

    # 벡터 검색 실행
    docs = collection.find_nearest(
        vector_field="embedding_field",
        query_vector=embedding_vector,
        distance_measure=DistanceMeasure.COSINE,
        limit=3
    ).get()

    # 표 형식（여기서는 문자열 형식）으로 출력용
    output = "Description \n"
    output += "-" * 50 + "\n"
    
    # 벡터 검색으로 얻은 문서 내용을 출력
    for doc in docs:
        doc_data = doc.to_dict()
        description = doc_data.get("description", "No description")
        # 문서 내용을 문자열에 추가
        output += f"{description[:100]} \n"
    
    return output

curl -m 70 -X POST https://asia-northeast1-python-tool-001.cloudfunctions.net/vector_search \
-H "Authorization: bearer $(gcloud auth print-identity-token)" \
-H "Content-Type: application/json" \
-d '{
  "target": "Riverpod에 대해"
}'

Description 
--------------------------------------------------
Riverpod이란? Flutter의 가장 메이저한 상태 관리를 소개!! 이전에 소개한 「StatefulWidget」도 상태 관리를 수행하는 기능의 하나이지만, 여러 화면이나 기능을 갖춘 앱을 구현하는 경우, 관리 
Flutter란?? Flutter의 개요를 설명합니다. 「Flutter」에 대해서, "모바일 앱을 개발할 때 편리!"라는 인식은 있을지 모르지만, 무엇이 편리하고 무엇이 인기를 끌고 있는 것일까요? 
앱 개발에서 자주 듣는 MVVM이란 무엇인가? MVVM（Model-View-ViewModel）이란, 앱의 로직과 UI（사용자 인터페이스）를 나누어, 개발의 효율성과 유지 보수성을 높이는 것