criado por @Peter Szemraj

Link: https://huggingface.co/BEE-spoke-data/mega-small-embed-synthSTS-16384-v1

Um modelo que pode gerar embeddings de 768 dimnesoes e com 16k de contexto.

Esse me chamou a atenção pois um dos primeiros contatos com um modelo de IA foi justamente com um Sentence Transformer, aprendendo RAG!

Ele considerava apenas 256 caracteres de contexto e gerava no maximo 368 dimensões!

Eu até cogitei usar o da OpenAI, por ser mais poderoso e aceitar mais contexto! Mas, agora que tenho visto esse mundo no Hugging Face, olha só o quanto é legal ver o que já ta saindo por aí!