选择最适合数据的嵌入模型：OpenAI 和开源多语言嵌入的对比测试

embeddings_model_spec = {
 }
 
 embeddings_model_spec['E5-mistral-7b']={'model_name':'intfloat/e5-mistral-7b-instruct','max_length':32768, 'pooling_type':'last_token', 
                                        'normalize': True, 'batch_size':1, 'kwargs': {'load_in_4bit':True, 'bnb_4bit_compute_dtype':torch.float16}}
 embeddings_model_spec['ML-E5-large']={'model_name':'intfloat/multilingual-e5-large','max_length':512, 'pooling_type':'mean', 
                                      'normalize': True, 'batch_size':1, 'kwargs': {'device_map': 'cuda', 'torch_dtype':torch.float16}}
 embeddings_model_spec['BGE-M3']={'model_name':'BAAI/bge-m3','max_length':8192, 'pooling_type':'cls', 
                                  'normalize': True, 'batch_size':1, 'kwargs': {'device_map': 'cuda', 'torch_dtype':torch.float16}}
 embeddings_model_spec['Nomic-Embed']={'model_name':'nomic-ai/nomic-embed-text-v1','max_length':8192, 'pooling_type':'mean', 
                                      'normalize': True, 'batch_size':1, 'kwargs': {'device_map': 'cuda', 'trust_remote_code' : True}}
 
 results = []
 
 languages = ["EN", "FR", "CS", "HU"]
 
 # Loop through all models
 for model_name, model_spec in embeddings_model_spec.items():
 
    print("Processing model : "+str(model_spec))
 
    # Get model
    tokenizer = AutoTokenizer.from_pretrained(model_spec['model_name'])
    embed_model = AutoModel.from_pretrained(model_spec['model_name'], **model_spec['kwargs'])
         
    if model_name=="Nomic-Embed":
        embed_model.to('cuda')
 
    # Loop through all languages
    for language in languages:
 
        # Load dataset
        file_name=language+"_dataset.json"
        qa_dataset = EmbeddingQAFinetuneDataset.from_json(file_name)
 
        start_time_assessment=time.time()
 
        # Assess embedding score (in terms of hit rate at k=5)
        score = evaluate(qa_dataset, tokenizer, embed_model, model_spec['normalize'], model_spec['max_length'], model_spec['pooling_type'])
 
        # Get duration of score assessment
        duration_assessment = time.time()-start_time_assessment
 
        results.append([language, model_name, score, duration_assessment])
 
 df_results = pd.DataFrame(results, columns = ["Language" ,"Embedding model", "MRR", "Duration"])

结果如下：

BGE-M3的表现最好，其次是ML-E5-Large、E5-mistral-7b和Nomic-Embed。BGE-M3模型尚未在MTEB排行榜上进行基准测试，我们的结果表明它可能比其他模型排名更高。虽然BGE-M3针对多语言数据进行了优化，但它在英语方面的表现也比其他模型更好。

因为式开源模型所以一般都需要本地运行，所以我们还特意记录了每个嵌入模型的处理时间。

E5-mistral-7b比其他模型大10倍以上，所以最慢是很正常的

总结

我们把所有的结果做一个汇总

采用开源模型获得了最好的性能，BGE-M3模型表现最佳。该模型具有与OpenAI模型相同的上下文长度(8K)，大小为2.2GB。

OpenAI的large(3072)、small 和ada模型的性能非常相似。减小large的嵌入尺寸(256)会导致性能下降，并且没有像OpenAI说的那样比ada更好。

几乎所有型号(ML-E5-large除外)在英语上都表现最好。在捷克语和匈牙利语等语言中，表现存在显著差异，这可能是因为训练的数据比较少。

我们应该付费订阅OpenAI，还是托管一个开源嵌入模型?

OpenAI最近的价格调整使得他们的API变得更加实惠，现在每百万令牌的成本为0.13美元。如果每月处理一百万个查询(假设每个查询涉及大约1K令牌)，没那么成本约为130美元。所以可以根据实际需要计算来选择是否托管开源嵌入模型。

当然成本效益并不是唯一的考虑因素。可能还需要考虑延迟、隐私和对数据处理工作流的控制等其他因素。开源模型提供了完全数据控制的优势，增强了隐私性和定制性。

说到延迟，OpenAI的API也存在延迟问题，有时会导致响应时间延长，所有有时候OpenAI的API不一定是最快的选择。

总之，在开源模型和像OpenAI这样的专有解决方案之间做出选择并不是一个简单的答案。开源嵌入提供了一个非常好的可选项，它将性能与对数据的更好控制结合在一起。而OpenAI的产品可能仍然会吸引那些优先考虑便利性的人，特别是如果隐私问题是次要的。

本文代码：https://github.com/Yannael/multilingual-embeddings