A | B | C | D | E | F | G | H | I | J | K | L | M | N | O | P | Q | R | S | T | U | V | W | X | Y | Z | AA | ||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | NDCG @ 10 | |||||||||||||||||||||||||||
2 | ||||||||||||||||||||||||||||
3 | Model (Lexical search top 100 + Rerank) | dbpedia-entity | fiqa | nfcorpus | nq | scidocs | scifact | trec-covid | webis-touche2020 | signal1m | trec-news | robust04 | Avg | |||||||||||||||
4 | ||||||||||||||||||||||||||||
5 | Lexical Search (Pyserini) | 31,8 | 23,6 | 32,1 | 30,5 | 14,9 | 67,9 | 59,4 | 44,2 | 33 | 39,5 | 40,7 | 38,0 | |||||||||||||||
6 | ||||||||||||||||||||||||||||
7 | MIXEDBREAD MODELS | |||||||||||||||||||||||||||
8 | mxbai-rerank-xsmall-v1 | 42,5 | 34,6 | 34,6 | 50,6 | 16,8 | 68,5 | 80,8 | 37,8 | 29,4 | 49,4 | 53,0 | 45,3 | |||||||||||||||
9 | mxbai-rerank-base-v1 | 42,5 | 38 | 35,7 | 53,6 | 17 | 72,4 | 84 | 34,8 | 30,2 | 51,9 | 55,5 | 46,9 | |||||||||||||||
10 | mxbai-rerank-large-v1 | 44,6 | 40,4 | 37,2 | 55,8 | 18,8 | 75,1 | 85,33 | 36,9 | 31,9 | 51,9 | 58,5 | 48,8 | |||||||||||||||
11 | ||||||||||||||||||||||||||||
12 | OTHER MODELS | |||||||||||||||||||||||||||
13 | BAAI/bge-reranker-base | 41,5 | 33,1 | 31,1 | 53,5 | 15 | 70,6 | 67,5 | 34,3 | 28,4 | 39,5 | 42,9 | 41,6 | |||||||||||||||
14 | BAAI/bge-reranker-large | 43,7 | 37,6 | 34,8 | 56,8 | 16,8 | 74,1 | 74,3 | 35,6 | 30,5 | 43,4 | 49,9 | 45,2 | |||||||||||||||
15 | cross-encoder/ms-marco-MiniLM-L-6-v2 | 43,9 | 34,8 | 34,7 | 52 | 16,2 | 69,5 | 74,3 | 28,3 | 33,6 | 44,2 | 47,6 | 43,6 | |||||||||||||||
16 | cohere-rerank-v2 | 42,5 | 43,8 | 36,6 | 60 | 18,1 | 74,4 | 81,8 | 32,5 | 29,6 | 47,5 | 50,7 | 47,0 | |||||||||||||||
17 | ||||||||||||||||||||||||||||
18 | SEMANTIC SEARCH | |||||||||||||||||||||||||||
19 | cohere-embed-v3 | 43,4 | 42,2 | 38,6 | 61,6 | 20,3 | 71,8 | 81,9 | 32,4 | 26,3 | 50,5 | 54,0 | 47,5 | |||||||||||||||
20 | ||||||||||||||||||||||||||||
21 | ||||||||||||||||||||||||||||
22 | Values in yellow are taken from jina. We don't know their exact setting but we see that on average the models seems to perform better. So we are giving here a bonus. | |||||||||||||||||||||||||||
23 | ||||||||||||||||||||||||||||
24 | ||||||||||||||||||||||||||||
25 | ||||||||||||||||||||||||||||
26 | ||||||||||||||||||||||||||||
27 | ||||||||||||||||||||||||||||
28 | ||||||||||||||||||||||||||||
29 | ||||||||||||||||||||||||||||
30 | ||||||||||||||||||||||||||||
31 | ||||||||||||||||||||||||||||
32 | ||||||||||||||||||||||||||||
33 | ||||||||||||||||||||||||||||
34 | ||||||||||||||||||||||||||||
35 | ||||||||||||||||||||||||||||
36 | ||||||||||||||||||||||||||||
37 | ||||||||||||||||||||||||||||
38 | ||||||||||||||||||||||||||||
39 | ||||||||||||||||||||||||||||
40 | ||||||||||||||||||||||||||||
41 | ||||||||||||||||||||||||||||
42 | ||||||||||||||||||||||||||||
43 | ||||||||||||||||||||||||||||
44 | ||||||||||||||||||||||||||||
45 | ||||||||||||||||||||||||||||
46 | ||||||||||||||||||||||||||||
47 | ||||||||||||||||||||||||||||
48 | ||||||||||||||||||||||||||||
49 | ||||||||||||||||||||||||||||
50 | ||||||||||||||||||||||||||||
51 | ||||||||||||||||||||||||||||
52 | ||||||||||||||||||||||||||||
53 | ||||||||||||||||||||||||||||
54 | ||||||||||||||||||||||||||||
55 | ||||||||||||||||||||||||||||
56 | ||||||||||||||||||||||||||||
57 | ||||||||||||||||||||||||||||
58 | ||||||||||||||||||||||||||||
59 | ||||||||||||||||||||||||||||
60 | ||||||||||||||||||||||||||||
61 | ||||||||||||||||||||||||||||
62 | ||||||||||||||||||||||||||||
63 | ||||||||||||||||||||||||||||
64 | ||||||||||||||||||||||||||||
65 | ||||||||||||||||||||||||||||
66 | ||||||||||||||||||||||||||||
67 | ||||||||||||||||||||||||||||
68 | ||||||||||||||||||||||||||||
69 | ||||||||||||||||||||||||||||
70 | ||||||||||||||||||||||||||||
71 | ||||||||||||||||||||||||||||
72 | ||||||||||||||||||||||||||||
73 | ||||||||||||||||||||||||||||
74 | ||||||||||||||||||||||||||||
75 | ||||||||||||||||||||||||||||
76 | ||||||||||||||||||||||||||||
77 | ||||||||||||||||||||||||||||
78 | ||||||||||||||||||||||||||||
79 | ||||||||||||||||||||||||||||
80 | ||||||||||||||||||||||||||||
81 | ||||||||||||||||||||||||||||
82 | ||||||||||||||||||||||||||||
83 | ||||||||||||||||||||||||||||
84 | ||||||||||||||||||||||||||||
85 | ||||||||||||||||||||||||||||
86 | ||||||||||||||||||||||||||||
87 | ||||||||||||||||||||||||||||
88 | ||||||||||||||||||||||||||||
89 | ||||||||||||||||||||||||||||
90 | ||||||||||||||||||||||||||||
91 | ||||||||||||||||||||||||||||
92 | ||||||||||||||||||||||||||||
93 | ||||||||||||||||||||||||||||
94 | ||||||||||||||||||||||||||||
95 | ||||||||||||||||||||||||||||
96 | ||||||||||||||||||||||||||||
97 | ||||||||||||||||||||||||||||
98 | ||||||||||||||||||||||||||||
99 | ||||||||||||||||||||||||||||
100 |