An extension of Mistral to support context windows of 64K or 128K.
14.3K Pulls Updated 4 months ago
7b-128k
4.1GB
7b-64k
4.1GB
7b-128k-q4_0
4.1GB
7b-128k-q4_1
4.6GB
7b-128k-q5_0
5.0GB
7b-128k-q5_1
5.4GB
7b-128k-q8_0
7.7GB
7b-128k-q2_K
3.1GB
7b-128k-q3_K_S
3.2GB
7b-128k-q3_K_M
3.5GB
7b-128k-q3_K_L
3.8GB
7b-128k-q4_K_S
4.1GB
7b-128k-q4_K_M
4.4GB
7b-128k-q5_K_S
5.0GB
7b-128k-q5_K_M
5.1GB
7b-128k-q6_K
5.9GB
7b-128k-fp16
14GB
7b-64k-q4_0
4.1GB
7b-64k-q4_1
4.6GB
7b-64k-q5_0
5.0GB
7b-64k-q5_1
5.4GB
7b-64k-q8_0
7.7GB
7b-64k-q2_K
3.1GB
7b-64k-q3_K_S
3.2GB
7b-64k-q3_K_M
3.5GB
7b-64k-q3_K_L
3.8GB
7b-64k-q4_K_S
4.1GB
7b-64k-q4_K_M
4.4GB
7b-64k-q5_K_S
5.0GB
7b-64k-q5_K_M
5.1GB
7b-64k-q6_K
5.9GB