SetFit with sentence-transformers/distiluse-base-multilingual-cased-v1

This is a SetFit model that can be used for Text Classification. This SetFit model uses sentence-transformers/distiluse-base-multilingual-cased-v1 as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

Fine-tuning a Sentence Transformer with contrastive learning.
Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Type: SetFit
Sentence Transformer body: sentence-transformers/distiluse-base-multilingual-cased-v1
Classification head: a LogisticRegression instance
Maximum Sequence Length: 128 tokens
Number of Classes: 2 classes

Model Sources

Repository: SetFit on GitHub
Paper: Efficient Few-Shot Learning Without Prompts
Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
0	'Molti i pezzi pregiati: il busto in terracotta di Ettore Ximenes (qui sopra) , il ritratto di Vittore Tasca vestito da Garibaldino di Giovanni Carnovali, detto il Piccio (foto in alto) .' '«Eliminare la prescrizione è un concetto fondamentale per credere in uno stato di diritto: è la cosa più ingiusta che un cittadino che possa subire.' "I centri anziani sono, infatti, del tutto autonomi e autogestiti, anche dal punto di vista economico: il contributo dei cittadini rimane quindi l'unico modo per provvedere al loro sostentamento."
1	'«Attendiamo i risultati degli accertamenti - ha spiegato l’avvocato Pirro [Antonella Pirro] - il mio assistito e i suoi familiari sono ancora molto scossi per quello che è accaduto».' "La prima tappa di un lungo giro di interrogatori è prevista però per lunedìì comparirà davanti al pm Polizzi [Giovanni Polizzi] l'ex vice di Maroni [Roberto Maroni], che resta a San Vittore in attesa della decisione del gip sulla richiesta di scarcerazione." "[Marianna Madia] Fu la prima a denunciare il marcio del Pd romano ma oggi fa il ministro della Pubblica amministrazione e come altri non sembra felice di buttarsi in un'impresa abbastanza disperata."

Label

Examples

'Molti i pezzi pregiati: il busto in terracotta di Ettore Ximenes (qui sopra) , il ritratto di Vittore Tasca vestito da Garibaldino di Giovanni Carnovali, detto il Piccio (foto in alto) .'
'«Eliminare la prescrizione è un concetto fondamentale per credere in uno stato di diritto: è la cosa più ingiusta che un cittadino che possa subire.'
"I centri anziani sono, infatti, del tutto autonomi e autogestiti, anche dal punto di vista economico: il contributo dei cittadini rimane quindi l'unico modo per provvedere al loro sostentamento."

'«Attendiamo i risultati degli accertamenti - ha spiegato l’avvocato Pirro [Antonella Pirro] - il mio assistito e i suoi familiari sono ancora molto scossi per quello che è accaduto».'
"La prima tappa di un lungo giro di interrogatori è prevista però per lunedìì comparirà davanti al pm Polizzi [Giovanni Polizzi] l'ex vice di Maroni [Roberto Maroni], che resta a San Vittore in attesa della decisione del gip sulla richiesta di scarcerazione."
"[Marianna Madia] Fu la prima a denunciare il marcio del Pd romano ma oggi fa il ministro della Pubblica amministrazione e come altri non sembra felice di buttarsi in un'impresa abbastanza disperata."

Evaluation

Metrics

Label	Accuracy
all	0.4876

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("fede-m/FGSDI_final_setfit_fold_3")
# Run inference
preds = model("Più di uno, direi.")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	3	39.7224	121

Label	Training Sample Count
0	45
1	254

Training Hyperparameters

batch_size: (16, 16)
num_epochs: (1, 1)
max_steps: -1
sampling_strategy: oversampling
num_iterations: 10
body_learning_rate: (2e-05, 2e-05)
head_learning_rate: 2e-05
loss: CosineSimilarityLoss
distance_metric: cosine_distance
margin: 0.25
end_to_end: False
use_amp: False
warmup_proportion: 0.1
l2_weight: 0.01
seed: 42
eval_max_steps: -1
load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0027	1	0.6338	-
0.1337	50	0.2115	-
0.2674	100	0.0385	-
0.4011	150	0.0039	-
0.5348	200	0.0012	-
0.6684	250	0.0007	-
0.8021	300	0.0003	-
0.9358	350	0.0002	-

Framework Versions

Python: 3.11.13
SetFit: 1.1.2
Sentence Transformers: 4.1.0
Transformers: 4.52.4
PyTorch: 2.6.0+cu124
Datasets: 3.6.0
Tokenizers: 0.21.2

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}

fede-m
/

FGSDI_final_setfit_fold_3