| Summary: | Ένα από τα σημαντικότερα πεδία έρευνας της κατανόησης φυσικής γλώσσας είναι η κειμενική συνεπαγωγή. Αναπαριστά την ικανότητα εξαγωγής συμπερασμάτων κατά τη διάρκεια προφορικής ή γραπτής επικοινωνίας. Το πρόβλημα αποτελείται από δυο προτάσεις, την προϋπόθεση και την υπόθεση, και μια ετικέτα που εκφράζει τη σχέση τους. Αν η υπόθεση μπορεί να συμπεραθεί από την προϋπόθεση το ζευγάρι χαρακτηρίζεται ως «συνεπαγωγή». Αν η υπόθεση αντιφάσκει την προϋπόθεση, το ζευγάρι χαρακτηρίζεται ως «αντίφαση» και όταν οι πληροφορίες δεν είναι αρκετές για να βγει συμπέρασμα, το ζευγάρι χαρακτηρίζεται ως «ουδέτερο». Σε αυτή τη διπλωματική παρουσιάζουμε μοντέρνες τεχνικές βαθιάς μάθησης όπως τον προ-εκπαιδευμένο μετασχηματιστή BERT αλλά και παλαιοτέρα μοντέλα. Συγκρίνουμε πέντε διαφορετικά νευρωνικά μοντέλα σε οχτώ σύνολα δεδομένων κειμενικής συνεπαγωγής. Παραμετροποιούμε το κάθε μοντέλο σε κάθε σύνολο και παρουσιάζουμε τα καλυτέρα αποτελέσματα για το καθένα. Στη συνέχεια, αξιολογούμε την ικανότητα των μοντέλων στο BreakingNLI, ένα σύνολο ελέγχου που αξιολογεί την ικανότητα των μοντέλων στην αναγνώριση λεκτικής συνεπαγωγής. Τέλος, κάνουμε ένα πείραμα ικανότητας γενίκευσης των μοντέλων όπου εκπαιδεύουμε το κάθε μοντέλο στο κάθε σύνολο και το αξιολογούμε στα δεδομένα ελέγχου των υπολοίπων. Στο πρώτο μέρος του πειράματος τα αποτελέσματα μας δείχνουν την υπεροχή των μετασχηματιστών BERT, RoBERTa, ALBERT έναντί των παλαιότερων τεχνικών. Ιδιαίτερα φανερή είναι αυτή η διαφορά όταν αξιολογούμε στο BreakingNLI. Επίσης παρατηρούμε πως το μεγαλύτερο μέγεθος των μετασχηματιστών σχετίζεται με καλύτερη απόδοση ενώ το ALBERT πετυχαίνει συγκρίσιμα αποτελέσματα με 18 φορές λιγότερες παραμέτρους. Ωστόσο, στο πείραμα γενίκευσης όλα τα μοντέλα αποτυγχάνουν να διατηρήσουν τις καλές τους αποδόσεις σε ξένα δεδομένα.
|
|---|
