Επεξήγηση:
Οι συναρτήσεις ενεργοποίησης (activation functions) καθορίζουν πώς ένας τεχνητός νευρώνας «αποφασίζει» τι θα μεταδώσει στον επόμενο. Κλασικά παραδείγματα είναι οι ReLU, Sigmoid, Tanh και Softmax. Η σωστή επιλογή activation function μπορεί να επηρεάσει την ταχύτητα εκπαίδευσης, την απόδοση και τη δυνατότητα εκμάθησης σύνθετων σχέσεων. Χρησιμοποιούνται σε κάθε επίπεδο ενός νευρωνικού δικτύου για να προσδώσουν μη γραμμικότητα.