Βράζουμε τις πένες σε αλατισμένο νερό για 10΄. Τις στραγγίζουμε και τις ξεπλένουμε με κρύο νερό (για να μην κολλάνε μεταξύ τους), τις στραγγίζουμε καλά και τις βάζουμε μέσα σε βαθιά σαλατιέρα. Τις ραντίζουμε με ελαιόλαδο για μην κολλήσουν . Προσθέτουμε και τα υπόλοιπα υλικά: τις πιπεριές, την ντομάτα, την κάππαρη, τις ελιές, τα φρέσκα κρεμμύδια και τα μυρωδικά. Αλατοπιπερώνουμε τη σαλάτα και ανακατεύουμε πολύ καλά. Σε ένα μπολ βάζουμε όλα τα υλικά για τη σος και με σύρμα τα χτυπάμε καλά, να πυκνώσει η σος. Περιχύνουμε με αυτή τη σαλάτα και ανακατεύουμε καλά να ενωθούν τα ζυμαρικά με το ντρέσινγκ. Σερβίρουμε τη σαλάτα σε θερμοκρασία δωματίου.