Działanie pompy ciepła jest oparte na prostym mechanizmie. Pompy ciepła pobierają ciepłą energię z pewnego źródła, którego temperatura jest niższa niż w ogrzewanym pomieszczeniu i przetwarza to ciepło tak, aby miało wyższą temperaturę niż na początku.
Ten sposób działania porównuje się często do pracy lodówki, która pobiera ciepło z zawartych w niej produktów i oddaje to ciepło otoczeniu. Pompa ciepła działa w ten sam sposób. Odpowiednia instalacja pompy ciepła (np. układ rurek wypełnionych glikolem z wodą) pobiera ciepło z gleby, powietrza czy wody gruntowej, następnie kondensuje to ciepło za pomocą sprężarki i oddaje swojemu otoczeniu.