Bei einer Erdwärmepumpe kommen zwei verschiedene Möglichkeiten in Betracht. Entweder wird die Wärme aus dem Boden durch Erdwärmekollektoren oder durch Erdwärmesonden nutzbar gemacht:
Die Erdwärmekollektoren werden in der Erde in 1,20 bis 1,50 Metern Tiefe in Schleifen im Erdboden verlegt, so wie man es von den Heizschlangen einer Fußbodenheizung kennt. Durch das Kühlmittel, das durch die Kollektoren zirkuliert, wird sich die oberflächennahe Wärme zunutze gemacht, die durch Sonneneinstrahlung von der Erde gespeichert wurde. Allerdings wird für die Verlegung der Kollektorschleifen eine relativ große Gartenfläche benötigt.
Für die Verlegung von Erdwärmesonden werden 50–90 Meter tiefe Erdbohrungen durchgeführt, um die geothermische Tiefenwärme zu nutzen. Für die Erdbohrungen wird eine Genehmigung benötigt und es müssen in der Regel bestimmte Anforderungen erfüllt werden – dafür braucht man für Erdsonden weniger Gartenfläche. Zudem ist bei einer Erdwärmepumpe keine Zusatzheizung nötig, da die Tiefenwärme von ca. 10 °C konstant nutzbar ist.