Die Hauptabteilung II wurde 1953 durch Fusion der Abteilungen II (Spionage) und IV (Spionageabwehr) gebildet. Sie deckte klassische Bereiche der Spionageabwehr ab. Dazu zählte auch die interne Abwehrarbeit im MfS, etwa die Überwachung aktiver und ehemaliger MfS-Mitarbeiter, von Einrichtungen der KGB-Dienststelle Berlin-Karlshorst sowie von Objekten der sowjetischen Streitkräfte und der Sektion Kriminalistik an der Ostberliner Humboldt-Universität. Darüber hinaus betrieb die Hauptabteilung II im Rahmen der "offensiven Spionageabwehr" aktive Spionage in der Bundesrepublik; diese zielte auf westliche Geheimdienste, auf Bundeswehr, Polizei, Massenmedien, Emigrantenverbände u. a.
Die Hauptabteilung II überwachte, sicherte und kontrollierte die DDR-Botschaften im Ausland, die ausländischen diplomatischen Vertretungen in der DDR sowie das Außenministerium der DDR. DDR-Bürger, die westliche Botschaften bzw. die Ständige Vertretung der Bundesrepublik in Ostberlin aufsuchten, wurden systematisch erfasst. In den Zuständigkeitsbereich der Hauptabteilung II fielen auch die Überwachung der in der DDR lebenden Ausländer sowie die Betreuung von Funktionären und Mitgliedern illegaler, verfolgter kommunistischer Parteien, die in der DDR Aufnahme fanden.
Besondere Brisanz beinhaltete die politisch-operative Sicherung der Westkontakte von SED und FDGB. So kümmerte sich die Hauptabteilung II um die Militärorganisation der DKP ("Gruppe Ralf Forster", eine ca. 220 Bundesbürger umfassende Sabotage- und Bürgerkriegstruppe), organisierte in Absprache mit der NVA deren militärische Ausbildung, finanzierte die Gruppe und stattete sie mit Falschpapieren aus.
Die Hauptabteilung II sicherte (bis 1961 und wieder ab 1980; zwischenzeitlich gab es hierfür die Abteilung BdL II) die Abteilung Verkehr des ZK der SED ab, die kommunistische Organisationen im Westen unterstützte und dort SED-Tarnfirmen betrieb. Die Hauptabteilung II versuchte, Aktivitäten bundesdeutscher Behörden gegen DKP, SEW und SED-Tarnfirmen festzustellen und zu verhindern.
Im Ergebnis der Entspannungspolitik nahmen Begegnungen zwischen Ost- und Westdeutschen zu, westliche Medienvertreter konnten sich in der DDR akkreditieren. Das veranlasste den beträchtlichen personellen Ausbau der Hauptabteilung II. Sie war nun auch zuständig für die Überwachung westlicher Journalisten in der DDR. Ziel war es, unerwünschten Informationsabfluss und unbequeme, kritische Berichterstattung zu verhindern. 1987 übertrug Erich Mielke in der Dienstanweisung 1/87 der Hauptabteilung II die Führung der Spionageabwehr, um ein unkoordiniertes Nebeneinander verschiedener Diensteinheiten zu vermeiden.
Die Hauptabteilung II leitete von Beginn an die Operativgruppen des MfS in der Sowjetunion und Polen, seit 1989 auch in der ČSSR, Ungarn und Bulgarien. Mit den entsprechenden Spionageabwehr-Abteilungen in diesen Ländern gab es eine ausgeprägte bi- und multilaterale Zusammenarbeit, die aber erst in den frühen 80er Jahren vertraglich fixiert wurde (kommunistischer Geheimdienst). Im Dezember 1981 übernahm die Hauptabteilung II innerhalb des MfS die Federführung bei der Bekämpfung der unabhängigen polnischen Gewerkschaft "Solidarność". Schließlich unterstützte die Hauptabteilung II Sicherheitsorgane in (pro)sozialistischen Entwicklungsländern, entsandte Berater und bildete deren Geheimdienstmitarbeiter in der DDR aus.
Die Hauptabteilung II verfügte über eigene Abteilungen für Fahndung, Logistik, operative Technik und Beobachtung und war in dieser Hinsicht nicht auf andere Abteilungen angewiesen. Zum unmittelbaren Anleitungsbereich des Leiters der Hauptabteilung II gehörte die Abteilung M (Postkontrolle).
1989 zählte die Hauptabteilung II in der Ostberliner Zentrale 1.432 hauptamtliche Mitarbeiter, in den Bezirksverwaltungen (BV) auf der Linie II weitere 934. Hinzu kamen Mitarbeiter in den Kreisdienststellen (KD), die die Aufgaben der Linie II ausführten. Genaue Zahlen der Inoffiziellen Mitarbeiter (IM) ließen sich bis heute nicht ermitteln. Die Hauptabteilung II hatte mindestens 3.000 IM, die Abt. II der BV etwa 4.000; hinzu kamen weitere IM der KD. 1976 führte die Hauptabteilung II im Westen 109 IM. Unter den West-IM befanden sich z. T. hochkarätige Agenten.