J. Edgar Hoover két év híján fél évszázadon keresztül volt az FBI igazgatója. Amikor átvette az iroda vezetését, annak 650 alkalmazottja volt, 1960-ban azonban már 16 000 (napjainkban több mint 35 000 fő). Hoover hozta létre az iroda tudományos laboratóriumát, ujjlenyomat-nyilvántartó rendszerét, s nagy gondot fordított detektívjei megfelelő képzésére, felszerelésére és utánpótlására. Az FBI ügynökei igen sok gengsztert fogtak el vagy lőttek le az ő irányításával. Sikeresen szorították vissza a Ku Klux Klan befolyását is, majd több náci és szovjet kémet letartóztattak. Az FBI szakértői fontos szerepet játszottak a brit-amerikai, úgynevezett VENONA-programban is, amellyel sikerült megfejteni a szovjet hírszerzők kódjait.

Az 1930-as évek leghíresebb bűnügyének tettesét is Hoover emberei találták meg. 1932 március 1-én elrabolták egy „amerikai nemzeti hős”, az Atlanti-óceánt egyedül átrepülő Charles A. Lindbergh pilóta másfél éves fiát. Bár az apa megfizette a kért váltságdíjat, a gyermek (valószínűleg még az elrablása idején) meghalt: holttestét az erdőben találták meg, három kilométerre a Lindbergh-háztól. 1934 szeptemberében a kizsarolt pénz egy részét megtalálták a büntetett előéletű Bruno Richard Hauptman bronxi otthonában, akit a bíróság halálra ítélt, s villamosszékben kivégezték. Bár a „Lindbergh-bébi” ügye ugyanúgy az amatőr detektívek kedvenc kutatási területévé vált, mint később a Kennedy-gyilkosság, a tárgyilagos szakértők szerint az FBI ezúttal is jó munkát végzett. Nyomozói hamarosan népszerűvé váltak, s az amerikai szleng „G-man” (Government Man, vagyis a kormány embere) néven emlegette őket. Állítólag George „Géppisztoly” Kelly szólította így az FBI ügynökeit, amikor letartóztatásakor könyörgött, hogy ne lőjék le. Hollywood pedig immár nem a gengsztereket, hanem az ellenük harcoló szövetségi ügynököket választotta filmjei hőseinek. Clint Eastwood filmjében az FBI vezetői elégedetten nézik az 1935-ben, James Cagney főszereplésével készült G-Men című filmet (amely hazánkban A rend katonái címet kapta.)

J. Edgar Hoover egyre hiúbb lett, hízelgőkkel vétette körül magát, irodáját bűnügyi trófeákkal rendezte be, s íróasztala mögött, egy magasított emelvényen ülve fogadta látogatóit. Saját szerepét szívesen felnagyította, s a sikeresebb munkatársaira féltékenykedett.

Túlságos szabadon osztogatta a „kommunista” jelzőt, s törvénytelen eszközökkel egyre több titkos dossziét állított össze baloldaliakról, szocialistákról, liberálisokról és a polgárjogi mozgalmak vezetőiről. Anyagot gyűjtött Franklin Delano Roosevelt elnök feleségéről, akit leszbikus kapcsolatokkal próbált megvádolni, William O. Douglasről, a Legfelsőbb Bíróság tagjáról és Martin Luther Kingről. A McCarthy-féle boszorkányüldözés éveiben készségesen együttműködött a Képviselőház Amerika-ellenes Tevékenységet Vizsgáló Bizottságával. Charlie Chaplin részben az FBI fellépése miatt döntött úgy 1952-ben, hogy nem tér vissza az Egyesült Államokba. 1956-tól 1971-ig a hivatal rendszeres rágalom-hadjáratot folytatott a legkülönbözőbb egyének és csoportok ellen, akiket Hoover veszélyesnek tekintett az Egyesült Államok biztonságára. (Ezt emlegették COINTELPRO, Counter Intelligence Program vagyis hírszerzés-elleni program néven.) A polgárjogi mozgalmak résztvevőiről Hoover makacsul azt állította, hogy a kommunista párt irányítása alatt állnak. Az FBI figyelme még olyan, politikailag jelentéktelen személyiségekre is kiterjedt, mint Jean Seberg színésznő, akiről azt terjesztették, hogy a Fekete Párducok mozgalom egyik tagjától esett teherbe.

Az Egyesült Államok elnökei nem nézték jó szemmel Hoover tevékenységét, ugyanakkor szükség esetén mégiscsak hozzá folyamodtak információért. Harry S Truman kijelentette, hogy „Nem akarunk sem Gestapót, sem titkos rendőrséget! Az FBI ebbe az irányba halad. Szexuális botrányokkal és nyílt zsarolással foglalkoznak!... Ennek véget kell vetni!”. Az elnök mégis az FBI-ra bízta „hűség-programjának”, vagyis a szövetségi alkalmazottak megbízhatósága ellenőrzésének irányítását. Amikor John Fitzgerald Kennedyt elnökké választották, többen is megkérték befolyásos barátai közül, hogy váltsa le Hoovert. Ő azonban el akarta kerülni, hogy az FBI kellemetlen tényeket szivárogtasson ki magánéletéről, s Hoovert a helyén hagyta. Az FBI igazgatója ezt azzal hálálta meg, hogy 1962-ben tudatta vele, egyik szeretője, Judith Campbell Exner a chicagói maffia vezetőjével, Sam Giancanával is szerelmi viszonyt folytat. A Kennedy-gyilkosság idején Hoover egyáltalán nem segítette megfelelően a történteket vizsgáló Warren-bizottság munkáját, sőt, dossziékat készíttetett a bizottság tagjairól. Részben az FBI-nak köszönhető, hogy a társadalom kétségeket táplált a Warren-bizottság jelentéséről, s nem hitte el, hogy Lee Harvey Oswald magányos gyilkos volt.

A következő elnök, Lyndon Baines Johnson komolyan fontolóra vette Hoover eltávolítását az FBI éléről, hiszen elnöksége idején az igazgató már túl volt a szövetségi alkalmazottak kötelező nyugdíj-korhatárán. De aztán mégis úgy döntött, hogy kevesebbet árthat, ha a helyén marad. Ezt Johnson a tőle megszokott stílusban, a következő szavakkal fogalmazta meg: „Jobb, ha bent van a sátorban, és bentről pisál ki, mintha kint marad, és kintről pisál be”. 1964-ben még arra is megkérte, hogy titkos jelentéseket küldjön a számára közvetlen felettese, Robert Kennedy igazságügy-miniszter tevékenységéről, aki Johnson riválisa volt a Demokrata Pártban. De azért éreztette vele, hogy ki a főnök, és egy telefonbeszélgetés során így kiáltott rá: „Edgar, nem jól hallom, amit mondasz! Mi van, lehallgattatod ezt a telefont?”. Hoover csak egy ideges nevetéssel válaszolt.

Richard Nixon 1970-ben úgy vélekedett, hogy az FBI, a CIA, a Védelmi Hírszerző Ügynökség és a Nemzetbiztonsági Ügynökség túl sok alkalmazottal rendelkeznek, pocsékolják a pénzt, rivalizálnak egymással és rosszul látják el feladataikat. Azt tervezte, hogy ezentúl az ő embere, Tom Huston fogja összehangolni a feltételezett terroristák elleni telefon-lehallgatásokat, betöréseket, a besúgók toborzását és az ügynökök beépítését. Mindenki legnagyobb meglepetésére Hoover alkotmány-ellenesnek tartotta ezt a tervet, s rávette John Mitchell igazságügy-minisztert, hogy beszélje róla le az elnököt. Valószínűleg azért nem támogatta Nixon elképzelését, mert a terv csökkentette volna az FBI hatalmát. Pár év múlva pedig kiderült, hogy az FBI már régóta olyan módszereket használt, amilyenekről Hoover az alkotmányra hivatkozva lebeszélte az elnököt.

Az FBI igazgatója sokáig élt együtt idős édesanyjával, és volt saját családja. Szabadkőműves volt, és igen sok kitüntetést kapott e társaságtól. Egyesek szerint Dorothy Lamour színésznő szeretője volt, és többen is úgy vélték, hogy feleségül fogja venni egy másik színésznő, Ginger Rogers anyját, Lela Rogers-t. Hoover azonban inkább az egyik helyettesével, Clyde Tolsonnal járt vacsorázni, lóversenyezni és vakációzni, s ezért sokan homoszexuális hajlamokkal gyanúsították. Életrajzíróinak véleménye megoszlik e kérdésben. Nem valószínű, hogy aki évtizedeken át kampányt folytatott a homoszexuálisok ellen, azt hangoztatva, hogy nem lenne szabad kormányhivatalt kapniuk, ilyen viszonyt folytatott volna. Valószínűleg közelebb állnak az igazsághoz azok, akik mindössze elfojtott homoszexuális hajlamokat tulajdonítanak neki.