Malá obec se sedmi trvale obydlenými domy a sedmi rekreačními chalupami je ukryta v lesích. Na kruhové návsi najdete kapličku a rybníček.
Jméno se odvozuje od kozla a poprvé se ves měla připomínat v roce 1371, kdy ji koupil Oldřich z Kozlova. Jedná se však o omyl, protože tento vklad i pozdější půhony se týkají Kozlova u Křižanova. Kozlova na Bystřicku se týká až zápis markraběte Jošta, který dal pole v Kozlově u Bystřice Blažejovi (1394). V roce 1483 kozlovský rychtář platil společně se štěpánovským na kata do Bystřice. V té době zde už tedy stála rychta. Jde o čp. 4, které se dodnes pyšní ozdobeným portálem do dvora. O starobylosti budovy svědčí i bohaté klenutí. Dnes je rychta prohlášená za kulturní památku. Dle pověsti vedla z rychty podzemní chodba na nedaleký hrad Hradisko.
Na hradě, postaveném na skalnatém ostrohu nad Štěpánovem, sídlil podle pověsti loupeživý rytíř Štěpán. Sledoval z výše celé údolí řeky Svratky, hlavně kupecké vozy, které přepadal a obíral o zboží. Moravský markrabě Jan vyslal vojsko, aby rytíře i s posádkou zajalo a potrestalo. Hrad byl skutečně rozbořen a rytíř Štěpán zabit. Zachránila se jen jeho žena, která prchla tajnou chodbou ke Kozlovu, kde našla útočiště právě na rychtě. Pole, les i skálu s rozbořeným hradem pak z vděčnosti darovala rychtáři.
Místo nese dodnes název Hradisko a jsou na něm vidět skromné zbytky bývalého opevnění. Stavba retranslační stanice v místě horního hradu zničila zbytky zdí a hradní příkop. V některých pramenech se mu říkalo Kozlovský hrad. Spojitost hradu s obcí zřejmě vedla k tomu, že malý Kozlov (míval od pěti do deseti domů) držel vlastní rychtu, k níž patřily nejen blízké Lesoňovice, ale i Pivonice, Hrdá Ves a do roku 1579 i Dvořiště.
Po smrti Tomáše Opice byla rychta v roce 1637 prodána za 300 zlatých. Kozlovská rychta měla v roce 1689 ve znaku v horním poli zubří hlavu a ve spodním poli křížem položenou motyku a rýč.
V blízkém okolí se těžil vápenec a mramor, jenž byl použit i při stavbě doubravnického kostela. Lom byl otevřen ještě v letech 1926–1930 a dříve se v něm nacházel krásně modrý kazivec. Zdejší obyvatelé se živili zemědělstvím. Pole a lesy si dosud zachovaly svá jména. Pole Na Horkách, Za Brdama, Stráně, Na Kamenici, Žleby, Roviny, Dubinky, Na Štípavce a lesy Hradisko, Břešť, Valůvka, Čihadlo, Smutná Zmola, Babylon, Ochůzky a Háj.
Od roku 1850 byl Kozlov osadou obce Lesoňovice, od roku 1980 se stal částí obce Bystřice. Děti z Kozlova navštěvují školy ve Štěpánově nad Svratkou (3 km) a v Bystřici nad Pernštejnem (6 km). Kozlov patří ke štěpánovské farnosti, místem posledního odpočinku je štěpánovský hřbitov.
V roce 1849 byl na návsi postaven železný kříž a vedle něj v roce 1862 kaplička. Pamětní deska tu připomíná Karla Halousku padlého v první světové válce. Silnice Lesoňovice–Kozlov byla otevřena v roce 1937.
Z okolí obce se naskýtají krásné výhledy do údolí Svratky, zvláště vybarvený podzim tu bývá kouzelný. Nejvyšší bod zdejšího kraje Kozlovská horka (576 m n. m.), zvaná též Babylon, je pokryt pozoruhodnými skalisky a kromě borovic zde rostou zdravé buky.
V mládí zajížděl pravidelně na Kozlov sochař a řezbář Jiří Bořivoj Trnka (1949). Na Hradisku se odehrává román Hynka Jurmana Ve znamení zubří hlavy (2000).
Vesnicí vede žlutě značená turistická stezka z Bystřice do Štěpánova.