Судебные обязанности Ферма поглощали значительную часть его времени, а те скудные часы досуга, которые все же оставались, Ферма целиком посвящал математике. Отчасти это объяснялось тем, что во Франции XVII века не поощрялись светские связи судей.

Считалось, что друзья и светские знакомые судей сами могут оказаться под судом, и тогда личные связи могут помешать осуществлению правосудия. Изолированный от остальной части высшего общества Тулузы, Ферма мог сосредоточиться на своем любимом занятии.

Фронтиспис перевода «Арифметики» Диофанта выполненного Клодом Гаспаром Баше и опубликованного в 1621 году. Эта книга во многом вдохновила Ферма на его исследования

Не сохранилось никаких документальных свидетельств того, что у Ферма был учитель математики, который поощрял своего способного ученика. Наставником и учителем Ферма стала «Арифметика» Диофанта. В «Арифметике» теория чисел, как было принято во времена Диофанта, излагалась в виде ряда задач и их решений. В действительности Диофант развернул перед Ферма картину целого тысячелетия, заслуживающего осмысления со стороны математика. В одной «Арифметике» Ферма мог найти все, что было известно о числах благодаря трудам последователей Пифагора и Евклида. Теория чисел замерла после варварского сожжения Александрии, но Ферма преисполнился решимости возродить изучение самой фундаментальной из всех математических дисциплин.

Книга, вдохновившая Ферма, была латинским переводом «Арифметики», выполненным Клодом Гаспаром Баше де Мезириаком, считавшимся самым ученым человеком во всей Франции. Блестящий лингвист, поэт и знаток классических языков и литературы, Баше питал любовь к математическим задачам-головоломкам. Его первой публикацией был сборник занимательных задач под названием «Problemes plaisans et delectables qui se font par les nombres» . В сборнике были задачи о переправах через реку, переливании жидкостей и несколько фокусов с отгадыванием задуманного числа. Одна из задач ставила вопрос о подборе гирь: «Каков наименьший набор гирь, который позволит взвесить любой груз весом от 1 до 40 кг?»

Баше нашел остроумное решение задачи, показывающее, что удовлетворить ее требованиям можно, располагая набором всего лишь из четырех гирь. Решение Баше приводится в Приложении 4.

Хотя Баше был в математике всего лишь дилетантом, его интерес к задачам-головоломкам был настолько велик, что позволил ему осознать: задачи, приведенные в «Арифметике» Диофанта, — не просто головоломки и требуют более глубокого изучения. Баше поставил перед собой задачу перевести труд Диофанта и опубликовать его с тем, чтобы вдохнуть в методы греческих математиков новую жизнь. Следует иметь в виду, что подавляющее большинство достижений древних математиков было полностью забыто. Высшую математику не изучали даже в самых крупных европейских университетах, и только благодаря таким ученым, как Баше, она стала быстро возрождаться. Публикация в 1621 году выполненного Баше латинского перевода «Арифметики» Диофанта была его вкладом в начало второго золотого века в истории математики.

В «Арифметике» собраны сотни задач, и каждую из них Диофант снабдил подробным решением. Ферма не перенял столь высокий уровень доступности. Его совсем не интересовало создание учебника для будущих поколений. Он жаждал лишь одного — получить удовлетворение от решенной им задачи. Изучая задачи и решения Диофанта, Ферма черпал в них вдохновение и стал помышлять о том, чтобы самому заняться решением аналогичных и более тонких задач. Ферма записывал для себя лишь самое необходимое для того, чтобы убедиться в правильности полученного решения, и не заботился о том, чтобы изложить остальную часть доказательства. Чаще всего сделанные им торопливые записи отправлялись прямиком в мусорную корзину, после чего Ферма спокойно переходил к следующей задаче. К счастью для нас, опубликованный Баше латинский перевод «Арифметики» имел широкие поля, и иногда Ферма торопливо записывал на них ход своих рассуждений и свои комментарии. Эти заметки на полях стали бесценными, хотя и несколько отрывочными, документальными свидетельствами некоторых наиболее блестящих выкладок Ферма.

Одно из открытий Ферма касается так называемых дружественных чисел, тесно связанных с совершенными числами, так восхитившими Пифагора двумя тысячами лет раньше. Дружественными числами называются два числа, каждое из которых равно сумме делителей другого числа. Пифагорейцы совершили необычайное открытие, установив, что 220 и 284 — дружественные числа. Делителями числа 220 служат числа 1, 2, 4,5, 10, 11, 20, 22, 44, 55, 110, а их сумма равна 284. С другой стороны, делителями числа 284 служат числа 1, 2, 4, 71, 142; их сумма равна 220.

Пару чисел 220 и 284 стали считать символом дружбы. Мартин Гарднер в книге «Математические новеллы»  рассказывает о том, что в Средние века имели хождение талисманы с выгравированными на них числами 220 и 284, якобы способствующими укреплению любви. Некий арабский нумеролог сообщает об обычае вырезать числа 220 и 284 на плодах, один из которых влюбленный съедал сам, а другой давал съесть предмету своей страсти, как своего рода математическое средство усиления любовного влечения. Первые теологи отмечали, что в Книге Бытия Иаков отдает в подарок брату своему Исаву 220 животных — «двести коз, двадцать козлов». По мнению теологов, число животных, равное одному из чисел, образующих дружественную пару, свидетельствует о любви Иакова к Исаву.

Помимо 220 и 284 других дружественных чисел не было известно вплоть до 1636 года, когда Ферма обнаружил пару 17 296 и 18 416. И хотя это открытие нельзя назвать важным, оно свидетельствует о том, что Ферма хорошо знал натуральные числа и любил «играть» с ними. Ферма стал своего рода законодателем моды на нахождение дружественных чисел. Декарт открыл третью пару (9 363 584 и 9 437 056), а Леонард Эйлер продолжил список дружественных чисел до 62-й пары. Интересно отметить, что Декарт и Эйлер «проглядели» гораздо меньшую пару дружественных чисел. В 1866 году шестнадцатилетний итальянец, тезка великого скрипача, Никколо Паганини открыл пару 1184 и 1210.

В XX веке математики обобщили понятие дружественных чисел и занялись поиском так называемых «общительных» чисел — замкнутых циклов из трех и более чисел. Например, в тройке чисел

(1 945 330 728 960; 2 324 196 638 720; 2 615 631 953 920)

делители первого числа в сумме дают второе число, делители второго в сумме дают третье число, а делители третьего числа в сумме дают первое число. Самый длинный из известных циклов состоит из 28 общительных чисел, первое из которых равно 14 316.

Хотя открытие новой пары дружественных чисел сделало Ферма своего рода знаменитостью, его репутация выросла еще больше благодаря серии решенных им трудных задач.

Например, Ферма заметил, что число 26 «стиснуто» между числами 25 и 27, одно из которых представляет собой квадрат (25 = 5² = 5·5), а другое — куб (27 = 3³ == 3·3·3). Ферма занялся поиском других чисел, зажатых между квадратом и кубом, но найти ничего так и не удалось. Родилось подозрение, что число 26 единственное. После многодневных напряженных поисков Ферма удалось выстроить сложное доказательство, не оставлявшее сомнений в том, что 26 — действительно единственное число, заключенное между квадратом и кубом. Предложенная им цепочка логических доводов убедительно свидетельствовала, что ни одно другое число не обладает этим свойством.

Ферма сообщил об уникальном свойстве числа 26 математическому сообществу и бросил вызов, предложив доказать это. Ферма открыто признал, что располагает доказательством установленного им свойства. Вопрос был в том, хватит ли у других математиков сообразительности, чтобы справиться с предложенной задачей? Несмотря на простоту формулировки, решение задачи (доказательство утверждения) оказалось чрезвычайно трудным — можно сказать, недружественным по отношению к тем, кто пытался найти его, и Ферма доставляло особое удовольствие подтрунивать над английскими математиками Валлисом и Дигби, которые в конце концов были вынуждены признать свое поражение.

События развивались так, что величайшей «заявкой» Ферма на непреходящую славу оказался еще один вызов, брошенный им всему остальному миру. Но это была случайная задача-головоломка, не предназначавшаяся для публичного обсуждения.