J'ai le même souci, je dispose également de radiateur en fonte. Je pense opter pour une pompe à chaleur (géothermie), car je dispose d'une surface de terrain suffisant pour le faire. L'économie est importante : pour 110 m² on se chauffe pour environ 250 € par an (en Bretagne).
Par contre l'investissement est important, même s'il y a des réductions d'impôt. Je n'ai pas fait de devis, mais avec l'augmentation du fioul ça ne serait tarder.

Je me pose exactement la même question, dans le cas d'une maison non susceptible d'être raccordée au gaz de ville et ne bénéficiant pas d'une cour assez grande pour installer une citerne de gaz à la place de la cuve à fuel.

C'est parfaitement réalisable et j'ai fait moi même l'installation sans grosses difficultés.
Ce qui est très important, c'est la ligne électrique qui alimente la chaudière.
Pour ma part je l'ai réalisée avec du 6mm² et protégée par un disjoncteur différentiel 40A 30 mA.

Oui, un tel changement ne présente pas de réels soucis, mais il convient de bien choisir la chaudière en fonction de la puissance des radiateurs installés.
Il faut aussi se souvenir si dans certaines pièces le chauffage convenait bien ou s'il faisait trop ou pas assez chaud, si la chaudière ancienne produisait ou non l'eau chaude.
Si oui prévoir un che électrique en plus !
L'emploi d'une chaudière électrique peut aussi revenir bien plus cher qu'avec une chaudière fioul dernière génération, et si l'on n'est pas employé EDF, et ce depuis plusieurs années, car les avantages ne sont plus du tout les mêmes, ATTENTION à L'ADDITION.
De toute manière il est indispensable de procéder à la mise en place sur chaque radiateur d'un robinet thermostatique fiable et bien installé suivant les indications du fabricant, sinon il ne fonctionnera pas convenablement, il est aussi possible pour les cas litigieux de placer la commande "à distance", c'est un autre modèle de "tête" avec un capillaire relié au corps du robinet.
La chaudière devra aussi être équipée d'origine d'une régulation montée d'usine (l'adaptation ultérieure étant moins performante et souvent plus onéreuse), ne pas oublier non plus que 1° en plus c'est + 7% de consommation.
De toute manière si l'isolation de l'habitation est importante dans le cas du fioul, elle est primordiale pour quelqu'un qui paie l'électricité au prix "normal", ce malgré le double tarif heures normales et heures creuses, se renseigner AVANT aussi sur une possible augmentation de puissance, ce qui risque de changer le tarif de l'abonnement en fonction de l'initial, avec la puissance chaudière électrique en plus.
Si c'est une solution pour une maison où le passage d'une cheminée, celui de la cuve pose souci, la chaudière électrique reste la plus pratique, mais j'attire votre attention sur la facture, en avant et après saison, quand le thermomètre reste aux environs de +5° cela peut encore aller, en température négative le changement est rapide et si l'on descend à -5, voir - 10° alors là le compteur s'accélère...
En résumé, je dirai que la chaudière électrique peut parfaitement convenir aux logements ou maison dont la puissance ne dépasse pas 12 kW de puissance chaudière, ce qui avec un abonnement préalable de 6 kW (le plus courant), amènera à opter pour un 18 kW, au-dessus cela risque d'être passablement plus cher, même si l'installation de délesteurs reste toujours possible...
Si le coût n'est pas un vrai souci, alors il n'y a pas de limite, en revanche si l'économie maximum est le but recherché la chaudière électrique n'est pas la bonne solution loin de là.
Ancien installateur j'ai essayé bien des énergies : chaudière électrique 8 kW en inter-saison, chaud. Double foyer fioul/bois, chauffe-eau électrique 200 litres (toute la famille présente) et pour seulement nous 2 chaudières 100 litres, pompe à chaleur eau chaude seule, l'article le plus économique de tous pour la production d'ECS : 3cts de Francs/litre.
Seulement il faut pouvoir trouver un matériel de qualité, produit par un constructeur fiable, ceux qui réalisaient ces modèles ont abandonné, des produits bas de gamme (plus souvent en panne qu'en service) ont détruit le marché, idem pour les installateurs peu scrupuleux où seul comptait le prix bas et non la satisfaction du client...
Actuellement le prix du fioul revenant à la hausse, nul doute que le marché va de nouveau repartir, voire exploser, ce qui fait que de multiples entités nouvelles font une publicité de quasi matraquage, attention danger, en ce qui concerne la géothermie, il y a deux solutions qui s'affrontent, et une société est déjà dans le collimateur des clients, ceux-la ont payé des installations qui ne leur permettent pas de se chauffer, avec 16° maxi et une consommation électrique multipliée par plus de trois, 2100 kW au lieu de 700 et l'année n'est pas terminée, les économies promises se transforment en cauchemar...
Si je devais donner un "conseil", avis à tous ceux qui ont leur installateur depuis des années et sont satisfaits, aller voir ailleurs, c'est prendre des risques... sans oublier de se renseigner tout de même sur les aptitudes de celui-ci vis à vis des énergies en question, un chauffage au bois bûches est moins technique qu'une chaufferie automatisée brûlant des plaquettes ou des granulés, voir des céréales... Oui OUI, ça existe, car avec nos principes de précaution et nos règles sanitaires, le moindre grain fermenté ou moisi et c'est tout le silo qui part en "fumée"...
Il y aurait encore beaucoup à dire mais bon je suis déjà hors sujet...