Na ja, prinzipiell hängt das auch irgendwie davon ab, was du vorhast.
Man kann erst mal statische und dynamische Webseiten unterscheiden.
Die Basis des WWW ist (X)HTML. Ob (X)HTML nun eine Programmiersprache ist, oder nicht, darum gibt es immer wieder Diskussionen aber das ist hier vmtl. auch eher egal, was es aber ganz sicher ist, ist eine Beschreibungssprache. Du beschreibst mit Hilfe von Befehlen, die in spitzen Klammern (Tags) stehen, die Struktur des Dokumentes, kannst die Überschrift festlegen, Abschnitte markieren, oder Formatierungen vornehmen, wie du sie in Word über die Befehlsleiste bewirkst. Wenn du mal sehen willst, wie das aussieht, kannst du in deinem Browser nach der Funktion "(Seiten)Quelltext anzeigen" suchen (im Firefox unter Ansicht).
Die zweite wichtige Technologie ist CSS. Mit CSS kannst du (zusätzliche) Formatierungen vornehmen, in dem du für bestimmte Elemente von HTML Aussagen triffst wie "alles was mit dem Tag für fett ausgezeichnet ist, soll zusätzlich Schriftgröße 12 haben, blau sein und unterstrichen" etc. Solche Formatierungen kann man zwar auch in (X)HTML festlegen, aber hinter der Idee von CSS steht der Gedanke, dass man Inhalt und Aussehen von einander trennt; durch bloßes einbinden eines anderen CSS-Stylesheets erhältst du im Idealfall eine völlig andere Optik.
Das sind wohl so die beiden Basistechnologien, die auch nicht schwer zu erlernen sind. Sauberes und valides XHTML und CSS zu schreiben muss man sich allerdings erst erarbeiten; teilweise kommt nämlich der Effekt zustande, dass Sachen so angezeigt werden, wie man's gerne hätte, obwohl der Code schlecht ist, weil die Browser das interpolieren.
Darüber hinaus gibt es noch so Sachen wie JavaScript und Flash, die man für den Anfang weglassen sollte.
Jedenfalls: Statische Seiten sind nun eben Seiten, die so auf dem Webspace abgelegt werden, wie sie dein Browser vorgelegt bekommt; es ändert sich nichts, alle Links sind fest und wenn man etwas ändern will, muss man die Seiten per Hand modifizieren. Eine Board-Software wie diese in reinem HTML und CSS zu schreiben wäre meines Wissens nach wohl eher nicht möglich.
Da kommen die dynamischen Seiten in's Spiel. Der Unterschied ist, dass auf dem Server (also dem Rechner, der die Seite ausliefert) ein Programm läuft, das bestimmte Aktionen ausführt und HTML und CSS ausspuckt. Statt der graphischen Oberfläche, die du von Desktopprogrammen kennst, ist sozusagen das HTML in deinem Browser die Benutzeroberfläche zu dem Programm, das auf dem Server läuft. Die Seite wird dynamisch auf deine Anfrage hin zusammengebaut und ausgeliefert, von dem Programm auf dem Server bekommst du eher nichts mit. Ein einfaches Beispiel wäre etwa eine Seite, die die aktuelle Zeit auf dem Server ausgibt: Du rufst die Seite auf, auf dem Server läuft ein Programm, das zum Beispiel eine vorgefertigte HTML Datei nimmt, an einer besonders markierten Stelle die aktuelle Uhrzeit einsetzt, das an den Server weitergibt und der liefert dir die Seite mit der Uhrzeit (das ist nur einer von möglichen Abläufen, die genaue Vorgehensweise kann stark unterscheiden). Solche "Internetprogramme" werden manchmal auch Internetapplikationen/Webapplikationen genannt. Gängige Programmiersprachen in dem Bereich sind zum Beispiel PHP, Perl, Ruby, Python, oder Java, aber prinzipiell kann man das in jeder Sprache machen (etwa mittels CGI). Zusätzlich läuft oft noch eine Datenbank und das ganze baut auf einem Programmgerüst auf (Web(application)framework), das bestimmte Aufgaben einfacher macht usw.
Die angesprochenen CMS sind solche Webanwendungen, die man runterladen und auf seinem Webspace installieren kann. Der Webspace muss dann aber auch die jeweilige Technologien unterstützen (was allerdings viele Anbieter tun, wenn man nichts exotisches haben will). Eine zweite Möglichkeit wäre einen (virtuellen) Server zu mieten. Das hat den Vorteil, dass man freier ist, allerdings den Nachteil, dass es mehr Kohle kostet, und man wissen muss, wie man den Server adäquat einstellt, wartet und betreut (evtl. gibt es da auch Anbieter, die einen uynterstützen, aber das weiß ich nicht mit Sicherheit). Die von GEH erwähnte Möglichkeit, selbst einen kleinen Server zu betreiben, ist die, die für Leute, die gerne basteln bestimmt am attraktivsten ist. Sie hat aber mehrere Nachteile: Der Rechner muss immer laufen, wenn die Seite erreichbar sein soll (und kostet entsprechend Strom), deine Bandbreite wird ggf. in Mitleidenschaft gezogen, zusätzlich stellt es ein erhöhtes Sicherheitsrisiko dar (insb. wenn du es sogar noch auf deinem normalen Rechner laufen lässt) und der Server muss natürlich auch gewartet und unterhalten werden (was nicht ganz trivial ist, insb. wenn's um sicherheitsrelevante Fragestellungen geht). Kurz um: Für den Einstieg würde ich das ehrlich gesagt nicht empfehlen, wenn man nicht über das nötige KnowHow verfügt, bzw. es sich aneignen will. Zu Testzwecken ist das aber wunderbar (für PHP gibt's da zum Beispiel XAMPP).
Also kurz zusammenfassend: Wenn du einfach erstmal nur reinschnuppern möchtest, würde ich vorschlagen, lern etwas XHTML und CSS und besorg dir einen Umsonstwebspace. Wenn du daran Gefallen gefunden hast, wirst du von alleine den weiteren Weg finden. Für einige eigene Texte und ein paar Downloads brauchst du kein CMS.
Möglichkeit zwei wäre halt: besorg dir einen günstigen Webspace und installier darauf eines der genannten CMS, oder WordPress, oder sowas. Hängt stark davon ab, was du willst und braucht. Ich finde allerdings, man sollte solche Software nur einsetzen, wenn man sie auch braucht. In vielen Fällen ist so ein CMS einfach total überdimensioniert und eine normale statische Seite wäre mehr als genug. Man muss sich auch immer klar machen, dass die Zahl der potentiellen Sicherheitsprobleme mit der Menge der involvierten Software steigt, und auch wenn über Drupal oder Wordpress viele aufmerksame Augen schauen, kann sich immer ein Fehler einschleichen und selbst wenn nicht muss man immer mit Updates usw. hinterher sein. Auch finde ich, dass man zumindest ungefähr wissen sollte, was man tut, wie die Software, die man verwendet, funktioniert und worauf man achten muss - Und wenn man sich ein Drupal installiert, ohne eine Zeile PHP oder XHTML lesen zu können, tut man das ehrlich gesagt nicht. (Ich hoffe, das klingt nicht zu pessimistisch und elitär

ist nur als guter Rat gemeint)
Also: Überleg dir was du willst, was du brauchst und ggf. kannst du ja bei Interesse die genannten Schlüsselwörter nachsehen. Es gibt dazu auch viele Anleitungen, und ein CMS hat auch viele Vorteile, trotz, dass ich das so negativ dargestellt habe

In jedem Fall viel Spaß und viel Erfolg bei dem Unterfangen