Passwords are the COBOL of authentication. They refuse to die.

The more interesting question is not how to secure password databases, but why we build them at all.

Authentication systems differ mainly in where secrets live — and who must protect them.

Three Authentication Architectures

Most web applications today use one of three authentication architectures:

1. Shared secrets stored by the server (passwords).

2. Temporary proofs delivered through an external channel (email OTP or social login).

3. Public-key authentication using device-held credentials (passkeys).

Each design moves the location of secrets and therefore the location of risk.

We’ve always done it this way

Passwords implement a shared-secret architecture. The user creates a secret and the server stores a derived version. Authentication succeeds when both sides demonstrate knowledge of the same secret.

Even when implemented correctly (with modern hashing such as argon2id, breach screening, and brute-force protection) the system must defend an attack surface created by the existence of those secrets.

Password systems introduce several attack classes: credential stuffing, password reuse, guessing, phishing, and offline cracking after database breaches.

The 2012 LinkedIn breach illustrates the problem. Once attackers obtained millions of password hashes, they could crack them offline indefinitely without interacting with LinkedIn’s servers.

Credential stuffing remains one of the most common causes of account takeover today. Attackers reuse passwords leaked from other breaches and automate login attempts across services.

Storing passwords forces you to build an entire defensive subsystem: hashing and storage, reset flows, brute-force protections, breached-password checks, and account recovery mechanisms. Password policies attempt to enforce entropy. Users respond with creativity.

We could have done it like that

Email-based authentication follows a different model. Instead of storing a long-lived secret, the application verifies that the user currently controls an external communication channel — usually an email inbox.

Typical flow:

1. User enters email.

2. The system sends OTP or a magic link.

3. The user proves access to the inbox.

Because the system stores no user-generated secrets, several password-specific attacks disappear entirely. There are no passwords to reuse, guess, or crack after a database breach.

However, the trust boundary shifts. Security now depends heavily on the availability and secrecy of the user’s mailbox.

We should be heading this way

Passkeys represent a third architecture based on public-key cryptography. During signup, the user’s device generates a key pair. The public key is registered with the server while the private key remains on the device. During login, the server sends a challenge that the device signs using the private key, typically unlocked with biometrics or a device PIN.

No shared secret exists between the server and the user. Because the server stores only public keys, credential databases become far less valuable to attackers. Passkeys also provide strong phishing resistance: authenticators verify the origin of the requesting website before signing a challenge. After Google deployed hardware security keys internally, phishing attacks against those accounts effectively dropped to zero.

In practice, passkey deployments still require recovery mechanisms (often email) which reintroduces some properties of proof-of-inbox systems.

Comparing the Architectures

Viewed as architectural patterns, the differences become clearer. Each model shifts where secrets live and therefore where security risks concentrate.

Passwords create an entire category of security problems that disappear if you stop storing them.

Migrating from Passwords to Passkeys

Most production systems cannot remove passwords overnight. In practice, teams migrate gradually. A common rollout starts by allowing users to register a passkey after logging in with their existing password. The device generates a key pair, and the server stores the public key alongside the existing account.

Once passkeys are registered, the login flow can begin preferring passkeys over passwords. Browsers increasingly suggest them automatically through WebAuthn, which reduces login friction. After adoption grows, passwords can be disabled for accounts that already have passkeys. Recovery typically relies on email verification or previously registered devices rather than stored user secrets.

Over time the password subsystem becomes a compatibility layer instead of the primary authentication mechanism.

The Cost of Storing Passwords

Authentication architecture does not just affect security risk. It determines how much operational security work your organization will have to do for the lifetime of the system.

Shared-secret authentication creates a permanent defensive obligation. Once an application stores user passwords, the organization becomes responsible for protecting a database that attackers actively want to steal. That responsibility propagates outward: password hashing infrastructure, reset and recovery flows, brute-force detection, breached-password screening, account takeover monitoring, and incident response procedures. Each layer exists because the system stores long-lived secrets.

Over time this becomes an operational cost. Credential-stuffing campaigns generate investigation noise. Account recovery flows become a common takeover vector. Authentication code requires periodic refactoring as standards evolve. Security teams spend time triaging alerts, investigating suspicious login patterns, and responding to reports from bug bounty researchers who find weaknesses in authentication flows.

Proof-of-inbox systems remove much of that lifecycle because the system no longer stores a long-term secret. Passkeys go further by eliminating shared secrets entirely: the server stores public keys rather than credentials worth stealing. The result is not perfect security, but a much smaller class of problems to defend.

From a security leadership perspective, this distinction matters. Fewer stored secrets means fewer breach targets, fewer credential-stuffing incidents, fewer account-recovery compromises, and fewer authentication bugs to fix later. In practice that translates directly into fewer investigations, fewer support tickets, and fewer engineering cycles spent hardening login systems.

The simplest way to secure a secret is not to store it in the first place. Architectures that avoid shared secrets do not just reduce risk — they reduce the amount of security work an organization will ever need to perform.

How Passwords Create Systemic Risk

Password systems also shift the security burden onto users. A typical user manages dozens or hundreds of accounts, each ideally requiring a unique password. In practice, passwords are reused across services. When one service is breached, attackers try those credentials elsewhere: a technique known as credential stuffing.

A single breach can cascade across hundreds of unrelated platforms because the same passwords are reused. If the web relied less on memorized secrets, this entire attack class would likely be far smaller.

Conclusion

Passwords became dominant because they were simple to implement in the early web. But their architecture forces applications to collect and defend user-generated secrets indefinitely.

Modern authentication systems increasingly avoid this pattern.

Passkeys eliminate shared secrets entirely using device-held cryptographic keys. Email-based authentication removes long-lived secrets but shifts trust to the email system.

For many applications the decision can be simplified:

• If your users already rely heavily on email, proof-of-inbox authentication is often the simplest architecture.

• If you are building a new system with strong security requirements, passkeys remove entire classes of authentication risk.

• Passwords are usually best reserved for legacy compatibility rather than new designs.

The underlying principle is simple: the safest secret is the one your system never has to store.

If you cannot deploy passkeys yet, you probably still do not need to build another password subsystem.

References

[1] NIST SP 800-63B, Digital Identity Guidelines
https://pages.nist.gov/800-63-3/sp800-63b.html

[2] OWASP Authentication Cheat Sheet
https://cheatsheetseries.owasp.org/cheatsheets/Authentication_Cheat_Sheet.html

[3] OWASP Application Security Verification Standard, Authentication Requirements
https://github.com/OWASP/ASVS/blob/master/5.0/en/0x15-V6-Authentication.md

[4] Verizon Data Breach Investigations Report
https://www.verizon.com/business/resources/reports/dbir/

[5] Have I Been Pwned
https://haveibeenpwned.com/

[6] WebAuthn Level 2 Specification
https://www.w3.org/TR/webauthn-2/

[7] FIDO Alliance, Passkeys Explained
https://fidoalliance.org/passkeys/

[8] Google Security Blog, Security Keys Neutralize Phishing Attacks
https://security.googleblog.com/2019/05/new-research-how-effective-are.html

[9] Google Transparency Report, Safer Email
https://transparencyreport.google.com/safer-email/overview

[10] LinkedIn Breach 2012
https://krebsonsecurity.com/2016/05/linkedin-confirms-account-passwords-hacked/

How a computer understands text

This has had mixed results, as anyone who has tried to use automatic translators has painfully experienced. A computer is really just a big calculator. Translation consists of reading and understanding the original text and writing it anew in the target language, and the quality of the result will be directly proportional to the degree of understanding of the original.

The problem, therefore, was to find a digital representation of words that would reflect their meaning. The winner in this category turned out to be the vector, which is one row of Excel, with numbers in each cell. These numbers somehow encode the intensity of certain features of the word. Such a feature is, for example, a place in the continuum of masculinity and femininity. The word beauty will probably be more feminine, and the word strength masculine. A vector is like the DNA of a word, encoding a whole lot of associations associated with it. This DNA is not directly designed by humans, but is created by itself in the process of training a neural network, which we will talk about later.

Okay, but what about the word castle, for example? It could be a grand medieval fortress, a children's play structure in the backyard, or even a strong strategic position in a board game. Three very different ideas. So, what will happen in our Excel row? Well, for years nothing happened, and that's why automatic translators gave us more reasons to scoff than high-quality translations.

And that's where the scientists came in, proposing the attention mechanism. Attention is a form of vector transformation that allows us to update it based on other vectors adjacent to it; in other words, we know words by the company they keep. So if we have the word drawbridge and castle in a sentence, it will be clear both to us and to the calculator on steroids that this castle would have walls and perhaps a moat. 

The attention mechanism allows LLMs to recalibrate word weights based on their context, so that they can focus on the most important parts of the text. This makes LLMs understand content better and generate more meaningful responses.

That's how our digital intelligence got a little less artificial.

What are GPT, LLM and neural network

What does all this GPT in Chat GPT mean? It is an acronym for Generative Pre-trained Transformer.

Transformer is a neural network architecture whose essence is the transformation of something into something else. The original goal of this architecture was to create a better automatic translator. The transformer architecture also handles other forms of transformation well. It can transform long text into short text, text into image, text into music, etc. Some say it also turns programmers into unemployed people.

Generative suggests that it is a technology that creates something. This is in contrast to the first applications of neural networks, which were usually passive. The network can recognize a pattern, e.g. a fingerprint and unlock our phone based on it. Here the network generates something for us, hence it is generative.

Pretrained is in turn a reference to a rather specific learning procedure, which we will discuss later.

LLM (Large Language Model) is a large language model. There is nothing unusual here. Although people in the industry like to come up with overly complicated or pretentious names, this time what you see is what you get. 

A neural network, on the other hand, is a computational model. You can think of it as an enormous mathematical function. This immense size includes something like a large Excel, with many sheets, and each of them contains a large table with numbers (these are the weights in the sense of the weighted sum [2], which is calculated there). These numbers represent many small sliders, influencing the result in a certain way [4]. If our network is to recognize a fingerprint, we feed it an image (bitmap) of the finger, and we expect a decision on the output. We immodestly call such a run inference. The calibration of these switches so that they recognize the right fingers well and reject the wrong ones, we call learning.

In the case of LLMs, the neural network receives our query with context at the input, and at the output returns a vector (one row of Excel) with the probabilities of the next text fragment. We call such a fragment a token. A token can be a word, a fragment of it, or some other wonder (for simplicity we will continue to pretend that LLMs operate on words and not tokens). In any case, the important thing is that one pass of the neural network (one inference) gives us only one word. So, in order to get a longer text out of it, we have to wait a bit. To make the wait more pleasant, the creators of chats based on LLMs write the text to us on the screen in real time. 

Primary and secondary socialization of LLMs

We send a newborn LLM to two schools - first to primary school (pre-training), where we will teach it basic facts about the world, as well as reading and writing. Then to vocational school (fine tuning), where we will teach it the profession of a helpful assistant. In primary school, something like primary socialization will take place, in which our LLM will transform into a clever token generator that complies with elementary social and grammatical norms. In vocational school, on the other hand, it will undergo secondary socialization for its final professional role.

Primary education is a bit like making scrambled eggs for breakfast. First we need the main ingredient, which will be the body of text for learning. This corpus must be of good quality, otherwise the scrambled eggs will be indigestible. At the same time, it should be large enough to satisfy our hunger for knowledge. Fortunately, we have the world wide web, where there is plenty of text. It is true that obtaining texts from the web may hurt the feelings of their authors and copyright lawyers, but as the great innovators of Silicon Valley say, to make scrambled eggs you have to break a few eggs.

These texts should naturally be subjected to strict selection. We don't want our pupil to be saturated with knowledge about women from incel forums, to learn medicine from anti-vaxxers, astronomy from flat-earthers, or ecumenism from jihadists. We also don't want our LLM to recite advertising jingles to us later. So such a carefully purified decoction of the Internet will be our learning corpus.

The learning itself consists of training a neural network to effectively predict the probability of the next word appearing in a text sequence. The algorithm roughly looks like this: we randomly select a sequence (a sentence or a few sentences) in the corpus, we give the network this sequence minus the last word (token) as input, and we see how the network assessed the probability of the last word occurring. The higher, the better - this is our objective function (at the beginning, the network parameters are set to random values, so the result will also be random). Then we do the so-called backpropagation, i.e., for each of the network parameters, we calculate which way to move it a little so that the result at the end is closer to expectations. Then we draw another sequence and so on. 

Neural network training is simply a process of optimizing the objective function. If the function calculates the size of the error for us, we are looking for its minimum. This is our digital equivalent of frying scrambled eggs. The basic analogies hold up strongly. If we fry for too short a time, our LLM will be undertrained and may later vote for populists or hallucinate about electric sheep. If we fry too long, we will go bankrupt due to the electricity bill. The phenomenon of overfitting may also occur. Our network will learn the source texts by heart and instead of generalizing the given examples nicely for us, it will mindlessly recite them, including typos. This can have various unpleasant consequences. The aforementioned copyright lawyers are just waiting for such blunders.

Primary school for LLMs takes quite a long time, because both this body of text and our Excel with parameters really deserve the first "L" in LLM. This time is measured in months and the project budget in millions of USD. Don't try this at home.

An LLM after primary school can "only" spit out the next words to some sequence. So if we give it the first sentence of some Wikipedia article as input, it will add the rest. Incidentally, probably word for word, because copying Wikipedia into corpora of this type is standard practice. So our LLM can already write, it also has a memory saturated with source texts, which give it some elementary knowledge of the world. At this stage, our model is only a generator of the rest of the text, so it would be quite difficult to use it for any practical applications.

That's why further education in vocational school (fine tuning) is necessary. The goal of this is to transform our token generator into an assistant that answers questions. Here we will show our LLM scripts prepared by human experts. A script is a question and a very high quality answer. The collection of these scripts is a closely guarded secret of companies producing LLMs. The methodologies for their production are also dynamically evolving. This is where our pupil gains refinement, learns the culture of the word, respect for facts, and social conventions. To a degree, of course, proportional to their occurrence in the scripts shown to him.

The algorithm for teaching a neural network in vocational school is analogous, except that this time we teach the network to answer questions (i.e., the input to the network is a question, also called a prompt), and we evaluate the quality of the answer by comparing it with an expert script. This stage is much cheaper and faster, because there are incomparably fewer scripts than text in the primary school corpus, and also our network no longer has completely random weights. So in our breakfast analogy, this can be compared to sprinkling chives on scrambled eggs, making a sandwich and coffee.

My scrambled eggs are better than yours

The quality of LLM's knowledge is burdened with a number of imperfections, which are a natural consequence of the process of its construction. All the misrepresentations in the corpus will be reflected in the neural network of our model. Thus, the better a given language is represented in publicly available Internet texts, the better the LLM will learn it. That's why all LLMs will be fluent in English, but I wouldn't expect great support for the Kashubian language. Topics widely described on the web, such as IT knowledge, will be acquired very decently. However, specialized topics, available rather in books behind paywalls, or even only on paper, will remain there.

Another problem is a certain democracy of the learning process. If there are ten average texts with outdated knowledge for one great text with current and accurate knowledge, the former will win. For this reason, general-purpose LLMs will rather repeat the most common opinions on the public Internet. Unless, of course, these are controversial enough opinions to be censored either in the process of selecting data for the corpus or professional scripts. LLM chats also have built-in additional defense mechanisms, for example, before a question goes to the actual "engine", it must first pass through a censorship filter, which checks whether the question is sufficiently ethical (we do not want to help people build bombs or poisons). Sometimes we also have a post hoc filter, i.e., censorship of the response of the actual model. A certain Chinese model became famous for self-censoring after generating a factually correct but politically incorrect answer about Tiananmen Square.

Human knowledge is by no means some uncontroversial consensus. Quite the opposite. The infosphere is an area of political, economic, cultural, and aesthetic wars. Many companies would like to influence the answers of popular LLMs as to which car or washing powder is best to buy. State governments have differing opinions on the political status of Crimea or Taiwan. When preparing a corpus of text for learning, we must make a number of decisions about censoring certain points of view and promoting others. LLM is therefore a projection of the values of the cultural and political circle from which its producer originates, as well as the spirit of the time in which the corpus was created.

Show me your scrambled eggs, and I'll tell you who you are.

Do stochastic parrots hallucinate about electric sheep?

What can LLMs actually do? As we have already established, the heart of an LLM is a generator of the probability distribution of the next token in a text sequence. This is surrounded by a certain amount of logic, which provides us with a relatively safe service of a helpful assistant ready to carry out commands and answer questions. In fact, the basic competence of LLM is paraphrasing text. It can be text learned in primary or vocational school. It can be obtained from an internet search engine. It can be provided by the user. No more and no less. 

This is where the metaphor of the stochastic parrot [6] comes from. LLM does not produce new knowledge, it only parrots (paraphrases) existing knowledge. In addition, it does it stochastically, so it is a kind of casino where answers are drawn in a large roulette wheel with tokens. It is not without reason that LLM producers warn against asking their products for medical, legal, or any other advice, where a wrong answer could result in bloodthirsty copyright lawyers being joined by lawyers of other specialties.

You can look at it as a glass half empty or half full. Technological skeptics will say that this is the ultimate proof of the indolence of LLMs and their inevitable inferiority to our human, shocking intellectual potential. Enthusiasts, on the other hand, will say, so what? The Internet is "only" a network of local computer networks, and it was enough to revolutionize the world. A cell phone is "only" a pocket PC with a radio. Finally, does humanity really make good use of all the knowledge already available, so that the inability of LLMs to generate new knowledge should be any particular limitation?

Paraphrasing text is a basic competence that is expected of us in the education process. Almost all exams from elementary school to professional certificates consist of either answering a series of questions about a given text, writing an essay on a topic described in another text, or solving a mathematical problem. LLMs do a great job with the first two, and for the third there is other software (e.g. Wolfram Alpha). This tells us something not only about the development of computer science, but perhaps even more about our education systems.

What is some part of the work of a translator, journalist, teacher, hotline employee, loan advisor, salesman and many, many others, if not paraphrasing text?

To some extent, we are all stochastic parrots.

The Unbearable Anthropomorphization of a Parrot's Being

People tend to project their humanity onto their surroundings. We say that the computer thinks when it doesn't respond for a moment. We say that the computer doesn't like us when something doesn't work out for us. We smile at graphical interfaces.

When we hear a given word, for example child, it evokes in us a number of emotional reactions, associations with our own childhood, the experience of being a parent, or familiar family stories from literature and television. It reminds us of emotions, smells, touches, sounds. We have many sources of knowledge that we can use to understand a situation and be able to relate to it.

LLM has not experienced life. He did not father a son, did not plant a tree, did not build a house. He is like an extreme autistic with an almost absolute memory, who has read the entire web and can quote it from memory. For LLM, a word is a vector in a semantic space, created in the learning process. It does not evoke feelings, it does not activate memories, because LLM does not have them. LLM has only textual memory, shining with the reflected light of the wisdom of the people who wrote the source texts. These texts may contain descriptions of emotions and sensory experiences, and these descriptions may be quoted and thus create the impression of understanding at a deeper level than it really is.

I don't like the term artificial intelligence and I deliberately avoided it in this text. It is a marketing term that misleads non-technical people, reinforcing the tendency to anthropomorphize this technology.

A computer is a calculator on steroids. A neural network is a large Excel. LLM is a text paraphrasing machine. Yes, it is a great technology with powerful potential and will undoubtedly drive the next wave of the digital revolution, automating more areas of our lives. However, it is not a philosopher's stone. Let's try to see it as it really is.

Bibliography

To those who are eager for real knowledge, devoid of simplifications, jokes and memes, but properly saturated with mathematics, I recommend reading the following positions.

[1] Turing (1950), Computing Machinery and Intelligence, https://courses.cs.umbc.edu/471/papers/turing.pdf 

[2] Rosenblatt (1958), Perceptrons,   https://www.ling.upenn.edu/courses/cogs501/Rosenblatt1958.pdf 

[3] LeCun, Boser, Denker, Henderson, Howard, Hubbard (1989), Backpropagation Applied to Handwritten Zip Code Recognition, https://ieeexplore.ieee.org/document/6795724 

[4] Glorot, Bordes, Bengio (2011), Deep Sparse Rectifier Neural Networks, https://proceedings.mlr.press/v15/glorot11a/glorot11a.pdf 

[5] Vaswani, Shazeer, Parmar, Uszkoreit, Jones, Gomez, Kaiser, Polosukhin (2017), Attention Is All You Need, https://arxiv.org/pdf/1706.03762 

[6] Bender, Gebru, McMillan-Major, Shmitchell (2021) On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?, https://dl.acm.org/doi/pdf/10.1145/3442188.3445922 

Jak komputer rozumie tekst

Z tym bywało różnie, czego boleśnie doświadczył każdy, kto próbował korzystać z automatycznych tłumaczy. Komputer bowiem jest tak naprawdę dużym kalkulatorem. Tłumaczenie zaś polega na czytaniu ze zrozumieniem tekstu w oryginale i napisaniu go od nowa w języku docelowym, a jakość rezultatu będzie wprost proporcjonalna do stopnia zrozumienia oryginału. 

Problemem zatem było znalezienie takiej cyfrowej reprezentacji słów, która by oddawała ich znaczenie. Zwycięzcą w tej kategorii okazał się wektor, czyli jeden wiersz Excela, z liczbami w każdej komórce. Liczby te w jakiś sposób kodują natężenie pewnych cech słowa. Taka cecha to na przykład miejsce w kontinuum męskości i żeńskości – słowo racja będzie zapewne bardziej kobiece, a słowo siła męskie. Wektor jest takim jakby DNA słowa, kodującym całą masę skojarzeń z nim związanych. To DNA nie jest wprost zaprojektowane przez człowieka, tylko wytwarza się samo w procesie uczenia sieci neuronowej, o którym sobie jeszcze opowiemy. 

No dobrze, ale co na przykład ze słowem zamek? To może być coś, czym zamykamy bluzę, drzwi, albo transakcję na średniowiecznym rynku nieruchomości. Trzy bardzo różne koncepcje. Co się zatem wydarzy w naszym wierszu Excela? Otóż przez lata nic się nie działo i dlatego automatyczne tłumacze dostarczały nam więcej powodów do szydery niż wysokiej jakości tłumaczeń. 

I tu właśnie wjechali cali na biało naukowcy, proponując mechanizm uwagi [5]. Uwaga to taka forma transformacji wektora, która nam pozwala go zaktualizować w oparciu o inne sąsiadujące z nim wektory; innymi słowy poznajemy słowa po towarzystwie, w jakim się obracają. Zatem jeśli w zdaniu mamy słowo rycerz oraz zamek to będzie jasne i dla nas i dla kalkulatora na sterydach, że ten zamek nie otwiera zbroi rycerza, tylko raczej stoi gdzieś dumnie i zawstydza patodeweloperów.

Mechanizm uwagi pozwala LLM przekalibrować wagi słów na podstawie ich kontekstu, aby móc skupić się na najważniejszych częściach tekstu. To sprawia, że LLM lepiej rozumie treści i może generować bardziej sensowne odpowiedzi. 

Tak właśnie nasza cyfrowa inteligencja zrobiła się trochę mniej sztuczna. 

Czym jest GPT, LLM i sieć neuronowa

Cóż znaczy to całe GPT w Chat GPT? Jest to akronim od Generative Pre-trained Transformer. 

Transformer to architektura sieci neuronowej, której istotą jest transformacja czegoś w coś. Oryginalnym celem tej architektury było stworzenie lepszego automatycznego tłumacza. Architektura transformer radzi sobie dobrze także z innymi formami przekształceń. Może transformować długi tekst w krótki, tekst w obraz, tekst w muzykę itp. Niektórzy twierdzą, że także programistów w bezrobotnych. 

Generative sugeruje, że jest to technologia, która coś tworzy. Stoi to w kontraście do pierwszych zastosowań sieci neuronowych, które były zazwyczaj pasywne. Sieć potrafiła nam rozpoznać jakiś wzór, np. odcisku palca i na tej podstawie odblokować nam telefon. Tutaj sieć coś nam generuje, stąd jest generative. 

Pretrained to z kolei nawiązanie do dość specyficznej procedury uczenia, o której późnej. 

LLM (Large Language Model) to duży model językowy. Tu nie ma nic niezwykłego. Choć ludzie z branży lubują się w wymyślaniu nadmiernie skomplikowanych lub przemądrzałych nazw, to tu akurat koń, jaki jest, każdy widzi. 

Sieć neuronowa natomiast to pewien model obliczeniowy. Można go sobie wyobrazić jako pokaźnych rozmiarów funkcję matematyczną. Te pokaźne rozmiary obejmują coś w rodzaju dużego Excela, z wieloma arkuszami, a każdy z nich zawiera dużą tabelę z liczbami (to są wagi w rozumieniu sumy ważonej [2], która tam jest kalkulowana). Te liczby reprezentują wiele małych suwaków, wpływających w pewien sposób na wynik [4]. Jeśli nasza sieć ma rozpoznawać odcisk palca, to na jej wejście podajemy obraz (bitmapę) palca, a na wyjściu oczekujemy decyzji. Taki przebieg nazywamy nieskromnie wnioskowaniem. Natomiast kalibrację tych przełączników aby dobrze nam rozpoznawały właściwe palce i gardziły niewłaściwymi, nazywamy uczeniem. 

W przypadku LLM sieć neuronowa na wejściu dostaje nasze zapytanie z kontekstem, a na wyjściu zwraca wektor (jeden wiersz Excela) z prawdopodobieństwami kolejnego fragmentu tekstu. Taki fragment nazywamy tokenem. Tokenem może być słowo, jego fragment, albo inne cudo (dla uproszczenia będziemy dalej udawać, że LLMy operują na słowach a nie tokenach). W każdym razie istotne jest to, że jeden przebieg sieci neuronowej (jedno wnioskowanie) daje nam tylko jedno słowo. Zatem, aby wyszedł nam z tego dłuższy tekst, musimy trochę poczekać. Aby nam się milej czekało, twórcy czatów opartych o LLMy wypisują nam tekst na bieżąco na ekranie. 

Socjalizacja pierwotna i wtórna LLMów

LLMa noworodka wysyłamy do dwóch szkół – najpierw do podstawówki (pre-training), gdzie nauczymy go podstawowych faktów o świecie, a także czytać i pisać. Następnie do zawodówki (fine tuning), gdzie nauczymy go zawodu pomocnego asystenta. W podstawówce odbędzie się coś na kształt socjalizacji pierwotnej, w której nasz LLM przekształci się w sprytny generator tokenów zgodnych z elementarnymi normami społecznymi i gramatycznymi. W zawodówce z kolei będzie się socjalizować wtórnie do swojej ostatecznej roli zawodowej. 

Uczenie podstawowe przypomina nieco robienie jajecznicy na śniadanie. Na początek potrzebujemy głównego składnika, którym będzie korpus tekstu do nauki. Korpus ten musi być dobrej jakości, inaczej jajecznica będzie niestrawna. Jednocześnie powinien być odpowiednio duży, żeby nasycić nasz głód wiedzy. Na szczęście mamy world wide web, gdzie tekstu jest dostatek. Wprawdzie pozyskanie tekstów z netu może ranić uczucia ich autorów oraz prawników od praw autorskich, ale jak mawiają wielcy innowatorzy z Doliny Krzemowej, aby zrobić jajecznicę trzeba rozbić parę jajek. 

Teksty te należy naturalnie poddać ostrej selekcji. Nie chcemy naszego pupila nasycać wiedzą o kobietach z forów incelskich, uczyć się medycyny od antyszczepionkowców, astronomii od płaskoziemców, czy ekumenizmu od dżihadystów. Nie chcemy też, by nasz LLM recytował nam potem wierszyki z reklam. Tak więc taki pieczołowicie oczyszczony z szumowin wywar z Internetu będzie naszym korpusem do nauki. 

Sama nauka polega na trenowaniu sieci neuronowej, aby nam skutecznie przewidywała prawdopodobieństwo wystąpienia kolejnego wyrazu w sekwencji tekstu. Algorytm z grubsza wygląda tak: losujemy sobie w korpusie jakąś sekwencję (zdanie lub kilka zdań), dajemy sieci na wejście tę sekwencję minus ostatni wyraz (token) i patrzymy, jak nam sieć oceniła prawdopodobieństwo wystąpienia tego ostatniego. Im wyżej, tym lepiej – to jest nasza funkcja celu (na początku parametry sieci są ustawiane na wartości losowe, więc wynik też będzie przypadkowy). Potem robimy tak zwaną propagację wsteczną [3], czyli dla każdego z parametrów sieci liczymy sobie, w którą stronę go trochę przestawić, aby ten wynik na końcu był bliższy oczekiwań. Potem losujemy kolejną sekwencję i tak w kółko. 

Uczenie sieci neuronowej jest zwyczajnie procesem optymalizacji funkcji celu. Jeśli funkcja liczy nam wielkość błędu, to szukamy jej minimum. To jest nasz cyfrowy odpowiednik smażenia jajecznicy. Podstawowe analogie trzymają się mocno. Jak zbyt krótko będziemy smażyć, to nasz LLM będzie niedouczony i może nam potem głosować na populistów, albo halucynować o elektrycznych owcach. Jak będziemy smażyć za długo, to zbankrutujemy z powodu rachunku za prąd. Może też wystąpić zjawisko overfitting. Nasza sieć wykuje teksty źródłowe na blachę i zamiast nam pięknie uogólnić podane przykłady, to będzie je bezmyślnie recytować z literówkami włącznie. To może mieć różne przykre konsekwencje. Wspomniani wcześniej prawnicy od praw autorskich tylko czekają na takie wpadki. 

Podstawówka dla LLMów trwa dość długo, gdyż zarówno ten korpus tekstu, jak i nasz Excel z parametrami naprawdę zasłużyły na pierwsze “L” w LLM. Czas ten mierzymy w miesiącach a budżet projektu w milionach USD. Nie próbujcie tego w domu. 

LLM po podstawówce potrafi “tylko” wydukać kolejne słowa do jakiejś sekwencji. Czyli jak mu damy na wejście pierwsze zdanie jakiegoś artykułu z Wikipedii, to nam dopisze ciąg dalszy. Skądinąd pewnie słowo w słowo, bo kopiowanie Wikipedii do korpusów tego typu jest standardową praktyką. Zatem nasz LLM potrafi już pisać, ma też pamięć nasyconą tekstami źródłowymi, które dają mu pewną elementarną wiedzę o świecie. Na tym etapie nasz model jest tylko generatorem dalszej części tekstu, więc dość trudno byłoby się nim posłużyć do jakiś praktycznych zastosowań. 

Dlatego właśnie konieczne jest dalsze kształcenie w zawodówce (fine tuning). Celem tejże jest przekształcenie naszego generatora tokenów w asystenta odpowiadającego na pytania. Tutaj będziemy naszemu LLMowi pokazywać skrypty przygotowane przez ludzkich ekspertów. Skrypt to pytanie i bardzo dobrej jakości odpowiedź. Zbiór tychże skryptów to pilnie strzeżona tajemnica firm produkujących LLMy. Metodyki ich wytwarzania również dynamicznie ewoluują. To tu właśnie nasz podopieczny nabiera ogłady, uczy się kultury słowa, szacunku dla faktów, obowiązujących w społeczeństwie konwenansów. W stopniu, ma się rozumieć, proporcjonalnym do występowania tychże w pokazanych mu skryptach. 

Algorytm uczenia sieci neuronowej w zawodówce jest analogiczny, przy czym tym razem uczymy sieć odpowiadania na pytania (czyli wejściem do sieci jest pytanie zwane też promptem), a jakość odpowiedzi oceniamy poprzez porównanie jej z eksperckim skryptem. Ten etap jest dużo tańszy i szybszy, gdyż skryptów jest nieporównanie mniej niż tekstu w podstawówkowym korpusie, a także nasza sieć nie ma już całkowicie przypadkowych wag. Zatem w naszej śniadaniowej analogii można to porównać do posypania jajecznicy szczypiorkiem, dorobieniem kanapki i kawy. 

Moja jajecznica jest lepsza niż twoja jajecznica

Jakość wiedzy LLM jest obarczona szeregiem niedoskonałości, będących naturalną konsekwencją procesu jej zbudowania. Wszystkie przekłamania w korpusie zostaną odzwierciedlone w sieci neuronowej naszego modelu. Zatem im lepiej reprezentowany jest dany język w publicznie dostępnych tekstach internetowych, tym lepiej LLM się go nauczy. Dlatego też wszystkie LLMy będą śmigać po angielsku, ale raczej nie spodziewałbym się świetnego wsparcia dla języka kaszubskiego. Tematyka szeroko opisywana w sieci, na przykład wiedza z zakresu IT, zostanie przyswojona bardzo przyzwoicie. Natomiast tematyka specjalistyczna, dostępna raczej w książkach za paywallami, czy wręcz tylko na papierze, pozostanie tamże właśnie. 

Kolejny problem to pewna demokratyczność procesu uczenia. Jeśli na jeden świetny tekst z wiedzą aktualną i precyzyjną będzie przypadać dziesięć przeciętnych z wiedzą nieaktualną, to te ostatnie wygrają. Z tego powodu LLMy ogólnego przeznaczenia będą raczej powtarzały najbardziej rozpowszechnione opinie w publicznym internecie. O ile, ma się rozumieć, nie będą to na tyle kontrowersyjne opinie, żeby je ocenzurować albo w procesie selekcji danych do korpusu, albo skryptów zawodówkowych. Chaty LLMowe mają też wbudowane dodatkowe mechanizmy obronne, np. zanim pytanie trafi do właściwego “silnika”, musi najpierw przejść przez filtr cenzorski, który sprawdza, czy to pytanie jest odpowiednio etyczne (nie chcemy ludziom pomagać konstruować bomby czy trucizny). Niekiedy mamy też filtr à la izba refleksji, czyli cenzura odpowiedzi modelu właściwego. Pewien model chiński zasłynął z tego, że po wygenerowaniu poprawnej merytorycznie, ale nie politycznie odpowiedzi o plac Tiananmen, dokonał autocenzury. 

Wiedza ludzkości nie jest bynajmniej jakimś pozbawionym kontrowersji konsensusem. Wręcz przeciwnie. Infosfera jest obszarem wojen politycznych, ekonomicznych, kulturowych, czy estetycznych. Wiele firm chciałoby wpłynąć na odpowiedzi popularnych LLMów co do tego jaki samochód, czy proszek do prania najlepiej kupić. Rządy państw mają rozbieżne opinie na temat statusu politycznego Krymu czy Tajwanu. Przygotowując korpus tekstu do nauki, musimy podjąć szereg decyzji co do cenzurowania określonych punktów widzenia i promowania innych. LLM jest zatem projekcją wartości kręgu kulturowego i politycznego, z którego się wywodzi jego producent, a także ducha czasu, w jakim korpus powstał. 

Pokaż mi swoją jajecznicę, a powiem ci kim jesteś. 

Czy stochastyczne papugi halucynują o elektrycznych owcach?

Co tak naprawdę potrafi LLM? Jak już ustaliliśmy wcześniej, sercem LLM jest generator rozkładu prawdopodobieństwa kolejnego tokenu w sekwencji tekstu. Jest to obudowane pewną dozą logiki, która nam dostarcza relatywnie bezpieczną usługę pomocnego asystenta gotowego na wykonywanie poleceń i odpowiadanie na pytania. Tak naprawdę podstawową kompetencją LLM jest parafrazowanie tekstu. Może to być tekstu wyuczony w podstawówce lub zawodówce. Może być pozyskany z wyszukiwarki internetowej. Może być podany przez użytkownika. Tylko tyle i aż tyle. 

Stąd właśnie wzięła się metafora stochastycznej papugi [6]. LLM nie wytwarza nowej wiedzy, tylko papuguje (parafrazuje) wiedzę już istniejącą. W dodatku robi w sposób stochastyczny, więc jest pewnego rodzaju kasynem, w którym odpowiedzi się losują w wielkiej ruletce z tokenami. Nie bez powodu producenci LLMów ostrzegają, by nie pytać ich produktów o porady medyczne, prawne, czy jakiekolwiek inne, w których zła odpowiedź mogłaby spowodować, że do krwiożerczo nastawionych prawników od praw autorskich dołączyliby prawnicy innych specjalności. 

Można na to patrzeć jak na szklankę do połowy pustą albo do połowy pełną. Sceptycy technologiczni powiedzą, że jest to ostateczny dowód na indolencję LLMów oraz ich nieuchronną niższość wobec naszego ludzkiego, wstrząsającego potencjału intelektualnego. Entuzjaści natomiast, że co niby z tego? Internet to “tylko” sieć lokalnych sieci komputerowych, a wystarczyło, żeby zrewolucjonizować świat. Komórka to “tylko” kieszonkowy pecet z radiem. Wreszcie, czy ludzkość aby na pewno dobrze wykorzystuje całą już dostępną wiedzę, żeby brak zdolności LLMów do wytwarzania nowej miał być jakimś szczególnym ograniczeniem? 

Parafrazowanie tekstu to podstawowa kompetencja, której się od nas oczekuje w procesie edukacji. Prawie wszystkie egzaminy od podstawówki po certyfikaty zawodowe polegają albo na odpowiedzi na szereg pytań o dany tekst, napisaniu eseju na temat opisany w innym tekście, albo rozwiązaniu zadania matematycznego. LLMy świetnie sobie radzą z dwoma pierwszymi, a do trzeciego jest inny software (np. Wolfram Alpha). To nam coś mówi nie tylko o rozwoju informatyki, ale chyba nawet więcej o naszych systemach edukacji. 

Czym innym, jak parafrazowaniem tekstu jest jakaś część pracy tłumacza, dziennikarza, nauczyciela, pracownika infolinii, doradcy kredytowego, sprzedawcy i wielu, wielu innych? 

W jakimś zakresie wszyscy jesteśmy stochastycznymi papugami. 

Nieznośna antropomorfizacja bytu papugi

Ludzie mają tendencję do projektowania swojego człowieczeństwa na otoczenie. Mówimy, że komputer myśli, gdy ten przez chwilę nie odpowiada. Mówimy, że komputer nas nie lubi, gdy coś nam nie wychodzi. Uśmiechamy się do interfejsów graficznych. 

Kiedy słyszymy dane słowo, na przykład dziecko, budzi to w nas szereg reakcji emocjonalnych, skojarzeń z własnym dzieciństwem, doświadczenia bycia rodzicem, czy znanych nam historii rodzinnych z literatury i telewizji. Przypomina nam to emocje, zapachy, dotyki, dźwięki. Mamy wiele źródeł wiedzy, z których możemy korzystać, aby zrozumieć jakąś sytuację i móc się do niej odnieść. 

LLM nie doświadczył życia. Nie spłodził syna, nie zasadził drzewa, nie zbudował domu. To taki skrajny autystyk z pamięcią niemal absolutną, który przeczytał cały web i potrafi go cytować z pamięci. Dla LLMa słowo jest wektorem w przestrzeni semantycznej, wytworzonej w procesie uczenia. Nie budzi uczuć, nie aktywuje wspomnień, bo takowych LLM nie posiada. LLM ma tylko pamięć tekstową, świecącą światłem odbitym mądrości ludzi, którzy napisali teksty źródłowe. W tych tekstach mogą się znajdować opisy emocji i doświadczeń sensorycznych i te opisy mogą być zacytowane i tym samym stworzyć wrażenie rozumienia na głębszym poziomie, niż ono naprawdę ma miejsce. 

Nie przepadam za określeniem sztuczna inteligencja i świadomie unikałem go w tym tekście. Jest to pojęcie marketingowe, które wprowadza w błąd osoby nietechniczne, wzmacniając tendencję do antropomorfizacji tej technologii. 

Komputer to kalkulator na sterydach. Sieć neuronowa to duży Excel. LLM to automat do parafrazowania tekstu. Owszem, jest to wspaniała technologia o potężnym potencjale i bez wątpienia napędzi ona kolejną falę cyfrowej rewolucji, automatyzując kolejne obszary naszego życia. Nie jest to jednak kamień filozoficzny. Postarajmy się ją widzieć taką, jaką naprawdę jest.

Literatura

Osobom żądnym prawdziwej wiedzy, pozbawionej uproszczeń, żartów i memów, za to należycie nasyconej matematyką, polecam lekturę następujących pozycji. 

[1] Turing (1950), Computing Machinery and Intelligence, https://courses.cs.umbc.edu/471/papers/turing.pdf 

[2] Rosenblatt (1958), Perceptrons,   https://www.ling.upenn.edu/courses/cogs501/Rosenblatt1958.pdf 

[3] LeCun, Boser, Denker, Henderson, Howard, Hubbard (1989), Backpropagation Applied to Handwritten Zip Code Recognition, https://ieeexplore.ieee.org/document/6795724 

[4] Glorot, Bordes, Bengio (2011), Deep Sparse Rectifier Neural Networks, https://proceedings.mlr.press/v15/glorot11a/glorot11a.pdf 

[5] Vaswani, Shazeer, Parmar, Uszkoreit, Jones, Gomez, Kaiser, Polosukhin (2017), Attention Is All You Need, https://arxiv.org/pdf/1706.03762 

[6] Bender, Gebru, McMillan-Major, Shmitchell (2021) On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?, https://dl.acm.org/doi/pdf/10.1145/3442188.3445922 

Why should you learn that anyhow?

Some of the greatest achievements in offensive security would be hacking a smartphone, web browser, OS kernel, IoT device or remote server. There’s only one category of offensive skills that can hit all of those targets. If you want to at least understand how those great hacks actually work, you need to acquire a certain body of knowledge.

This subject is quite huge. It will take 3-5 years to get through it, depending on how much you already know and how much time you are willing to invest. So to make this more approachable, we need to make some decisions.

Choose the CPU architecture

The default choice would be x86. It’s as mainstream as it gets, which means you’ll have plenty of materials to learn from. This architecture dominates the desktop and laptop market and is also prevalent on servers. ARM would be a good choice, if you’re into smartphones and IoT.

There are quite a lot of other architectures to choose from, but unless you have good reasons to specialize in any of them, I would recommend starting your adventure with either of those two. It’s best to build strong foundations before going into any of the niches.

Choose the OS

The default choice would probably be Linux. You should know it anyhow. It’s widespread, open source, and well documented. If you later decide to pivot to Android (or even macOS), your investment in Linux will pay dividends. The pwn.college has some introductory materials. Linux Basics for Hackers also comes highly recommended. If you’re a bookworm type like me, you will enjoy reading all books from people like Eric S. Raymond, Richard Stallman, and Linus Torvalds. If you aren’t, then at least skim through The Art of Unix Programming.

Windows is very different. It’s quite hard to learn its low-level mechanics. On the other hand, it’s used a lot in businesses and on desktops. A steeper learning curve means more hardship but also less competition. Reading Windows Internals by Andrea Allievi, Mark E. Russinovich, Alex Ionescu, and David A. Solomon would be a good start.

Finally, there are macOS and iOS. Likely the hardest and the most expensive to learn. The Art of Mac Malware by Patrick Wardle is highly recommended as a starting point. It’s available online for free.

Choose the assembly flavor

Default: Intel (assuming x86).

I know very few people who know both flavors well but prefer AT&T. It is, however, important to be able to read it anyhow, as some books and articles use it. For starters, you can read this short explainer of key differences.

Allright, we’ve made some key decisions, we can get started.

Learn assembly

First and foremost, learn the assembly of your chosen architecture.

You’re unlikely to ever need to write any assembly more complex and longer than a typical shell code. You need, however, to be able to understand the kind of assembly the compiler generates.

By learning to use the language, you’ll also understand how the CPU works from a programmer’s point of view, what key data structures are there, calling conventions, how memory segmentation works, and so on. The big bonus here is that these things are very similar in all architectures and operating systems, so the time invested into it is really well spent.

I learned assembly years ago from Polish books and articles. Today it’s way simpler, there are lots of materials on the web. I can recommend brand new pwn.college’s Assembly Crash Course.

Learn C

I used the classical “The C Programming Language” by Brian Kernighan and Dennis Ritchie. The next logical step would be reviewing the standards.This language is simple, so I’d suggest learning it in full. It’s a rock-solid investment. Nearly all low-level software is written in C. Reverse engineering tools use C-like pseudocode. Probably all latter languages of the imperative paradigm use plenty of C concepts.

Decent knowledge of assembly and C is an absolute must-have for any low-level security work.

Learn C++

The necessity of learning C++ today could be debated. It is, however, still a dominant language of a lot of security-critical software (like web browsers).

If you are interested only in security aspects, you don’t really have to master the language. Also, “mastering C++” is a lifelong commitment, probably not worth it. C++ is by far the most complex programming language ever invented, and that’s not a compliment. It’s hard to overstate the amount of damage caused by the fact that memory safety was never a priority of its design.

I personally started with the classical “The C++ Programming Language” by Bjarne Stroustrup. The most recent edition explains C++11.

For more recent updates and further development, I can recommend the CppCon YT channel and the current revision of the C++ standard.

Learn your chosen OS programmatically

Well, write some software. Read the relevant books (I suggested some starting points earlier). Get familiar with compilers, debuggers, and IDEs.

Some of the stuff you should figure out:

• What security boundaries are there (here’s a list for MS Windows)?

• Which code integrity controls are in place?

• Which security measures are in place to protect the stack and the heap?

• What are typical local privilege escalation vectors?

• …and much, much more.

Playing CTFs could be a great way of getting practically familiar with the security aspects of your chosen OS and platform. Read write-ups of CTF challenges you weren’t able to solve. Then try again. Next time you should be able to solve it on your own. Repeat the process.

Learn debugging and reverse engineering

In other words, dynamic and static analysis of a binary. A smart strategy would be to learn cross-platform open source tools for software reversing, such as Ghidra.

Choosing lldb over gdb may be a good idea if you’re working with the LLVM ecosystem across multiple OSes (even more so if one is macOS). Commands differ a bit, which is annoying when you have to switch.

On the other hand, gdb has great extensions such as GEF or pwndbg. As always, it’s best to know all of it.

For Windows, knowing WinDbg, x64dbg, and MS Visual Studiowould be a nice combo.

Learn relevant vulnerabilities and attacks

Now that you know the very basics, you can read the classics with full understanding. You can start with the original Smashing The Stack For Fun And Profit (or its newer rewrite). Today we’d call it stack-based buffer overflow (to distinguish from two other subclasses, the global and heap-based). Reading old stuff like that is fun, but a lot has changed since then. For a much more up-to-date and comprehensive introduction I suggest attending the pwn.college.

Looking at the basic classes of vulnerabilities for programs written in C++ and those written in C should give you an idea of what you already know and what’s still out there.

You can check out LiveOverflow’s binary exploitation playlist.

Learn fuzzing

The number one technique for finding bugs to exploit is fuzzing. I can recommend courses of my friend Hardik, some of which you can also find on YouTube. This one, for instance, covers both Linux and Windows.

Once you know the basics, I suggest trying to rediscover some of the known CVEs. This will give you a realistic bug hunter experience. Antonio made a nice set of challenges like this.

Learn advanced exploitation techniques

It’s worth knowing Return-Oriented Programming, Data-Oriented Programming, and Jump-Oriented Programming.

Read the article Painless intro to the Linux userland heap by Javier Jimenez. Then watch Max Kamper’s Introduction To GLIBC Heap Exploitation, and read his HEAPLAB. GLIBC Heap Exploitation Bible.

You’d enjoy watching Evan Walls’s How to Weaponize a Vulnerability and How to Write Shellcode. I found the second part of the latter particularly beautiful in terms of how to deliver a great live programming talk.

If you’re into Windows, you can read the works of j00ru and Gynvael, such as this one.

Understand new mitigations such as Memory Tagging, Pointer Authentication on ARM, and the analysis of its resistanceagainst real-world attacks. For a nice example of what hacking a smartphone looks like, read the epic MMS Exploit series by j00ru.

Finally, reach for the cutting edge

Identify and follow experts on your chosen field of specialty. Watch their talks, read their books and articles. Follow key conferences and watch current talks from your area.

Read Google Project Zero blog. The more you understand from those posts, the closer you are to your goal.

Well, that would be it. If I missed something, feel free to reach out to me. I’d be happy to amend the article.

Happy hacking. 🙂

I’d like to thank AtomicNicos and Gynvael Coldwind for reviewing the text and suggesting improvements.